目录
1.mmap基本概念
mmap是一种显存映射文件的方式,正式一个文件或则其它对象映射到进程的地址空间,实现文件c盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后,进程就可以采用表针的方法读写操作这一段显存,而系统会手动回写脏页面到对应的文件c盘上,即完成了对文件的操作而毋须再调用read,write等系统调用函数。相反,内核空间对这段区域的更改也直接反映用户空间,因而可以实现不同进程间的文件共享。如右图所示:
由上图可以看出,进程的虚拟地址空间,由多个虚拟显存区域构成。虚拟显存区域是进程的虚拟地址空间中的一个同质区间,即具有同样特点的连续地址范围。上图中所示的text数据段(代码段)、初始数据段、BSS数据段、堆、栈和显存映射,都是一个独立的虚拟显存区域。而为显存映射服务的地址空间处在堆栈之间的空余部份。
linux内核使用vm_area_struct结构来表示一个独立的虚拟显存区域,因为每位不同质的虚拟显存区域功能和内部机制都不同,因而一个进程使用多个vm_area_struct结构来分别表示不同类型的虚拟显存区域。各个vm_area_struct结构使用数组或则树状结构链接,便捷进程快速访问,如右图所示:
vm_area_struct结构中包含区域起始和中止地址以及其他相关信息,同时也包含一个vm_ops表针,其内部可引出所有针对这个区域可以使用的系统调用函数。这样,进程对某一虚拟显存区域的任何操作须要用要的信息,都可以从vm_area_struct中获得。mmap函数就是要创建一个新的vm_area_struct结构,并将其与文件的数学c盘地址相连。具体步骤请看下一节。
2.mmap显存映射原理
mmap显存映射的实现过程,总的来说可以分为三个阶段:
(一)进程启动映射过程linux操作系统安装,并在虚拟地址空间中为映射创建虚拟映射区域
1、进程在用户空间调用库函数mmap,原型:void*mmap(void*start,size_tlength,intprot,intflags,intfd,off_toffset);
2、在当前进程的虚拟地址空间中,找寻一段空闲的满足要求的连续的虚拟地址
3、为此虚拟区分配一个vm_area_struct结构,接着对这个结构的各个域进行了初始化
4、将新建的虚拟区结构(vm_area_struct)插入进程的虚拟地址区域数组或树中
(二)调用内核空间的系统调用函数mmap(不同于用户空间函数),实现文件化学地址和进程虚拟地址的一一映射关系
5、为映射分配了新的虚拟地址区域后,通过待映射的文件表针,在文件描述符表中找到对应的文件描述符,通过文件描述符,链接到内核“已打开文件集”中该文件的文件结构体(structfile),每位文件结构体维护着和这个已打开文件相关各项信息。
6、通过该文件的文件结构体,链接到file_operations模块,调用内核函数mmap,其原型为:intmmap(structfile*filp,structvm_area_struct*vma),不同于用户空间库函数。
7、内核mmap函数通过虚拟文件系统inode模块定位到文件c盘化学地址。
8、通过remap_pfn_range函数构建页表,即实现了文件地址和虚拟地址区域的映射关系。此时,这片虚拟地址并没有任何数据关联到寻址中。
(三)进程发起对这片映射空间的访问,引起缺页异常,实现文件内容到化学显存(寻址)的拷贝
注:前两个阶段仅在于创建虚拟区间并完成地址映射,并且并没有将任何文件数据的拷贝至寻址。真正的文件读取是当进程发起读或写操作时。
9、进程的读或写操作访问虚拟地址空间这一段映射地址,通过查询页表,发觉这一段地址并不在化学页面上。由于目前只完善了地址映射,真正的硬碟数据还没有拷贝到显存中,因而引起缺页异常。
10、缺页异常进行一系列判定,确定无非法操作后,内核发起恳求调页过程。
11、调页过程先在交换缓存空间(swapcache)中找寻须要访问的显存页,假如没有则调用nopage函数把所缺的页从c盘放入到寻址中。
12、之后进程即可对这片寻址进行读或则写的操作,假如写操作改变了其内容,一定时间后系统会手动回写脏页面到对应c盘地址,也即完成了写入到文件的过程。
注:更改过的脏页面并不会立刻更新回文件中,而是有一段时间的延后,可以调用msync()来强制同步,这样所写的内容能够立刻保存到文件里了。
3.mmap和常规文件操作的区别
对linux文件系统不了解的同学,请参阅博文《从内核文件系统看文件读写过程》,我们首先简单的回顾一下常规文件系统操作(调用read/fread等类函数)中,函数的调用过程:
1、进程发起读文件恳求。
2、内核通过查找进程文件符表,定位到内核已打开文件集上的文件信息,进而找到此文件的inode。
3、inode在address_space上查找要恳求的文件页是否早已缓存在页缓存中。假如存在,则直接返回这片文件页的内容。
4、如果不存在,则通过inode定位到文件c盘地址,将数据从c盘复制到页缓存。以后再度发起读页面过程,从而将页缓存中的数据发给用户进程。
总结来说,常规文件操作为了提升读写效率和保护c盘,使用了页缓存机制。这样导致读文件时须要先将文件页从c盘拷贝到页缓存中,因为页缓存处在内核空间,不能被用户进程直接轮询,所以还须要将页缓存中数据页再度拷贝到显存对应的用户空间中。这样,通过了两次数据拷贝过程,能够完成进程对文件内容的获取任务。写操作也是一样,待写入的buffer在内核空间不能直接访问,必需要先拷贝至内核空间对应的寻址,再写回c盘中(延后写回),也是须要两次数据拷贝。
而使用mmap操作文件中,创建新的虚拟显存区域和完善文件c盘地址和虚拟显存区域映射这两步,没有任何文件拷贝操作。而以后访问数据时发觉显存中并无数据而发起的缺页异常过程,可以通过早已构建好的映射关系,只使用一次数据拷贝,就从c盘上将数据传入显存的用户空间中,供进程使用。
总而言之,常规文件操作须要从c盘到页缓存再到用户寻址的两次数据拷贝。而mmap操控文件,只须要从c盘到用户寻址的一次数据拷贝过程。说白了,mmap的关键点是实现了用户空间和内核空间的数据直接交互而省去了空间不同数据不通的冗长过程。因而mmap效率更高。
4.mmap优点总结
由上文讨论可知,mmap优点共有一下几点:
1、对文件的读取操作越过了页缓存,降低了数据的拷贝次数,用显存读写代替I/O读写,提升了文件读取效率。
2、实现了用户空间和内核空间的高效交互方法。两空间的各自更改操作可以直接反映在映射的区域内,因而被对方空间及时捕捉。
3、提供进程间共享显存及相互通信的形式。不管是兄妹进程还是无亲缘关系的进程,都可以将自身用户空间映射到同一个文件或匿名映射到同一片区域。因而通过各自对映射区域的改动,达到进程间通讯和进程间共享的目的。
同时,假如进程A和进程B都映射了区域C,当A第一次读取C时通过缺页从c盘复制文件页到显存中;但当B再读C的相同页面时,尽管也会形成缺页异常,并且不再须要从c盘中复制文件过来,而可直接使用早已保存在显存中的文件数据。
4、可用于实现高效的大规模数据传输。显存空间不足,是阻碍大数据操作的一个方面,解决方案常常是利用硬碟空间协助操作linux 驱动 mmap,补充显存的不足。并且进一步会导致大量的文件I/O操作,极大影响效率。这个问题可以通过mmap映射挺好的解决。换句话说,但但凡须要用c盘空间取代显存的时侯,mmap都可以发挥其功效。
5.mmap相关函数
函数原型
void*mmap(void*start,size_tlength,intprot,intflags,intfd,off_toffset);
返回说明
成功执行时,mmap()返回被映射区的表针。失败时,mmap()返回MAP_FAILED[其值为(void*)-1],error被设为以下的某个值:
EACCES:访问出错
EAGAIN:文件已被锁定,或则太多的显存已被锁定
EBADF:fd不是有效的文件描述词
EINVAL:一个或则多个参数无效
ENFILE:已达到系统对打开文件的限制
ENODEV:指定文件所在的文件系统不支持显存映射
ENOMEM:显存不足,或则进程已超出最大显存映射数目
EPERM:权能不足,操作不容许
ETXTBSY:已写的方法打开文件,同时指定MAP_DENYWRITE标志
SIGSEGV:试着向只读区写入
SIGBUS:试着访问不属于进程的显存区
参数
start:映射区的开始地址
length:映射区的宽度
prot:期望的显存保护标志,不能与文件的打开模式冲突。是以下的某个值,可以通过or运算合理地组合在一起
PROT_EXEC:页内容可以被执行
PROT_READ:页内容可以被读取
PROT_WRITE:页可以被写入
PROT_NONE:页不可访问
flags:指定映射对象的类型,映射选项和映射页是否可以共享。它的值可以是一个或则多个以下位的组合体
MAP_FIXED//使用指定的映射起始地址,假如由start和len参数指定的显存区重叠于现存的映射空间,重叠部份将会被遗弃。假如指定的起始地址不可用,操作将会失败。而且起始地址必须落在页的边界上。
MAP_SHARED//与其它所有映射这个对象的进程共享映射空间。对共享区的写入,相当于输出到文件。直至msync()或则munmap()被调用,文件实际上不会被更新。
MAP_PRIVATE//构建一个写入时拷贝的私有映射。显存区域的写入不会影响到原文件。这个标志和以上标志是互斥的,只能使用其中一个。
MAP_DENYWRITE//这个标志被忽视。
MAP_EXECUTABLE//同上
MAP_NORESERVE//不要为这个映射保留交换空间。当交换空间被保留,对映射区更改的可能会得到保证。当交换空间不被保留,同时显存不足,对映射区的更改会导致段违例讯号。
MAP_LOCKED//锁定映射区的页面,因而避免页面被交换出显存。
MAP_GROWSDOWN//用于堆栈,告诉内核VM系统,映射区可以向上扩充。
MAP_ANONYMOUS//匿名映射,映射区不与任何文件关联。
MAP_ANON//MAP_ANONYMOUS的别名,不再被使用。
MAP_FILE//兼容标志,被忽视。
MAP_32BIT//将映射区置于进程地址空间的低2GB,MAP_FIXED指定时会被忽视。当前这个标志只在x86-64平台上得到支持。
MAP_POPULATE//为文件映射通过预读的形式打算好页表。随即对映射区的访问不会被页违例阻塞。
MAP_NONBLOCK//仅和MAP_POPULATE一起使用时才有意义。不执行预读,只为已存在于显存中的页面构建页表入口。
fd:有效的文件描述词。假如MAP_ANONYMOUS被设定,为了兼容问题,其值应为-1
offset:被映射对象内容的起点
相关函数
intmunmap(void*addr,size_tlen)
成功执行时,munmap()返回0。失败时,munmap返回-1,error返回标志和mmap一致;
该调用在进程地址空间中解除一个映射关系,addr是调用mmap()时返回的地址,len是映射区的大小;
当映射关系解除后,对原先映射地址的访问将造成段错误发生。
intmsync(void*addr,size_tlen,intflags)
通常说来,进程在映射空间的对共享内容的改变并不直接写回到c盘文件中,常常在调用munmap()后才执行该操作。
可以通过调用msync()实现c盘上文件内容与共享显存区的内容一致。
6.mmap使用细节
1、使用mmap须要注意的一个关键点是,mmap映射区域大小必须是化学页大小(page_size)的整倍数(32位系统中一般是4k字节)。缘由是,显存的最小细度是页,而进程虚拟地址空间和显存的映射也是以页为单位。为了匹配显存的操作,mmap从c盘到虚拟地址空间的映射也必须是页。
2、内核可以跟踪被显存映射的底层对象(文件)的大小,进程可以合法的访问在当前文件大小以内又在显存映射区以内的这些字节。也就是说,假如文件的大小仍然在扩张,只要在映射区域范围内的数据,进程都可以合法得到,这和映射构建时文件的大小无关。具体情形参见“情形三”。
3、映射构建以后,虽然文件关掉,映射仍然存在。由于映射的是c盘的地址,不是文件本身,和文件句柄无关。同时可用于进程间通讯的有效地址空间不完全受限于被映射文件的大小,由于是按页映射。
在里面的知识前提下,我们下边瞧瞧假如大小不是页的整倍数的具体情况:
情形一:一个文件的大小是5000字节,mmap函数从一个文件的起始位置开始,映射5000字节到虚拟显存中。
剖析:由于单位化学页面的大小是4096字节,尽管被映射的文件只有5000字节,并且对应到进程虚拟地址区域的大小须要满足整页大小,因而mmap函数执行后,实际映射到虚拟显存区域8192个字节,5000~8191的字节部份用零填充。映射后的对应关系如右图所示:
此时:
(1)读/写前5000个字节(0~4999),会返回操作文件内容。
(2)读字节5000~8191时android linux,结果全为0。写5000~8191时,进程不会报错,而且所写的内容不会写入原文件中。
(3)读/写8192以外的c盘部份,会返回一个SIGSECV错误。
情形二:一个文件的大小是5000字节,mmap函数从一个文件的起始位置开始,映射15000字节到虚拟显存中,即映射大小超过了原始文件的大小。
剖析:因为文件的大小是5000字节,和情形一一样,其对应的两个化学页。这么这两个化学页都是合法可以读写的,只是超出5000的部份不会彰显在原文件中。因为程序要求映射15000字节,而文件只占两个化学页,因而8192字节~15000字节都不能读写,操作时会返回异常。如右图所示:
此时:
(1)进程可以正常读/写被映射的前5000字节(0~4999),写操作的改动会在一定时间后反映在原文件中。
(2)对于5000~8191字节,进程可以进行读写过程,不会报错。并且内容在写入前均为0,另外,写入后不会反映在文件中。
(3)对于8192~14999字节,进程不能对其进行读写,会报SIGBUS错误。
(4)对于15000以外的字节,进程不能对其读写,会引起SIGSEGV错误。
情形三:一个文件初始大小为0,使用mmap操作映射了1000*4K的大小,即1000个化学页大概4M字节空间,mmap返回表针ptr。
剖析:假如在映射构建之初linux 驱动 mmap,就对文件进行读写操作,因为文件大小为0,并没有合法的化学页对应,就像情形二一样,会返回SIGBUS错误。
然而若果,每次操作ptr读写前,先降低文件的大小,这么ptr在文件大小内部的操作就是合法的。诸如,文件扩展4096字节,ptr才能操作ptr~[(char)ptr+4095]的空间。只要文件扩展的范围在1000个化学页(映射范围)内,ptr都可以对应操作相同的大小。
这样,便捷随时扩展文件空间,随时写入文件,不致使空间浪费。
7.mmap使用demo
#include
#include
#include
#include
#include
int main(int argc, char *argv[])
{
int fd = 0;
char *ptr = NULL;
struct stat buf = {0};
if (argc < 2)
{
printf("please enter a file!n");
return -1;
}
if ((fd = open(argv[1], O_RDWR)) < 0)
{
printf("open file errorn");
return -1;
}
if (fstat(fd, &buf) < 0)
{
printf("get file state error:%dn", errno);
close(fd);
return -1;
}
ptr = (char *)mmap(NULL, buf.st_size, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
if (ptr == MAP_FAILED)
{
printf("mmap failedn");
close(fd);
return -1;
}
close(fd);
printf("length of the file is : %dn", buf.st_size);
printf("the %s content is : %sn", argv[1], ptr);
ptr[3] = 'a';
printf("the %s new content is : %sn", argv[1], ptr);
munmap(ptr, buf.st_size);
return 0;
}