1402
ARM32位系統(tǒng)的內(nèi)存布局圖
32位操作系統(tǒng)的內(nèi)存布局很經(jīng)典，很多書籍都是以32位系統(tǒng)為例子去講解的。32位的系統(tǒng)可訪問的地址空間為4GB，用戶空間為1GB ~ 3GB，內(nèi)核空間為3GB ~ 4GB。
為什么要?jiǎng)澐譃橛脩艨臻g和內(nèi)核空間呢？
一般處理器會(huì)把運(yùn)行模式分為好幾個(gè)，比如x86分為rang0 ~ rang3級(jí)別。ARMv7架構(gòu)中，又分為好幾個(gè)模式，比如svc模式是給內(nèi)核用的，usr模式是給用戶態(tài)使用的。
當(dāng)一個(gè)進(jìn)程執(zhí)行系統(tǒng)調(diào)用時(shí)，會(huì)陷入到內(nèi)核態(tài)中，這個(gè)時(shí)候運(yùn)行模式就從usr模式轉(zhuǎn)換為svc模式，這就是我們常說的內(nèi)核態(tài)。處于內(nèi)核態(tài)的進(jìn)程是可以訪問內(nèi)核空間的。所以就根據(jù)CPU的運(yùn)行模式劃分了兩個(gè)空間。
我們先看下1GB的內(nèi)核空間是怎么劃分的，32位的系統(tǒng)中，通常配置的物理內(nèi)存通常是大于1GB的，所以物理內(nèi)存會(huì)劃分為兩部分，低端內(nèi)存稱為線性映射區(qū)，高端內(nèi)存稱為高端映射區(qū)。那這個(gè)分界線是怎么計(jì)算的呢，在ARM32中，分界線為760M。低端內(nèi)存會(huì)做一比一映射到3GB ~ 3GB+760M。
這里講的線性映射就是直接把物理內(nèi)存的地址映射到線性映射區(qū)中，假設(shè)物理內(nèi)存的DDR起始地址是0，映射的時(shí)候就有一個(gè)偏移量，這個(gè)偏移量就是0XC0000000，page offset。線性映射的地址我們就可以很方便的完成虛擬地址到物理地址的轉(zhuǎn)換，只需要加減一個(gè)offset就可以。
高端內(nèi)存的映射就沒有線性映射那么簡單了，使用高端內(nèi)存時(shí)需要完成動(dòng)態(tài)映射。
我們先看下1GB的內(nèi)核空間剩下都做什么使用了。
vmalloc區(qū)域：分配的內(nèi)存在虛擬地址是連續(xù)的，物理頁面可以是離散的。vmalloc大概占用了200M物理內(nèi)存。
fixmap：Fix map中的fix指的是固定的意思，那么固定什么東西呢？其實(shí)就是虛擬地址是固定的，也就是說，有些虛擬地址在編譯（compile-time）的時(shí)候就固定下來了，而這些虛擬地址對(duì)應(yīng)的物理地址不是固定的，是在kernel啟動(dòng)過程中被確定的。
vector：vector區(qū)域用于映射CPU vector page，大小一頁4KB，從0xffff0000 - 0xffff1000。
接下來看下3GB用戶空間的劃分方式，一個(gè)進(jìn)程要運(yùn)行起來，必然要有自己的代碼段和數(shù)據(jù)段，這部分在加載的時(shí)候就會(huì)被映射到虛擬地址。
堆空間:從進(jìn)程的開始到1GB的這部分我們稱為堆空間，這部分主要是給malloc使用的。
mmap空間:1GB到3GB這部分是給mmap空間使用的，mmap可以用來映射文件也可以映射匿名頁面。通常用戶態(tài)分配大段內(nèi)存的時(shí)候，Linux通常會(huì)使用mmap來完成分配。
從進(jìn)程的角度看內(nèi)存布局
readelf 查看程序段
接下來，我們通過一個(gè)C語言程序?qū)W習(xí)下內(nèi)存布局，這個(gè)例子很簡單，用malloc函數(shù)分配了內(nèi)存內(nèi)存，然后使用memset將該區(qū)域清零。
使用gcc編譯為elf后，可以使用readelf 查看該程序包含那些段。
#include?<stdio.h>
#include?<string.h>?
#include?<stdlib.h>
#define?SIZE?(100?*?1024)
void?main()
{
????char*?buf?=?malloc(SIZE);
????memset(buf,?0x58,?SIZE);
????while(1)
????????sleep(10000);
}
gcc?-static??memory_process.c?-o?memory_process.elf
我們知道，通常Linux中流行的可執(zhí)行文件的格式就是elf。使用gcc編譯的elf就是我們講的elf文件，目標(biāo)文件除了包含了編譯后的機(jī)器指令代碼，還包含其他鏈接信息，比如符號(hào)表，調(diào)試信息，字符串等，通常這些信息會(huì)根據(jù)不同的屬性存放在不同的段（section）中，這里我們只關(guān)注常見的段 。
.init：程序初始化的代碼段。
.text：代碼段，程序編譯完后的機(jī)器指令。
.data:初始化過的全局的靜態(tài)變量，還有一些局部的靜態(tài)變量。
.rodata：只讀變量，字符串，常量等。
.bss：未初始化的全局變量以及初始化為零的變量。
readelf 查看程序頭
使用-l參數(shù)讀下程序頭（program header），它是用來描述OS是如何被映射到進(jìn)程的虛擬地址空間的。
之前我們看到的30個(gè)段，在這里分成了7個(gè)族，并且顯示每個(gè)族都包含那些段，這里我們只關(guān)注叫l(wèi)oad的族，其他族主要是在程序裝載的時(shí)候起到輔助作用。
第一個(gè)族里面包含init，text段，他的執(zhí)行權(quán)限是只讀，可執(zhí)行的（RE）。起始地址0x0000000000400000，大小是0x00000000000b5986。
另外一個(gè)族主要包含data和bss段，他的執(zhí)行權(quán)限是可讀寫（RW）。起始地址0x00000000006b6120，大小是0x00000000000051b8。
進(jìn)程映射的過程
地址：本段在虛擬內(nèi)存中的地址范圍；對(duì)應(yīng)vm_area_struct中的vm_start和vm_end。
權(quán)限：本段的權(quán)限; r-讀，w-寫，x-執(zhí)行， p-私有;對(duì)應(yīng)vm_flags。
偏移地址：即本段映射地址在文件中的偏移；對(duì)于有名映射指本段映射地址在文件中的偏移,對(duì)應(yīng)vm_pgoff；對(duì)于匿名映射為vm_area_struct->vm_start。
主設(shè)備號(hào)與次設(shè)備號(hào)：所映射的文件所屬設(shè)備的設(shè)備號(hào)，對(duì)應(yīng)vm_file->f_dentry->d_inode->i_sb->s_dev。匿名映射為0。其中fd為主設(shè)備號(hào)，00為次設(shè)備號(hào)。
文件索引節(jié)點(diǎn)號(hào)：對(duì)應(yīng)vm_file->f_dentry->d_inode->i_ino，與ls –i顯示的內(nèi)容相符。匿名映射為0。
映射的文件名：對(duì)有名映射而言，是映射的文件名，對(duì)匿名映射來說，是此段內(nèi)存在進(jìn)程中的作用。[stack]表示本段內(nèi)存作為棧來使用，[heap]作為堆來使用，其他情況則為無。
smaps 可以查看更多的內(nèi)容
???example?cat?/proc/5823/smaps??
00400000-004b6000?r-xp?00000000?08:01?2319863????????????????????????????/home/zhongyi/code/example/memory_process.elf
Size:????????????????728?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:?????????????????640?kB
Pss:?????????????????640?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:???????640?kB
Private_Dirty:?????????0?kB
Referenced:??????????640?kB
Anonymous:?????????????0?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?ex?mr?mw?me?dw?sd?
006b6000-006bc000?rw-p?000b6000?08:01?2319863????????????????????????????/home/zhongyi/code/example/memory_process.elf
Size:?????????????????24?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:??????????????????24?kB
Pss:??????????????????24?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????8?kB
Private_Dirty:????????16?kB
Referenced:???????????24?kB
Anonymous:????????????16?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?wr?mr?mw?me?dw?ac?sd?
006bc000-006bd000?rw-p?00000000?00:00?0?
Size:??????????????????4?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:???????????????????4?kB
Pss:???????????????????4?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:?????????4?kB
Referenced:????????????4?kB
Anonymous:?????????????4?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?wr?mr?mw?me?ac?sd?
010cc000-010ef000?rw-p?00000000?00:00?0??????????????????????????????????[heap]
Size:????????????????140?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:?????????????????108?kB
Pss:?????????????????108?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:???????108?kB
Referenced:??????????108?kB
Anonymous:???????????108?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?wr?mr?mw?me?ac?sd?
7ffd5e0db000-7ffd5e0fc000?rw-p?00000000?00:00?0??????????????????????????[stack]
Size:????????????????132?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:??????????????????16?kB
Pss:??????????????????16?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:????????16?kB
Referenced:???????????16?kB
Anonymous:????????????16?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?wr?mr?mw?me?gd?ac?
7ffd5e100000-7ffd5e103000?r--p?00000000?00:00?0??????????????????????????[vvar]
Size:?????????????????12?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:???????????????????0?kB
Pss:???????????????????0?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:?????????0?kB
Referenced:????????????0?kB
Anonymous:?????????????0?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?mr?pf?io?de?dd?sd?
7ffd5e103000-7ffd5e105000?r-xp?00000000?00:00?0??????????????????????????[vdso]
Size:??????????????????8?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:???????????????????4?kB
Pss:???????????????????0?kB
Shared_Clean:??????????4?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:?????????0?kB
Referenced:????????????4?kB
Anonymous:?????????????0?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?ex?mr?mw?me?de?sd?
ffffffffff600000-ffffffffff601000?--xp?00000000?00:00?0??????????????????[vsyscall]
Size:??????????????????4?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:???????????????????0?kB
Pss:???????????????????0?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:?????????0?kB
Referenced:????????????0?kB
Anonymous:?????????????0?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?ex?
堆里面，匿名頁面分配了108個(gè)物理內(nèi)存，但我們的測試程序只分配了100k物理內(nèi)存，這里匿名頁面比分配的要大，這是因?yàn)檫M(jìn)程在裝載的時(shí)候也要消耗一些匿名頁面。
010cc000-010ef000?rw-p?00000000?00:00?0??????????????????????????????????[heap]
Size:????????????????140?kB
KernelPageSize:????????4?kB
MMUPageSize:???????????4?kB
Rss:?????????????????108?kB
Pss:?????????????????108?kB
Shared_Clean:??????????0?kB
Shared_Dirty:??????????0?kB
Private_Clean:?????????0?kB
Private_Dirty:???????108?kB
Referenced:??????????108?kB
Anonymous:???????????108?kB
LazyFree:??????????????0?kB
AnonHugePages:?????????0?kB
ShmemPmdMapped:????????0?kB
FilePmdMapped:????????0?kB
Shared_Hugetlb:????????0?kB
Private_Hugetlb:???????0?kB
Swap:??????????????????0?kB
SwapPss:???????????????0?kB
Locked:????????????????0?kB
THPeligible:????????????0
VmFlags:?rd?wr?mr?mw?me?ac?sd?
根據(jù)以上信息，可以繪制出測試程序內(nèi)存的布局圖。
測試程序進(jìn)程的elf這里只列出了常用的段。代碼段的VMA屬于page cache映射，這里把init段，text段，rodata段分為一個(gè)族，因?yàn)樗麄兙哂邢嗤臋?quán)限，在進(jìn)程加載的時(shí)候，會(huì)映射到代碼段的VMA中。
數(shù)據(jù)段的VMA屬于匿名映射，bss，data段具有相同的權(quán)限，在OS加載時(shí)，會(huì)映射到數(shù)據(jù)段的VMA中。
從數(shù)據(jù)段開始的地方就屬于堆空間，我們?cè)诔绦蛑杏胢alloc分配了100K空間，這100K大小，也是在堆空間有對(duì)應(yīng)的位置存在。
另外就是棧的VMA，進(jìn)程有屬于自己的VMA的棧。
以上就介紹了進(jìn)程的ELF如何和進(jìn)程的地址空間映射起來的。
64位系統(tǒng)的布局圖
64位系統(tǒng)可以訪問的空間就變得很大了。不過是ARM還是X86，實(shí)際的物理地址都不會(huì)用到64根地址線，通常是使用了48根地址線。而且，劃分的用戶空間和內(nèi)核空間都是非常大的。
大家可以看這張圖，把空間分為了三部分，一部分是內(nèi)核空間，一部分是非規(guī)范區(qū)域（大家都不使用的），最后是用戶空間。
用戶空間：0x0000_0000_0000_0000到0x0000_ffff_ffff_ffff，一共有256TB。
非規(guī)范區(qū)域
內(nèi)核空間：0xffff_0000_0000_0000到0xffff_ffff_ffff_ffff。一共有256TB。
內(nèi)核空間又做了如下細(xì)分：
vmalloc區(qū)域：vmalloc函數(shù)使用的虛擬地址空間，kernel image也在vmalloc區(qū)域，內(nèi)核鏡像的起始地址 = KIMAGE_ADDR + TEXT_OFFSET， TEXT_OFFSET是內(nèi)存中的內(nèi)核鏡像相對(duì)內(nèi)存起始位置的偏移。
vmemmap區(qū)域：內(nèi)存的物理地址如果不連續(xù)的話，就會(huì)存在內(nèi)存空洞（稀疏內(nèi)存），vmemmap就用來存放稀疏內(nèi)存的page結(jié)構(gòu)體的數(shù)據(jù)的虛擬地址空間。
PCI I/O區(qū)域：pci設(shè)備的I/O地址空間
Modules區(qū)域：內(nèi)核模塊使用的虛擬地址空間
normal memory線性映射區(qū)：范圍是【0xffff_8000_0000_0000, 0xffff_ffff_ffff_ffff】, 一共有128TB, 但這里代碼對(duì)應(yīng)的是memblock_start_of_DRAM()和memblock_end_of_DRAM()函數(shù)。memory根據(jù)實(shí)際物理內(nèi)存大小做了限制，所以memroy顯示了實(shí)際能夠訪問的內(nèi)存區(qū)。
MLM(__phys_to_virt(memblock_start_of_DRAM()),?(unsigned?long)high_memory))
high_memory?=?__va(memblock_end_of_DRAM()?-?1)?+?1;
最終是通過dts或acpi中配置的memory節(jié)點(diǎn)確定的。
下載ECAD模型
