0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

缺頁(yè)異常是匿名映射缺頁(yè)異常分析

Linux閱碼場(chǎng) ? 來(lái)源:韓傳華 ? 作者:韓傳華 ? 2020-09-09 10:55 ? 次閱讀

前面講到過(guò)寫(xiě)時(shí)復(fù)制缺頁(yè)異常(COW),一般用于父子進(jìn)程之間共享頁(yè),而我們會(huì)常見(jiàn)一種缺頁(yè)異常是匿名映射缺頁(yè)異常,今天我們就來(lái)討論下這種缺頁(yè)異常,讓大家徹底理解它。注:本文使用linux-5.0內(nèi)核源代碼。文章分為以下幾節(jié)內(nèi)容:

1.匿名映射缺頁(yè)異常的觸發(fā)情況2.0頁(yè)是什么?為什么使用0頁(yè)?

3.源代碼分析

3.1 觸發(fā)條件

3.2 第一次讀匿名頁(yè)

3.3 第一次寫(xiě)匿名頁(yè)

3.4 讀之后寫(xiě)匿名頁(yè)

4.應(yīng)用層實(shí)驗(yàn)

5.總結(jié)

在講解匿名映射缺頁(yè)異常之前我們先要了解以下什么是匿名頁(yè)?與匿名頁(yè)相對(duì)應(yīng)的是文件頁(yè),文件頁(yè)我們應(yīng)該很好理解,就是映射文件的頁(yè),如:通過(guò)mmap映射文件到虛擬內(nèi)存然后讀文件數(shù)據(jù),進(jìn)程的代碼數(shù)據(jù)段等,這些頁(yè)有后備緩存也就是塊設(shè)備上的文件,而匿名頁(yè)就是沒(méi)有關(guān)聯(lián)到文件的頁(yè),如:進(jìn)程的堆、棧等。還有一點(diǎn)需要注意:下面討論的都是私有的匿名頁(yè)的情況,共享匿名頁(yè)在內(nèi)核演變?yōu)槲募成淙表?yè)異常(偽文件系統(tǒng)),后面有機(jī)會(huì)我們會(huì)講解,感興趣的小伙伴可以看一看mmap的代碼實(shí)現(xiàn)對(duì)共享匿名頁(yè)的處理。

一,匿名映射缺頁(yè)異常的觸發(fā)情況

前面我們講解了什么是匿名頁(yè),那么思考一下什么情況下會(huì)觸發(fā)匿名映射缺頁(yè)異常呢?這種異常對(duì)于我們來(lái)說(shuō)非常常見(jiàn):

1.當(dāng)我們應(yīng)用程序使用malloc來(lái)申請(qǐng)一塊內(nèi)存(堆分配),在沒(méi)有使用這塊內(nèi)存之前,僅僅是分配了虛擬內(nèi)存,并沒(méi)有分配物理內(nèi)存,第一次去訪(fǎng)問(wèn)的時(shí)候才會(huì)通過(guò)觸發(fā)缺頁(yè)異常來(lái)分配物理頁(yè)建立和虛擬頁(yè)的映射關(guān)系。

2.當(dāng)我們應(yīng)用程序使用mmap來(lái)創(chuàng)建匿名的內(nèi)存映射的時(shí)候,頁(yè)同樣只是分配了虛擬內(nèi)存,并沒(méi)有分配物理內(nèi)存,第一次去訪(fǎng)問(wèn)的時(shí)候才會(huì)通過(guò)觸發(fā)缺頁(yè)異常來(lái)分配物理頁(yè)建立和虛擬頁(yè)的映射關(guān)系。

3.當(dāng)函數(shù)的局部變量比較大,或者是函數(shù)調(diào)用的層次比較深,導(dǎo)致了當(dāng)前的棧不夠用了,這個(gè)時(shí)候需要擴(kuò)大棧。當(dāng)然了上面的這幾種場(chǎng)景對(duì)應(yīng)應(yīng)用程序來(lái)說(shuō)是透明的,內(nèi)核為用戶(hù)程序做了大量的處理工作,下面幾節(jié)會(huì)看到如何處理。

二,0頁(yè)是什么?為什么使用0頁(yè)?

這里為什么會(huì)說(shuō)到0頁(yè)呢?什么是0頁(yè)呢?是地址為0的頁(yè)嗎?答案是:系統(tǒng)初始化過(guò)程中分配了一頁(yè)的內(nèi)存,這段內(nèi)存全部被填充0。下面我們來(lái)看下0頁(yè)如何分配的:在arch/arm64/mm/mmu.c中:

61/* 62 * Empty_zero_page is a special page that is used for zero-initialized data 63 * and COW. 64 */ 65 unsigned long empty_zero_page[PAGE_SIZE / sizeof(unsigned long)] __page_aligned_bss; 66 EXPORT_SYMBOL(empty_zero_page);

可以看到定義了一個(gè)全局變量,大小為一頁(yè),頁(yè)對(duì)齊到bss段,所有這段數(shù)據(jù)內(nèi)核初始化的時(shí)候會(huì)被清零,所有稱(chēng)之為0頁(yè)。

那么為什么使用0頁(yè)呢?一個(gè)是它的數(shù)據(jù)都是被0填充,讀的時(shí)候數(shù)據(jù)都是0,二是節(jié)約內(nèi)存,匿名頁(yè)面第一次讀的時(shí)候數(shù)據(jù)都是0都會(huì)映射到這頁(yè)中從而節(jié)約內(nèi)存(共享0頁(yè)),那么如果有進(jìn)程要去寫(xiě)這個(gè)這個(gè)頁(yè)會(huì)怎樣呢?答案是發(fā)生COW重新分配頁(yè)來(lái)寫(xiě)。

三,源代碼分析

3.1 觸發(fā)條件

當(dāng)?shù)谝还?jié)中的觸發(fā)情況發(fā)生的時(shí)候,處理器就會(huì)發(fā)生缺頁(yè)異常,從處理器架構(gòu)相關(guān)部分過(guò)渡到處理器無(wú)關(guān)部分,最終到達(dá)handle_pte_fault函數(shù):

3742 static vm_fault_t handle_pte_fault(struct vm_fault *vmf) 3743 { 3744 pte_t entry; ... 3782 if (!vmf->pte) { 3783 if (vma_is_anonymous(vmf->vma)) 3784 return do_anonymous_page(vmf); 3785 else 3786 return do_fault(vmf); 3787 }

3782和3783行是匿名映射缺頁(yè)異常的觸發(fā)條件:

1.發(fā)生缺頁(yè)的地址所在頁(yè)表項(xiàng)不存在。

2.是匿名頁(yè)發(fā)生的,即是vma->vm_ops為空。

當(dāng)滿(mǎn)足這兩個(gè)條件的時(shí)候就會(huì)調(diào)用do_anonymous_page函數(shù)來(lái)處理匿名映射缺頁(yè)異常。

2871 /* 2872 * We enter with non-exclusive mmap_sem (to exclude vma changes, 2873 * but allow concurrent faults), and pte mapped but not yet locked. 2874 * We return with mmap_sem still held, but pte unmapped and unlocked. 2875 */ 2876 static vm_fault_t do_anonymous_page(struct vm_fault *vmf) 2877 { 2878 struct vm_area_struct *vma = vmf->vma; 2879 struct mem_cgroup *memcg; 2880 struct page *page; 2881 vm_fault_t ret = 0; 2882 pte_t entry; 2883 2884 /* File mapping without ->vm_ops ? */ 2885 if (vma->vm_flags & VM_SHARED) 2886 return VM_FAULT_SIGBUS; 2887 2888/* 2889 |* Use pte_alloc() instead of pte_alloc_map(). We can't run 2890 |* pte_offset_map() on pmds where a huge pmd might be created 2891 |* from a different thread. 2892 |* 2893 |* pte_alloc_map() is safe to use under down_write(mmap_sem) or when 2894 |* parallel threads are excluded by other means. 2895 |* 2896 |* Here we only have down_read(mmap_sem). 2897 |*/ 2898 if (pte_alloc(vma->vm_mm, vmf->pmd)) 2899 return VM_FAULT_OOM; 2904 ...

2885行判斷:發(fā)生缺頁(yè)的vma是否為私有映射,這個(gè)函數(shù)處理的是私有的匿名映射。

2898行如何頁(yè)表不存在則分配頁(yè)表(有可能缺頁(yè)地址的頁(yè)表項(xiàng)所在的直接頁(yè)表不存在)。

3.2 第一次讀匿名頁(yè)情況

... 2905 /* Use the zero-page for reads */ 2906 if (!(vmf->flags & FAULT_FLAG_WRITE) && 2907 !mm_forbids_zeropage(vma->vm_mm)) { 2908 entry = pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address), 2909 vma->vm_page_prot)); 2910 vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd, 2911 vmf->address, &vmf->ptl); 2912 if (!pte_none(*vmf->pte)) 2913 goto unlock; 2914 ret = check_stable_address_space(vma->vm_mm); 2915 if (ret) 2916 goto unlock; 2917 /* Deliver the page fault to userland, check inside PT lock */ 2918 if (userfaultfd_missing(vma)) { 2919 pte_unmap_unlock(vmf->pte, vmf->ptl); 2920 return handle_userfault(vmf, VM_UFFD_MISSING); 2921 } 2922 goto setpte; 2923 } ... 2968 setpte: 2969 set_pte_at(vma->vm_mm, vmf->address, vmf->pte, entry);

?2906到2923行是處理的是私有匿名頁(yè)讀的情況:這里就會(huì)用到我們上面將的0頁(yè)了。

2906和 2907行判斷是否是由于讀操作導(dǎo)致的缺頁(yè)而且沒(méi)有禁止0頁(yè)。

2908-2909行是核心部分:設(shè)置頁(yè)表項(xiàng)的值映射到0頁(yè)。

我們主要研究這個(gè)語(yǔ)句:pfn_pte用來(lái)將頁(yè)幀號(hào)和頁(yè)表屬性拼接為頁(yè)表項(xiàng)值:

arch/arm64/include/asm/pgtable.h:77 #define pfn_pte(pfn,prot) 78 __pte(__phys_to_pte_val((phys_addr_t)(pfn) << PAGE_SHIFT) | pgprot_val(prot))

是將pfn左移PAGE_SHIFT位(一般為12bit),或上pgprot_val(prot)

先看my_zero_pfn:

include/asm-generic/pgtable.h:875staticinlineunsignedlongmy_zero_pfn(unsignedlongaddr) 876 { 877 extern unsigned long zero_pfn; 878 return zero_pfn; 879 }

||/

mm/memory.c: 126 unsigned long zero_pfn __read_mostly; 127 EXPORT_SYMBOL(zero_pfn); 128 129 unsigned long highest_memmap_pfn __read_mostly; 130 131 /* 132 * CONFIG_MMU architectures set up ZERO_PAGE in their paging_init() 133 */ 134 static int __init init_zero_pfn(void) 135 { 136 zero_pfn = page_to_pfn(ZERO_PAGE(0)); 137 return 0; 138 } 139 core_initcall(init_zero_pfn);

||/

arch/arm64/include/asm/pgtable.h:54/* 55 * ZERO_PAGE is a global shared page that is always zero: used 56 * for zero-mapped memory areas etc.. 57 */ 58 extern unsigned long empty_zero_page[PAGE_SIZE / sizeof(unsigned long)]; 59 #define ZERO_PAGE(vaddr) phys_to_page(__pa_symbol(empty_zero_page))

最終我們看到使用的就是內(nèi)核初始化設(shè)置的empty_zero_page這個(gè)0頁(yè)得到頁(yè)幀號(hào)。再看看pfn_pte的第二個(gè)參數(shù)vma->vm_pageprot,這是vma的訪(fǎng)問(wèn)權(quán)限,在做內(nèi)存映射mmap的時(shí)候會(huì)被設(shè)置。

那么我們想知道的時(shí)候是什么時(shí)候0頁(yè)被設(shè)置為了只讀屬性的(也就是頁(yè)表項(xiàng)何時(shí)被設(shè)置為只讀)?

我們帶著這個(gè)問(wèn)題去在內(nèi)核代碼中尋找答案。其實(shí)代碼看到這里一般看不到頭緒,但是我們要知道何時(shí)vma的vm_page_prot成員被設(shè)置的,如何被設(shè)置的,有可能就能找到答案。

我們到mm/mmap.c中去尋找答案:我們以do_brk_flags函數(shù)為例,這是設(shè)置堆的函數(shù)我們關(guān)注到3040行設(shè)置了vm_page_prot:

3040vma->vm_page_prot=vm_get_page_prot(flags);

||/

110 pgprot_t vm_get_page_prot(unsigned long vm_flags) 111 { 112 pgprot_t ret = __pgprot(pgprot_val(protection_map[vm_flags & 113 (VM_READ|VM_WRITE|VM_EXEC|VM_SHARED)]) | 114 pgprot_val(arch_vm_get_page_prot(vm_flags))); 115 116 return arch_filter_pgprot(ret); 117 } 118 EXPORT_SYMBOL(vm_get_page_prot);

vm_get_page_prot函數(shù)會(huì)根據(jù)傳遞來(lái)的vmflags是否為VMREAD|VMWRITE|VMEXEC|VMSHARED來(lái)轉(zhuǎn)換為保護(hù)位組合,繼續(xù)往下看||/

78 /* description of effects of mapping type and prot in current implementation. 79 * this is due to the limited x86 page protection hardware. The expected 80 * behavior is in parens: 81 * 82 * map_type prot 83 * PROT_NONE PROT_READ PROT_WRITE PROT_EXEC 84 * MAP_SHARED r: (no) no r: (yes) yes r: (no) yes r: (no) yes 85 * w: (no) no w: (no) no w: (yes) yes w: (no) no 86 * x: (no) no x: (no) yes x: (no) yes x: (yes) yes 87 * 88 * MAP_PRIVATE r: (no) no r: (yes) yes r: (no) yes r: (no) yes 89 * w: (no) no w: (no) no w: (copy) copy w: (no) no 90 * x: (no) no x: (no) yes x: (no) yes x: (yes) yes 91 * 92 * On arm64, PROT_EXEC has the following behaviour for both MAP_SHARED and 93 * MAP_PRIVATE: 94 * r: (no) no 95 * w: (no) no 96 * x: (yes) yes 97 */ 98 pgprot_t protection_map[16] __ro_after_init = { 99 __P000, __P001, __P010, __P011, __P100, __P101, __P110, __P111, 100 __S000, __S001, __S010, __S011, __S100, __S101, __S110, __S111 101 };

protection_map數(shù)組定義了從P000到S111一共16種組合,P表示私有(Private),S表示共享(Share),后面三個(gè)數(shù)字依次為可讀、可寫(xiě)、可執(zhí)行,如:_S010表示共享、不可讀、可寫(xiě)、不可執(zhí)行。

||/

arch/arm64/include/asm/pgtable-prot.h: 93 #define PAGE_NONE __pgprot(((_PAGE_DEFAULT) & ~PTE_VALID) | PTE_PROT_NONE | PTE_RDONLY | PTE_NG | PTE_PXN | PTE_UXN) 94 #define PAGE_SHARED __pgprot(_PAGE_DEFAULT | PTE_USER | PTE_NG | PTE_PXN | PTE_UXN | PTE_WRITE) 95 #define PAGE_SHARED_EXEC __pgprot(_PAGE_DEFAULT | PTE_USER | PTE_NG | PTE_PXN | PTE_WRITE) 96 #define PAGE_READONLY __pgprot(_PAGE_DEFAULT | PTE_USER | PTE_RDONLY | PTE_NG | PTE_PXN | PTE_UXN) 97 #define PAGE_READONLY_EXEC __pgprot(_PAGE_DEFAULT | PTE_USER | PTE_RDONLY | PTE_NG | PTE_PXN) 98 #define PAGE_EXECONLY __pgprot(_PAGE_DEFAULT | PTE_RDONLY | PTE_NG | PTE_PXN) 99 100 #define __P000 PAGE_NONE 101 #define __P001 PAGE_READONLY 102 #define __P010 PAGE_READONLY 103 #define __P011 PAGE_READONLY 104 #define __P100 PAGE_EXECONLY 105 #define __P101 PAGE_READONLY_EXEC 106 #define __P110 PAGE_READONLY_EXEC 107 #define __P111 PAGE_READONLY_EXEC 108 109 #define __S000 PAGE_NONE 110 #define __S001 PAGE_READONLY 111 #define __S010 PAGE_SHARED 112 #define __S011 PAGE_SHARED 113 #define __S100 PAGE_EXECONLY 114 #define __S101 PAGE_READONLY_EXEC 115 #define __S110 PAGE_SHARED_EXEC 116 #define __S111 PAGE_SHARED_EXEC

可以發(fā)現(xiàn)對(duì)于私有的映射只有只讀(PTE_RDONLY)沒(méi)有可寫(xiě)屬性(PTE_WRITE)105-107行,雖然之前設(shè)置的時(shí)候是設(shè)置了可寫(xiě)(VM_WRITE)!而對(duì)應(yīng)共享映射則會(huì)有可寫(xiě)屬性。

而這個(gè)被設(shè)置的保護(hù)位組合最終會(huì)在缺頁(yè)異常中被設(shè)置到頁(yè)表中:上面說(shuō)到的do_anonymous_page函數(shù):

2908 entry = pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address),2909vma->vm_page_prot));

對(duì)于私有匿名映射的頁(yè),假設(shè)設(shè)置的vmflags為VMREAD|VMWRITE則對(duì)應(yīng)的保護(hù)位組合為:P110即為PAGE_READONLY_EXEC=pgprot(_PAGE_DEFAULT | PTE_USER | PTE_RDONLY | PT_ENG | PTE_PXN)不會(huì)設(shè)置為可寫(xiě)。

所以就將其頁(yè)表設(shè)置為了只讀?。?!

2922行跳轉(zhuǎn)到setpte去將設(shè)置好的頁(yè)表項(xiàng)值填寫(xiě)到頁(yè)表項(xiàng)中。

當(dāng)匿名頁(yè)讀之后再次去寫(xiě)時(shí)候會(huì)由于頁(yè)表屬性為只讀導(dǎo)致COW缺頁(yè)異常,詳將COW相關(guān)文章,再此不在贅述。下面用圖說(shuō)話(huà):

3.3 第一次寫(xiě)匿名頁(yè)的情況

接著do_anonymous_page函數(shù)繼續(xù)往下分析:

2876 static vm_fault_t do_anonymous_page(struct vm_fault *vmf) 2877 { ... 2924 2925 /* Allocate our own private page. */ 2926 if (unlikely(anon_vma_prepare(vma))) 2927 goto oom; 2928 page = alloc_zeroed_user_highpage_movable(vma, vmf->address); 2929 if (!page) 2930 goto oom; 2931 2932 if (mem_cgroup_try_charge_delay(page, vma->vm_mm, GFP_KERNEL, &memcg, 2933 false)) 2934 goto oom_free_page; 2935 2936 /* 2937 |* The memory barrier inside __SetPageUptodate makes sure that 2938 |* preceeding stores to the page contents become visible before 2939 |* the set_pte_at() write. 2940 |*/ 2941 __SetPageUptodate(page); 2942 2943 entry = mk_pte(page, vma->vm_page_prot); 2944 if (vma->vm_flags & VM_WRITE) 2945 entry = pte_mkwrite(pte_mkdirty(entry));2946 2947 vmf->pte = pte_offset_map_lock(vma->vm_mm, vmf->pmd, vmf->address, 2948 &vmf->ptl); 2949 if (!pte_none(*vmf->pte)) 2950 goto release; 2951 2952 ret = check_stable_address_space(vma->vm_mm); 2953 if (ret) 2954 goto release; 2955 2956 /* Deliver the page fault to userland, check inside PT lock */ 2957 if (userfaultfd_missing(vma)) { 2958 pte_unmap_unlock(vmf->pte, vmf->ptl); 2959 mem_cgroup_cancel_charge(page, memcg, false); 2960 put_page(page); 2961 return handle_userfault(vmf, VM_UFFD_MISSING); 2962 } 2963 2964 inc_mm_counter_fast(vma->vm_mm, MM_ANONPAGES); 2965 page_add_new_anon_rmap(page, vma, vmf->address, false); 2966 mem_cgroup_commit_charge(page, memcg, false, false); 2967 lru_cache_add_active_or_unevictable(page, vma);2968setpte:2969set_pte_at(vma->vm_mm,vmf->address,vmf->pte,entry); 2970 2971 /* No need to invalidate - it was non-present before */ 2972 update_mmu_cache(vma, vmf->address, vmf->pte); 2973 unlock: 2974 pte_unmap_unlock(vmf->pte, vmf->ptl); 2975 return ret; 2976 release: 2977 mem_cgroup_cancel_charge(page, memcg, false); 2978 put_page(page); 2979 goto unlock; 2980 oom_free_page: 2981 put_page(page); 2982 oom: 2983 return VM_FAULT_OOM; 2984 }

當(dāng)判斷不是讀操作導(dǎo)致的缺頁(yè)的時(shí)候,則是寫(xiě)操作造成,處理寫(xiě)私有的匿名頁(yè)情況,請(qǐng)記住這依然是第一次訪(fǎng)問(wèn)這個(gè)匿名頁(yè)只不過(guò)是寫(xiě)訪(fǎng)問(wèn)而已。

2928行會(huì)分配一個(gè)高端可遷移的被0填充的物理頁(yè)。2941設(shè)置頁(yè)中數(shù)據(jù)有效2943使用頁(yè)幀號(hào)和vma的訪(fǎng)問(wèn)權(quán)限設(shè)置頁(yè)表項(xiàng)值(注意:這個(gè)時(shí)候頁(yè)表項(xiàng)屬性依然為只讀)。

2944-2945行如果vma可寫(xiě),則設(shè)置頁(yè)表項(xiàng)值為臟且*可寫(xiě)*(這個(gè)時(shí)候才設(shè)置為可寫(xiě))。

2964行匿名頁(yè)計(jì)數(shù)統(tǒng)計(jì)2965行添加到匿名頁(yè)的反向映射中2967行添加到lru鏈表2969將設(shè)置好的頁(yè)表項(xiàng)值填充到頁(yè)表項(xiàng)中。

下面用圖說(shuō)話(huà):

3.4 讀之后寫(xiě)匿名頁(yè)

讀之后寫(xiě)匿名頁(yè),其實(shí)已經(jīng)很簡(jiǎn)單了,那就是發(fā)生COW寫(xiě)時(shí)復(fù)制缺頁(yè)。下面依然看圖說(shuō)話(huà):

四,應(yīng)用層實(shí)驗(yàn)

實(shí)驗(yàn)1:主要體驗(yàn)下內(nèi)核的按需分配頁(yè)策略!實(shí)驗(yàn)代碼:mmap映射10 * 4096 * 4096/1M=160M內(nèi)存空間,映射和寫(xiě)頁(yè)前后獲得內(nèi)存使用情況:

1 #include 2 #include 3 #include 4 #include 5 6 7 #define MAP_LEN (10 * 4096 * 4096) 8 9 int main(int argc, char **argv) 10 { 11 char *p; 12 int i; 13 14 15 puts("before mmap ->please exec: free -m "); 16 sleep(10); 17 p = (char *)mmap(0, MAP_LEN, PROT_READ |PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0); 18 19 puts("after mmap ->please exec: free -m "); 20 puts("before write.... "); 21 sleep(10); 22 23 for(i=0;i <4096 *10; i++) 24 p[4096 * i] = 0x55; 25 26 27 puts("after write ->please exec: free -m "); 28 29 pause(); 30 31 return 0;32}

執(zhí)行結(jié)果:

出現(xiàn)“before mmap ->please exec: free -m”打印后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6561 462 796 8897 8214交換:16290 702 15588

出現(xiàn)“after mmap ->please exec: free -m”打印后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6565 483 771 8872 8236交換:16290 702 15588

出現(xiàn)“after write ->please exec: free -m”后執(zhí)行:

$:~/study/user_test/page-fault$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6727 322 770 8871 8076交換:16290 702 15588

我們只關(guān)注已用內(nèi)存,可以發(fā)現(xiàn)映射前后基本上已用內(nèi)存沒(méi)有變化(考慮到其他內(nèi)存申請(qǐng)情況存在,也會(huì)有內(nèi)存變化)是6561M和6565M,說(shuō)明mmap的時(shí)候并沒(méi)有分配物理內(nèi)存,寫(xiě)之后發(fā)現(xiàn)內(nèi)存使用為6727M, 6727-6565=162M與我們mmap的大小基本一致,說(shuō)明了匿名頁(yè)實(shí)際寫(xiě)的時(shí)候才會(huì)分配等量的物理內(nèi)存。

實(shí)驗(yàn)2:主要體驗(yàn)下匿名頁(yè)讀之后寫(xiě)內(nèi)存頁(yè)申請(qǐng)情況實(shí)驗(yàn)代碼:mmap映射10 * 4096 * 4096/1M=160M內(nèi)存空間,映射、讀然后寫(xiě)頁(yè)前后獲得內(nèi)存使用情況:

1 #include 2 #include 3 #include 4 #include 5 6 7 #define MAP_LEN (10 * 4096 * 4096) 8 9 int main(int argc, char **argv) 10 { 11 char *p; 12 int i; 13 14 15 puts("before mmap...pls show free:. "); 16 sleep(10);? 17 p = (char *)mmap(0, MAP_LEN, PROT_READ |PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0); 18 19 puts("after mmap.... "); 20 21 puts("before read...pls show free:. "); 22 sleep(10); 23 24 puts("start read.... "); 25 26 27 for(i=0;i <4096 *10; i++) 28 printf("%d ", p[4096 * i]); 29 printf(" "); 30 31 puts("after read....pls show free: "); 32 33 sleep(10); 34 35 puts("start write.... "); 36 37 for(i=0;i <4096 *10; i++) 38 p[4096 * i] = 0x55; 39 40 41 puts("after write...pls show free:. "); 42 43 pause(); 44 45 return 0; 46 }

執(zhí)行結(jié)果:出現(xiàn)"before mmap ->please exec: free -m" 后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6590 631 780 8700 8164交換:16290 702 15588

出現(xiàn)"before read ->please exec: free -m"后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6586 644 770 8690 8178交換:16290 702 15588

出現(xiàn)"after read ->please exec: free -m"后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6587 624 789 8709 8158交換:16290 702 15588

出現(xiàn)"after write ->please exec: free -m"后執(zhí)行:

$ free -m 總計(jì) 已用 空閑 共享 緩沖/緩存 可用內(nèi)存:15921 6749 462 789 8709 7996交換:16290 702 15588

可以發(fā)現(xiàn):讀之后和之前基本上內(nèi)存使用沒(méi)有變化(實(shí)際上映射到了0頁(yè),這是內(nèi)核初始化時(shí)候分配好的),知道寫(xiě)之后6749-6587=162M符合預(yù)期,而且打印可以發(fā)現(xiàn)數(shù)據(jù)全為0。

分析:實(shí)際上,mmap的時(shí)候只是申請(qǐng)了一塊vma,讀的時(shí)候發(fā)生一次缺頁(yè)異常,映射到0頁(yè),所有內(nèi)存沒(méi)有分配,當(dāng)再次寫(xiě)這個(gè)頁(yè)面的時(shí)候,發(fā)生了COW分配新頁(yè)(cow中分配新頁(yè)的時(shí)候會(huì)判斷原來(lái)的頁(yè)是否為0頁(yè),如果為0頁(yè)就直接分配頁(yè)然后用0填充)。

五,總結(jié)

匿名映射缺頁(yè)異常是我們遇到的一種很常用的一種異常,對(duì)于匿名映射,映射完成之后,只是獲得了一塊虛擬內(nèi)存,并沒(méi)有分配物理內(nèi)存,當(dāng)?shù)谝淮卧L(fǎng)問(wèn)的時(shí)候:如果是讀訪(fǎng)問(wèn),會(huì)將虛擬頁(yè)映射到0頁(yè),以減少不必要的內(nèi)存分配;如果是寫(xiě)訪(fǎng)問(wèn),則會(huì)分配新的物理頁(yè),并用0填充,然后映射到虛擬頁(yè)上去。而如果是先讀訪(fǎng)問(wèn)一頁(yè)然后寫(xiě)訪(fǎng)問(wèn)這一頁(yè),則會(huì)發(fā)生兩次缺頁(yè)異常:第一次是匿名頁(yè)缺頁(yè)異常的讀的處理,第二次是寫(xiě)時(shí)復(fù)制缺頁(yè)異常處理。

原文標(biāo)題:Linux內(nèi)核虛擬內(nèi)存管理之匿名映射缺頁(yè)異常分析

文章出處:【微信公眾號(hào):Linuxer】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • Linux
    +關(guān)注

    關(guān)注

    87

    文章

    11207

    瀏覽量

    208712
  • COW
    COW
    +關(guān)注

    關(guān)注

    0

    文章

    4

    瀏覽量

    7996
  • 虛擬內(nèi)存
    +關(guān)注

    關(guān)注

    0

    文章

    70

    瀏覽量

    8046

原文標(biāo)題:Linux內(nèi)核虛擬內(nèi)存管理之匿名映射缺頁(yè)異常分析

文章出處:【微信號(hào):LinuxDev,微信公眾號(hào):Linux閱碼場(chǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    單片機(jī)異常復(fù)位的原因

    單片機(jī)異常復(fù)位是指單片機(jī)在正常工作過(guò)程中,非預(yù)期地返回到初始狀態(tài)或重啟。這種異常復(fù)位現(xiàn)象可能由多種因素引起,以下是對(duì)單片機(jī)異常復(fù)位原因的詳細(xì)分析
    的頭像 發(fā)表于 10-17 17:56 ?336次閱讀

    谷景揭秘電感發(fā)熱異常是電感量小的原因嗎

    電感在電子電路中扮演者非常重要的角色,但是電感在使用中有時(shí)候可能會(huì)出現(xiàn)發(fā)熱異常的問(wèn)題。引起電感發(fā)熱異常的原因是有很多種的,包括電感量的大小、線(xiàn)圈的電阻、電流的大小、磁芯材料等。 有人說(shuō)電感發(fā)熱異常是
    的頭像 發(fā)表于 08-27 14:52 ?213次閱讀

    TI電量計(jì)通訊異常分析經(jīng)驗(yàn)

    電子發(fā)燒友網(wǎng)站提供《TI電量計(jì)通訊異常分析經(jīng)驗(yàn).pdf》資料免費(fèi)下載
    發(fā)表于 08-23 10:12 ?0次下載
    TI電量計(jì)通訊<b class='flag-5'>異常</b>的<b class='flag-5'>分析</b>經(jīng)驗(yàn)

    LMH7322 LVDS輸出異常是什么原因?qū)е碌模?/a>

    LMH7322 LVDS輸出異常
    發(fā)表于 08-08 08:30

    差分探頭測(cè)量電壓尖峰異常問(wèn)題的分析與解決

    確的測(cè)量結(jié)果。本文將分析差分探頭測(cè)量電壓尖峰異常的原因,并提出可能的解決方案。 問(wèn)題描述: 在使用差分探頭進(jìn)行電壓測(cè)量時(shí),可能會(huì)觀(guān)察到電壓尖峰的幅值異常或形狀異常。這種
    的頭像 發(fā)表于 06-13 09:35 ?410次閱讀
    差分探頭測(cè)量電壓尖峰<b class='flag-5'>異常</b>問(wèn)題的<b class='flag-5'>分析</b>與解決

    STM32H7B0通過(guò)QSPI地址映射外部flash開(kāi)始使用正常,出現(xiàn)QSPI功能異常是什么原因?qū)е碌模?/a>

    STM32H7B0 通過(guò)QSPI地址映射外部flash開(kāi)始使用正常,后面出現(xiàn)QSPI功能異常(直接尋址和地址映射均不能訪(fǎng)問(wèn)外部flash),QSPI IO2作為QSPI功能使用始終為低電平,但作為
    發(fā)表于 03-08 06:34

    晶振輸出頻率異常怎么辦?

    晶振輸出頻率異常怎么辦? 晶振輸出頻率異常是指晶振輸出信號(hào)的頻率與預(yù)期不符。晶振作為一種常見(jiàn)的時(shí)鐘源,廣泛應(yīng)用于各種電子設(shè)備中,包括計(jì)算機(jī)、手機(jī)、通信設(shè)備等。因此,當(dāng)晶振輸出頻率異常時(shí),會(huì)導(dǎo)致設(shè)備
    的頭像 發(fā)表于 01-24 16:11 ?805次閱讀

    如何解決C語(yǔ)言中的“訪(fǎng)問(wèn)權(quán)限沖突”異常?C語(yǔ)言引發(fā)異常原因分析

    如何解決C語(yǔ)言中的“訪(fǎng)問(wèn)權(quán)限沖突”異常?C語(yǔ)言引發(fā)異常原因分析? 在C語(yǔ)言中,訪(fǎng)問(wèn)權(quán)限沖突異常常是由于嘗試訪(fǎng)問(wèn)未授權(quán)的變量、函數(shù)或其他數(shù)據(jù)
    的頭像 發(fā)表于 01-12 16:03 ?4706次閱讀

    ADXL356輸出異常是什么原因?qū)е碌模?/a>

    ADXL356信號(hào)輸出異常,有時(shí)上電時(shí)輸出正常,有時(shí)上電時(shí)輸出異常,(測(cè)試20次,有4次輸出異常異常現(xiàn)象為芯片上電只有直流信號(hào)(X,Y,Z軸輸出全為0g),晃動(dòng)芯片輸出無(wú)變化,(重
    發(fā)表于 12-28 06:56

    Java怎么排查oom異常

    Java中的OOM(Out of Memory)異常是指當(dāng)Java虛擬機(jī)的堆內(nèi)存不足以容納新的對(duì)象時(shí)拋出的異常。OOM異常是一種常見(jiàn)的運(yùn)行時(shí)異常,經(jīng)常出現(xiàn)在長(zhǎng)時(shí)間運(yùn)行的Java應(yīng)用程序
    的頭像 發(fā)表于 12-05 13:47 ?1189次閱讀

    oom異常的原因和解決方法

    一、OOM異常的原因 OOM異常的出現(xiàn)通常是由于以下幾個(gè)原因造成的: 1.1 內(nèi)存泄漏 內(nèi)存泄漏是指資源在使用完畢后沒(méi)有被正確釋放或回收,從而導(dǎo)致內(nèi)存不斷占用的現(xiàn)象。常見(jiàn)的內(nèi)存泄漏問(wèn)題包括對(duì)象未被
    的頭像 發(fā)表于 12-05 13:45 ?6273次閱讀

    Java oom異常的原因分析

    Java中的OOM(Out of Memory)異常是指當(dāng)程序在運(yùn)行過(guò)程中無(wú)法分配足夠的內(nèi)存空間時(shí)拋出的異常。在Java中,內(nèi)存分為堆內(nèi)存(Heap)和棧內(nèi)存(Stack)。堆內(nèi)存用于存儲(chǔ)對(duì)象和數(shù)
    的頭像 發(fā)表于 12-05 13:43 ?731次閱讀

    ADSP21571啟動(dòng)異常是什么原因造成的?怎么解決?

    我們?cè)谑褂?1571芯片的過(guò)程中出現(xiàn)過(guò)個(gè)別案例,Dsp芯片異常,無(wú)法啟動(dòng),下電后重啟不恢復(fù)。具體表現(xiàn)如下: 1、DSP不能通過(guò)ICE1000刷寫(xiě)軟件 2、DSP可以通過(guò)debug方式,訪(fǎng)問(wèn)flash
    發(fā)表于 11-28 07:51

    MMU中的頁(yè)命中、缺頁(yè)介紹

    。 ? d) MMU通過(guò)PTE映射物理地址,并把它傳給高速緩存或主存。 ? e) 高速緩存或主存返回物理地址對(duì)應(yīng)的數(shù)據(jù)給處理器。 (2)缺頁(yè) ? a) 處理器要對(duì)虛擬地址VA進(jìn)行訪(fǎng)問(wèn)。 ? b) MMU
    的頭像 發(fā)表于 11-26 16:19 ?998次閱讀
    MMU中的頁(yè)命中、<b class='flag-5'>缺頁(yè)</b>介紹

    變壓器有異常響聲是什么原因 變壓器異常聲響的原因有哪些?

    異常響聲。下面是一些常見(jiàn)的變壓器異常響聲的原因: 1. 鐵心震動(dòng):當(dāng)變壓器在運(yùn)行過(guò)程中,鐵心的磁場(chǎng)不穩(wěn)定或者出現(xiàn)短路時(shí),會(huì)產(chǎn)生震動(dòng)聲。這種聲音通常是“嗡嗡”或者“嗞嗞”聲,表明變壓器的鐵心出現(xiàn)了問(wèn)題。 2. 內(nèi)部短路
    的頭像 發(fā)表于 11-23 15:34 ?9489次閱讀