?

一、 內(nèi)存映射與頁表

1. 內(nèi)存映射

我們通常所說的內(nèi)存容量，指的是物理內(nèi)存，只有內(nèi)核才可以直接訪問物理內(nèi)存，進程并不可以。

嵌入式進階教程分門別類整理好了，看的時候十分方便，由于內(nèi)容較多，這里就截取一部分圖吧。

?

?

Linux 內(nèi)核給每個進程都提供了一個獨立的虛擬地址空間，并且這個地址空間是連續(xù)的。這樣，進程就可以很方便地訪問內(nèi)存，更確切地說是訪問虛擬內(nèi)存。

虛擬地址空間的內(nèi)部又被分為內(nèi)核空間和用戶空間兩部分，不同字長（單個 CPU 指令可以處理數(shù)據(jù)的最大長度）的處理器，地址空間的范圍也不同。比如最常見的 32 位和64 位系統(tǒng)：

?

既然每個進程都有一個這么大的地址空間，那么所有進程的虛擬內(nèi)存加起來，自然要比實際的物理內(nèi)存大得多。所以，并不是所有的虛擬內(nèi)存都會分配物理內(nèi)存，只有那些實際使用的虛擬內(nèi)存才會分配物理內(nèi)存，并且分配后的物理內(nèi)存，是通過內(nèi)存映射來管理的。內(nèi)存映射，其實就是將虛擬內(nèi)存地址映射到物理內(nèi)存地址。

2. 頁表

為了完成內(nèi)存映射，內(nèi)核為每個進程都維護了一張頁表，記錄虛擬地址與物理地址的映射關系，如下圖所示：

?

頁的大小只有 4 KB ，導致的另一個問題就是，當物理內(nèi)存很大時，頁表會變得非常大，占用大量物理內(nèi)存。

3. 頁表的簡單工作原理

下圖是比較簡單情況下的示意圖，用于描述在32位系統(tǒng)下，頁大小為4K時，操作系統(tǒng)如何為進程的虛擬地址和實際物理地址進行轉(zhuǎn)換：

?

1. 目錄表，是用于索引頁表的數(shù)據(jù)結(jié)構(gòu)，其中存儲著目錄項（共1024個、每個4B，因此目錄表共4B*1024=4K ），每個目錄項指向一個頁表，即可以存儲1024個頁表。

2. 頁表，用來存放物理地址頁的起始地址，即頁表項（也是共1024個、每個4B，因此一個頁表的大小也是4K），由于目錄表最多可存1024個頁表，因此頁表的最大大小是1024*4K=4M。

3. 頁表項，每個頁表項指向4K的物理內(nèi)存頁，因此頁表一共可以指向的物理內(nèi)存大小為：1024（頁表數(shù)）*1024（每個頁表的頁表項數(shù)）*4K（一個頁表項指向的物理內(nèi)存大小）=4G

假如一個進程，訪問的物理內(nèi)存有1GB，即262144個內(nèi)存頁，在32位系統(tǒng)中，頁表需要262144*4/1024/1024=1MB，而在64位系統(tǒng)下，頁表占用的空間增加1倍，即2MB。

對于Linux系統(tǒng)中運行的Oracle數(shù)據(jù)庫，假如數(shù)據(jù)庫的SGA大小12GB，如果一個Oracle Process訪問到了所有的SGA內(nèi)存，其頁表大小會是24MB，如果有300個左右的會話，那么這300個連接的頁表會達到7200MB，只不過并不是每個進程都會訪問到SGA中所有的內(nèi)存。

頁表大小可以通過 /proc/meminfo 的 PageTables部分查看。

為了解決頁表項過多的問題，Linux 提供了兩種機制，也就是多級頁表和大頁（HugePage），后面我們以大頁為重點。

二、 大頁

大頁顧名思義，就是比較大的頁，通常是2MB。由于頁變大了，需要的頁表項也就小了，占用物理內(nèi)存也減少了。

1. 大頁的優(yōu)點

• 減少頁表大小：默認頁面大小為 4K，而大頁為 2048K，意味著系統(tǒng)需要處理的頁面減少了 512 倍。大頁的頁表在各進程之間可以共享，也降低了頁表的大小。

• 減少頁表遍歷：大頁覆蓋更大的連續(xù)虛擬地址范圍，使得CPU中的TLB（可理解為CPU對頁表的CACHE）命中率大大提高，減少了遍歷頁表以從虛擬地址獲取物理地址的次數(shù)。

• 減少頁表查找開銷：

• 避免swap：大頁內(nèi)存只能鎖定在物理內(nèi)存中，不可swap，因此沒有page-in/page-out機制開銷，避免了swap引起的性能影響。

• 減少了內(nèi)存開銷：由于要處理的頁面數(shù)量較少，明顯減少了頁表訪問可能出現(xiàn)的瓶頸。

2. 大頁的缺點

• 要預先分配

• 需要重啟主機生效

• 當服務器內(nèi)存或SGA調(diào)整時，需要對應調(diào)整大頁設置

• 如果分配不當（過多、過少、os參數(shù)配置錯誤），反而可能引起嚴重問題

嚴重問題可能包括：

• （絕）大部分大頁內(nèi)存未能使用，嚴重浪費內(nèi)存

• 數(shù)據(jù)庫性能差

• 系統(tǒng)內(nèi)存不足或交換過多

• 數(shù)據(jù)庫實例無法啟動

• 關鍵系統(tǒng)服務失敗

• 極高的sys cpu使用率

3. 大頁的分配方法

• 檢查/proc/meminfo，確認系統(tǒng)支持HugePage

?

• HugePages Total：系統(tǒng)中配置的大頁數(shù)。

• HugePages Free：沒有訪問過的大頁數(shù)。

• HugePages Rsvd：已經(jīng)分配但是還未使用的頁面數(shù)。

• Hugepagesize：大頁size，這里為2MB，有的內(nèi)核配置中可能為4MB。

設置memlock

設定oracle用戶可以鎖定內(nèi)存的大小。這個參數(shù)在/etc/security/limits.conf文件，單位是KB。開啟大頁時，這個參數(shù)很重要，如果設置過小，可能導致大頁無法被用到，白白浪費內(nèi)存。

根據(jù) What is Memlock and How to Calculate the Values for Memlock? (Doc ID 2511230.1) 文檔建議：

• 未啟用大頁：至少為3G

• 啟用為大頁：至少設置為服務器內(nèi)存的90%

• 建議大小：內(nèi)存大小 > memlock大小 >= 大頁總內(nèi)存 > SGA

例如：

oracle soft memlock 18878464oracle hard memlock 18878464

重新以oracle用戶連接到數(shù)據(jù)庫服務器，使用ulimit -a命令便可看到對應設置

改為AUTO方式管理SGA

對于11g，由于HugePage只能用于共享內(nèi)存，不能用于PGA，所以不能使用AMM，只能分別設置SGA和PGA。SGA同樣只能是AUTO方式管理，需要將SGA_TARGET_SIZE設為大于0的合適值。

查看建議的大頁數(shù)量

到目前為止，大頁只能用于共享內(nèi)存段等少量類型的內(nèi)存。一旦將物理內(nèi)存用作大頁，那么這些物理內(nèi)存就不能作其他用途，比如作為進程的私有內(nèi)存。因此不能將過多的內(nèi)存設置為大頁，通常將大頁用作Oracle數(shù)據(jù)庫的SGA。

Oracle Linux: Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID 401749.1) 提供了計算建議值的腳本。需要先設置好SGA等參數(shù)、啟動Oracle、并以Oracle用戶執(zhí)行該腳本

修改/etc/sysctl.conf文件，設置vm.nr_hugepages=建議值，執(zhí)行sysctl –p命令

vm.nr_hugepages這個參數(shù)值為上步計算出的建議值。然后檢查/proc/meminfo，如果HugePages_Total小于設置的數(shù)量，表明沒有足夠的連續(xù)物理內(nèi)存用于這些大內(nèi)存頁，需要重啟服務器。

重啟服務器和數(shù)據(jù)庫，檢查大頁使用情況

大頁是惰性分配的，用到才會分配。隨著數(shù)據(jù)庫的使用，可以在/proc/meminfo中查看HugePages_Free是否已經(jīng)減少。如果已經(jīng)減少，表明已經(jīng)使用到HugePage Memory。

三、 透明大頁

在一些Linux系統(tǒng)中，transparent hugepage被默認開啟，它允許大頁做動態(tài)的分配，而不是系統(tǒng)啟動后就分配好，根據(jù)Oracle MOS DOC：1557478.1，transparent hugepage導致了很多的問題，建議將其關閉。

1. 查看是否啟用

#未啟用應該看到[never]cat /sys/kernel/mm/transparent_hugepage/enabled

如果這個文件不存在，則檢查

#未啟用應該看到[never]cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

2. 關閉透明大頁

• Redhat & Centos

# 重啟后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag # 開機時設置never到以上文件中echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local chmod +x /etc/rc.d/rc.local

SUSE Linux（區(qū)別在于開機設置never需要配置到的文件不同）

# 重啟后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag# 開機時設置never到以上文件中echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/init.d/boot.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/init.d/boot.localchmod +x /etc/init.d/boot.local

?