一、問題

近期同事接到線上LB（負載均衡）服務內存報警，同事反饋說LB集群有部分機器的內存使用率超過80%，有的甚至超過90%，而且內存使用率還再不停的增長。接到內存報警的消息，讓整個團隊都比較緊張，我們團隊負責的LB服務是零售、物流、科技等業務服務的流量入口，承接上萬個服務的流量轉發，一旦有故障影響業務服務比較多，必須馬上著手解決內存暴漲的問題。目前只是內存報警，暫時不影響業務，先將內存使用率90%以上的LB服務下線，防止內存過高導致LB服務崩潰，影響業務，運維同事密切關注相關的內存報警的消息。

二、排查過程

經過開發同學通過cat /proc/meminfo查看Slab的內核內存可能有泄漏。

通過slabtop命令分析slab發現內核中dentry對象占比高，考慮到dentry對象跟文件有關，Linux中一切皆可以為文件，這個可能跟socket文件有關，通過進一步排查發現LB服務上有個curl發送的HTTPS探測腳本，這個腳本存在dentry對象泄漏，并且在curl論壇上找到一篇文章確認了這個問題，這個文章說明了curl-7.19.7版本在發送HTTPS請求時，curl依賴的NSS庫存在dentry泄漏的bug，我查看一下我們curl版本就是7.19.7，問題終于真相大白了！！！

文章中介紹可以設置環境變量NSS_SDB_USE_CACHE修復這個bug，我們驗證通過了這個解決方案。

三、解決方案

1、目前先將探測腳本停止，在業務流量低峰時將內存使用率超過90%的服務先通過drop_caches清理一下緩存。

2、等大促過后，探測腳本中設置環境變量NSS_SDB_USE_CACHE，徹底修復這個問題。

四、復盤和總結

這次內存暴漲的問題根本原因是curl-7.19.7依賴的NSS庫存在dentry泄漏的bug導致的，探測腳本只是將這個問題暴露出來。這次問題由Linux內存泄漏引發的問題，因此以點帶面再次系統學習一下Linux內存管理的知識非常有必要，對我們以后排查內存暴漲的問題非常有幫助。

1）Linux內存尋址

Linux內核主要通過虛擬內存管理進程的地址空間，內核進程和用戶進程都只會分配虛擬內存，不會分配物理內存，通過內存尋址將虛擬內存與物理內存做映射。Linux內核中有三種地址，

a、邏輯地址，每個邏輯地址都由一段(segment)和偏移量(offset)組成，偏移量指明了從段開始的地方到實際地址之間的距離。

b、線性地址，又稱虛擬地址，是一個32個無符號整數，32位機器內存高達4GB，通常用十六進制數字表示，Linux進程的內存一般說的都是這個內存。

c、物理地址，用于內存芯片級內存單元尋址。它們與從CPU的地址引腳發送到內存總線上的電信號對應。

Linux中的內存控制單元(MMU)通過一種稱為分段單元(segmentation unit)的硬件電路把一個邏輯地址轉換成線性地址，接著，第二個稱為分頁單元(paging unit)的硬件電路把線性地址轉換成一個物理地址。

2）Linux分頁機制

分頁單元把線性地址轉換成物理地址。線性地址被分成以固定長度為單位的組，稱為頁(page)。頁內部連續的線性地址被映射到連續的物理地址中。一般"頁"既指一組線性地址，又指包含這組地址中的數據。分頁單元把所有的RAM分成固定長度的頁框(page frame)，也成物理頁。每一頁框包含一個頁(page)，也就是說一個頁框的長度與一個頁的長度一致。頁框是主存的一部分，因此也是一個存儲區域。區分一頁和一個頁框是很重要的，前者只是一個數據塊，可以存放任何頁框或者磁盤中。把線性地址映射到物理地址的數據結構稱為頁表(page table)。頁表存放在主存中，并在啟用分頁單元之前必須有內核對頁表進行適當的初始化。

x86_64的Linux內核采用4級分頁模型，一般一頁4K，4種頁表：

a、頁全局目錄

b、頁上級目錄

c、頁中間目錄

d、頁表

頁全局目錄包含若干頁上級目錄，頁上級目錄又依次包含若干頁中間目錄的地址，而頁中間目錄又包含若干頁表的地址。每個頁表項指向一個頁框。線性地址被分成5部分。

3）NUMA架構

隨著CPU進入多核時代，多核CPU通過一條數據總線訪問內存延遲很大，因此NUMA架構應運而生，NUMA架構全稱為非一致性內存架構 (Non Uniform Memory Architecture)，系統的物理內存被劃分為幾個節點(node)，每個node綁定不同的CPU核，本地CPU核直接訪問本地內存node節點延遲最小。

可以通過lscpu命令查看NUMA與CPU核的關系。

4）伙伴關系算法

Linux內核通過著名伙伴關系算法為分配一組連續的頁框而建立一種健壯、穩定的內存分配策略，是內核中一種內存分配器，并解決了內存管理外碎片的問題，外碎片是指頻繁地請求和釋放不同大小的一組連續頁框，必然導致在已分配的頁框的塊分散了許多小塊的空閑頁框。

5）Slab機制

slab機制的核心思想是以對象的觀點來管理內存，主要是為了解決內部碎片，內部碎片是由于采用固定大小的內存分區，即以固定的大小塊為單位來分配，采用這種方法，進程所分配的內存可能會比所需要的大，這多余的部分便是內部碎片。slab也是內核中一種內存分配器，slab分配器基于對象進行管理的，所謂的對象就是內核中的數據結構（例如：task_struct,file_struct 等）。相同類型的對象歸為一類，每當要申請這樣一個對象時，slab分配器就從一個slab列表中分配一個這樣大小的單元出去，而當要釋放時，將其重新保存在該列表中，而不是直接返回給伙伴系統，從而避免內部碎片。上面中說到的dentry對象就是通過slab分配器分配的一種對象。

slab和伙伴系統是上下級的調用關系，伙伴關系按照頁管理內存，slab按照字節管理，slab先從伙伴系統獲取數個頁的內存，然后切成分成固定的小塊（稱為object），然后再按照聲明的對象數據結構分配對象。

6）進程內存分布

所有進程都必須占用一定數量的內存，這些內存用來存放從磁盤載入的程序代碼，或存放來自用戶輸入的數據等。內存可以提前靜態分配和統一回收，也可以按需動態分配和回收。對于普通進程對應的內存空間包含5種不同的數據區：

a、代碼段(text)：程序代碼在內存中的映射，存放函數體的二進制代碼，通常用于存放程序執行代碼(即CPU執行的機器指令)。

b、數據段(data)：存放程序中已初始化且初值不為0的全局變量和靜態局部變量。數據段屬于靜態內存分配(靜態存儲區)，可讀可寫。

c、BSS段(bss)：未初始化的全局變量和靜態局部變量。

d、堆(heap)：動態分配的內存段，大小不固定，可動態擴張(malloc等函數分配內存)，或動態縮減(free等函數釋放)。

e、棧(stack)：存放臨時創建的局部變量。

Linux內核是操作系統中優先級最高的，內核函數申請內存必須及時分配適當的內存，用戶態進程申請內存被認為是不緊迫的，內核盡量推遲給用戶態的進程動態分配內存。

a、請求調頁，推遲到進程要訪問的頁不在RAM中時為止，引發一個缺頁異常。

b、寫時復制(COW)，父、子進程共享頁框而不是復制頁框，但是共享頁框不能被修改，只有當父/子進程試圖改寫共享頁框時，內核才將共享頁框復制一個新的頁框并標記為可寫。

7）Linux內存檢測工具

a、free命令可以監控系統內存

b、top命令查看系統內存以及進程內存

?VIRT Virtual Memory Size (KiB)：進程使用的所有虛擬內存，包括代碼（code）、數據（data）、共享庫（shared libraries），以及被換出（swap out）到交換區和映射了（map）但尚未使用（未載入實體內存）的部分。

?RES Resident Memory Size (KiB)：進程所占用的所有實體內存（physical memory），不包括被換出到交換區的部分。

?SHR Shared Memory Size (KiB)：進程可讀的全部共享內存，并非所有部分都包含在 RES 中。它反映了可能被其他進程共享的內存部分。

c、smaps文件

cat /proc/$pid/smaps查看某進程虛擬內存空間的分布情況

d、vmstat

vmstat是Virtual Meomory Statistics（虛擬內存統計）的縮寫，可實時動態監視操作系統的虛擬內存、進程、CPU活動。

e、meminfo文件

Linux系統中/proc/meminfo這個文件用來記錄了系統內存使用的詳細情況。