完美世界辰东,穿越小说完本 ,欢乐颂

一、eBPF是什么

eBPF是extended BPF的縮寫，而BPF是Berkeley Packet Filter的縮寫。對linux網絡比較熟悉的伙伴對BPF應該比較了解，它通過特定的語法規則使用基于寄存器的虛擬機來描述包過濾的行為。比較常用的功能是通過過濾來統計流量，tcpdump工具就是基于BPF實現的。而eBPF對它進行了擴展來實現更多的功能。

主要區別如下：

1）允許使用C 語言編寫代碼片段，并通過LLVM編譯成eBPF 字節碼；2）cBPF 只實現了SOCKET_FILTER，而eBPF還有KPROBE 、PERF等。3）BPF使用socket 實現了用戶態與內核交互，eBPF 則定義了一個專用于eBPF 的新的系統調用，用于裝載BPF 代碼段、創建和讀取BPF map，更加通用。4）BPF map 機制，用于在內核中以key-value 的方式臨時存儲BPF 代碼產生的數據。

對于eBPF可以簡單的理解成kernel實現了一個虛擬機機制，將類C代碼編譯成字節碼（后文有詳細解釋），掛在到內核的鉤子上，當鉤子被觸發時，kernel在虛擬機的“沙盒”中運行字節碼，這樣既能方便的實現很多功能，也能通過沙箱保證內核的安全性。

二、eBPF能干什么

如果說BPF專注于流量監控，那么eBPF主要專注的是性能領域，通過各種鉤子，能在用戶空間得到系統各種性能指標。可以大到監控系統整體的統計指標，也可以小到一個系統函數的運行時間。

這里需要提一下開源項目 BPF Compiler Collection （BCC），這是一個很方便的基于eBPF的系統監視工具，下面這張BCC的說明圖就能很好的說明我們使用eBPF能夠做到的事。BCC在android系統上也可以運行，但是要對系統進行一定程度的修改，后續可能會寫單獨的文章進行講解。對于內核開發者我還比較關注怎么自己來實現監控的功能，下文也將做簡單的講解。

從上圖，我么可以看到，eBPF幾乎能監控系統的所有方面：

1）應用及虛擬機的各種指標2）系統庫性能監控3）kernel系統調用性能4）文件系統性能5）網絡調用性能6）CPU調度器性能7）內存管理性能8）中斷性能

三、eBPF框架

在開始說明之前先解釋下eBPF上的名詞，來幫忙更好的理解。

1）eBPF bytecode：將C語言寫的鉤子代碼，通過clang編譯成二進制字節碼，通過程序加載到內核中，鉤子觸發后在kernel “虛擬機”中運行。2）JIT： Just-in-time compilation，將字節碼編譯成本地機器碼來提升運行速度，和Java中的概念類似。

3）Maps：鉤子代碼可以將一些統計類信息保存在鍵值對的map中，來與用戶空間程序進行通信，傳遞數據。

關于eBPF機制詳細的講解網上有很多，這里就不展開了，這里先上一張圖，這里包括了使用或者編寫ebpf涉及到的所有東西，下面會對這個圖進行詳細的講解。

1）foo_kern.c 鉤子實現代碼，主要負責：

聲明使用的Map節點

聲明鉤子掛載點及處理函數

2）通過LLVM/clang編譯成字節碼

編譯命令：clang --target=bpf

android平臺有集成eBPF的編譯，后文會提到

3）foo_user.c 用戶空間處理函數，主要負責：

將foo_kern.c 編譯成的字節碼加載到kenel中

讀取Map中的信息并處理輸出給用戶

4）kernel當收到eBPF的加載請求時，會先對字節碼進行驗證，并通過JIT編譯為機器碼，當鉤子事件來臨后，調用鉤子函數 kernel會對加載的字節碼進行驗證，來保證系統的安全性，主要驗證規則如下：

a. 檢查是否聲明了GNU GPL，檢查kernel的版本是否支持

b. 函數調用規則：

允許bpf函數之間的相互調用

只允許調用kernel允許的BPF helper函數，具體可以參考linux/bpf.h文件

上述以外的函數及動態鏈接都是不允許的。

c. 流程處理規則：

不允許使用loop循環以防止進入死循環卡死kernel

不允許有不可到達的分支代碼

d. 堆棧大小被限制在MAX_BPF_STACK范圍內。

e. 編譯的字節碼大小被限制在BPF_COMPLEXITY_LIMIT_INSNS范圍內。

5）鉤子掛載點，主要包括：

另外在kernel的源代碼中samples/bpf目錄下有大量的示例，感興趣的可以閱讀下。

四、eBPF在Android平臺的使用

經過上面枯燥的講解，大家應該對eBPF有了基礎的認識，下面我們就來通過android平臺上的一個監控性能的小例子來實操下。

這個小例子的需求是統計系統中每個應用在一段時間內系統調用的次數。

1. android系統對eBPF的編譯支持

目前android編譯系統已經對eBPF進行了集成，通過android.bp就能很方便的在android源代碼中編譯eBPF的字節碼。

android.bp示例：

相關的編譯代碼在soong的bpf.go，雖然google關于soong的文檔很少，但是至少代碼是比較清晰的。

這里的$ccCmd一般是clang，所以它的編譯命令主要是clang --target=bpf。和普通的bpf編譯沒有區別。

2. eBPF鉤子代碼實現

解決了編譯問題，下一步我們開始實現鉤子代碼，我們準備使用tracepoint鉤子，首先要找到我們需要的tracepoint函數sys_enter和sys_exit。

函數定義在include/trace/events/syscalls.h文件中

1）sys_enter的trace參數是id 和長度為6的數組。2）sys_exit的trace參數是兩個長整形數 id 和ret。

找到了鉤子后，下一步就可以編寫鉤子處理代碼了：

1）定義map保存系統調用統計信息，在DEFINE_BPF_MAP聲明map的同時，也會生成刪，改，查的宏函數，例如本例中會生成如下函數

bpf_pid_syscall_map_lookup_elem

bpf_pid_syscall_map_update_elem

bpf_pid_syscall_map_delete_elem

2）定義回調函數參數類型，需要參考前面的tracepoint的定義。3）指定監聽的tracepoint事件。4）使用bpf_trace_printk函數打印debug信息，會直接打印信息到ftrace中。5）在map中查找指定key。6）更新指定的key的值。

3. 加載鉤子代碼

我們只需要把我們編譯出來的*.o文件push到手機的system/etc/bpf目錄下，重啟手機，系統會自動加載我們的鉤子文件，加載成功后會在 /sys/fs/bpf目錄下顯示我們定義的map及prog文件。

系統加載代碼在system/bpf/bpfloader中，代碼很簡單。

主要有如下操作：

1）在early-init階段向下面兩個節點寫1

– /proc/sys/net/core/bpf_jit_enable

使能eBPF JIT，當內核設定BPF_JIT_ALWAYS_ON的時候，默認為1

– /proc/sys/net/core/bpf_jit_kallsyms

使特權用戶可以通過kallsyms節點讀取kernel的symbols

2）啟動bpfloader service

– 讀取system/etc/bpf目錄下的*.o文件，調用libbpf_android.so中的loadProg函數加載進內核。

– 生成相應的/sys/fs/bpf/節點。

– 設置屬性bpf.progs_loaded為1

sys節點分為map節點和prog節點兩種，分別為map_《filename》_《mapname》， prog_《filename》_《mapname》

下面是Android Q版本上的節點信息。

可以使用下面的命令調試動態加載

4. 用戶空間程序實現

下面我們需要編寫用戶空間的顯示程序，本質上就是在用戶態通過系統調用把BPF map給讀出來。

1）eBPF統計只有在調用bpf_attach_tracepoint只有才會起作用。bpf_attach_tracepoint是bcc里面的函數，android將bcc的一部分內容打包成了libbpf，放到了系統庫里面。2）取得map的fd， bpf_obj_get會直接調用bpf的系統調用。3）將fd包裝成BpfMap，android在BpfMap.h中定義了很多方便的函數。4）遍歷map回調函數。返回值必須是android：：ok（在android的新版本中已經進行修改）。

5. 運行結果查看

直接在目錄下執行mm，將編譯出來的bpf.o push到/system/etc/bpf目錄下，將統計程序push到/system/bin目錄下，重啟，看下結果。