Linux技術：eBPF內核原理及應用

很早前就想寫一篇關于 eBPF 的文章，但是遲遲沒有動手，這兩天有點時間，所以就來寫一篇。這文章主要還是簡單的介紹 eBPF 是用來干什么的，并通過幾個示例來介紹是怎么玩的。這個技術非常非常之強，Linux 操作系統的觀測性實在是太強大了，并在 BCC 加持下變得一覽無余。這個技術不是一般的運維人員或是系統管理員可以駕馭的，這個還是要有底層系統知識并有一定開發能力的技術人員才能駕馭的了的。我在這篇文章的最后給了個彩蛋。

介紹

eBPF（extened Berkeley Packet Filter）是一種內核技術，它允許開發人員在不修改內核代碼的情況下運行特定的功能。eBPF 的概念源自于 Berkeley Packet Filter（BPF），后者是由貝爾實驗室開發的一種網絡過濾器，可以捕獲和過濾網絡數據包。

出于對更好的 Linux 跟蹤工具的需求，eBPF 從 dtrace中汲取靈感，dtrace 是一種主要用于 Solaris 和 BSD 操作系統的動態跟蹤工具。與 dtrace 不同，Linux 無法全面了解正在運行的系統，因為它僅限于系統調用、庫調用和函數的特定框架。

在 Berkeley Packet Filter（BPF）（一種使用內核 VM 編寫打包過濾代碼的工具）的基礎上，一小群工程師開始擴展 BPF 后端以提供與 dtrace 類似的功能集。eBPF 誕生了。2014 年隨 Linux 3.18 首次限量發布，充分利用 eBPF 至少需要 Linux 4.4 以上版本。

eBPF 比起傳統的 BPF 來說，傳統的 BPF 只能用于網絡過濾，而 eBPF 則可以用于更多的應用場景，包括網絡監控、安全過濾和性能分析等。另外，eBPF 允許常規用戶空間應用程序將要在 Linux 內核中執行的邏輯打包為字節碼，當某些事件（稱為掛鉤）發生時，內核會調用 eBPF 程序。此類掛鉤的示例包括系統調用、網絡事件等。用于編寫和調試 eBPF 程序的最流行的工具鏈稱為 BPF 編譯器集合（BCC），它基于 LLVM 和 CLang。

eBPF 有一些類似的工具。例如，SystemTap 是一種開源工具，可以幫助用戶收集 Linux 內核的運行時數據。它通過動態加載內核模塊來實現這一功能，類似于 eBPF。另外，DTrace 是一種動態跟蹤和分析工具，可以用于收集系統的運行時數據，類似于 eBPF 和 SystemTap。[Ⅰ]

以下是一個簡單的比較表格，可以幫助您更好地了解 eBPF、SystemTap 和 DTrace 這三種工具的不同之處：[Ⅰ]

工具	eBPF	SystemTap	DTrace
定位	內核技術，可用于多種應用場景	內核模塊	動態跟蹤和分析工具
工作原理	動態加載和執行無損編譯過的代碼	動態加載內核模塊	動態插接分析器，通過 probe 獲取數據并進行分析
常見用途	網絡監控、安全過濾、性能分析等	系統性能分析、故障診斷等	系統性能分析、故障診斷等
優點	靈活、安全、可用于多種應用場景	功能強大、可視化界面	功能強大、高性能、支持多種編程語言
缺點	學習曲線高，安全性依賴于編譯器的正確性	學習曲線高，安全性依賴于內核模塊的正確性	配置復雜，對系統性能影響較大

對比表格[Ⅰ]

從上表可以看出，eBPF、SystemTap 和 DTrace 都是非常強大的工具，可以用于收集和分析系統的運行情況。[Ⅰ]

用途

eBPF 是一種非常靈活和強大的內核技術，可以用于多種應用場景。下面是 eBPF 的一些常見用途：[Ⅰ]

網絡監控：eBPF 可以用于捕獲網絡數據包，并執行特定的邏輯來分析網絡流量。例如，可以使用 eBPF 程序來監控網絡流量，并在發現異常流量時進行警報。[Ⅰ]

安全過濾：eBPF 可以用于對網絡數據包進行安全過濾。例如，可以使用 eBPF 程序來阻止惡意流量的傳播，或者在發現惡意流量時對其進行攔截。[Ⅰ]

性能分析：eBPF 可以用于對內核的性能進行分析。例如，可以使用 eBPF 程序來收集內核的性能指標，并通過特定的接口將其可視化。這樣，可以更好地了解內核的性能瓶頸，并進行優化。[Ⅰ]

虛擬化：eBPF 可以用于虛擬化技術。例如，可以使用 eBPF 程序來收集虛擬機的性能指標，并進行負載均衡。這樣，可以更好地利用虛擬化環境的資源，提高系統的性能和穩定性。[Ⅰ]

總之，eBPF 的常見用途非常廣泛，可以用于網絡監控、安全過濾、性能分析和虛擬化等多種應用場景。[Ⅰ]

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序，支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

項目地址：https://github.com/YunaiV/ruoyi-vue-pro

視頻教程：https://doc.iocoder.cn/video/

工作原理

eBPF 的工作原理主要分為三個步驟：加載、編譯和執行。

eBPF 需要在內核中運行。這通常是由用戶態的應用程序完成的，它會通過系統調用來加載 eBPF 程序。在加載過程中，內核會將 eBPF 程序的代碼復制到內核空間。

eBPF 程序需要經過編譯和執行。這通常是由Clang/LLVM的編譯器完成，然后形成字節碼后，將用戶態的字節碼裝載進內核，并通過一個JIT編譯步驟將程序的通用字節碼轉換為機器特定指令集，以優化程序的執行速度。

在內核中運行時，eBPF 程序通常會掛載到一個內核鉤子（hook）上，以便在特定的事件發生時被執行。例如，可以將 eBPF 程序掛載到網絡協議棧的某個位置，以便在收到網絡數據包時被執行。

最后，eBPF 程序還需要經過內核安全機制的檢查。這是為了確保 eBPF 程序不會破壞內核的穩定性和安全性。在檢查過程中，內核會對 eBPF 程序的代碼進行分析，以確保它不會進行惡意操作，如系統調用、內存訪問等。如果 eBPF 程序通過了內核安全機制的檢查，它就可以在內核中正常運行了。在運行過程中，eBPF 程序可以訪問內核的數據結構，并通過內核接口與其他組件進行交互。例如，eBPF 程序可以捕獲網絡數據包，并通過內核接口將它們轉發給用戶態的應用程序。總之，eBPF 的工作原理是通過動態加載、執行和檢查無損編譯過的代碼來實現的。[Ⅰ]

下圖是其架構圖。

圖片來自：https://www.infoq.com/articles/gentle-linux-ebpf-introduction/

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序，支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

項目地址：https://github.com/YunaiV/yudao-cloud

視頻教程：https://doc.iocoder.cn/video/

示例

eBPF 可以用于對內核的性能進行分析。下面是一個基于 eBPF 的性能分析的 step-by-step 示例：

第一步：準備工作：首先，需要確保內核已經支持 eBPF 功能。這通常需要在內核配置文件中啟用 eBPF 相關的選項，并重新編譯內核。檢查是否支持 eBPF，你可以用這兩個命令查看 ls /sys/fs/bpf 和 lsmod | grep bpf。

第二步：寫 eBPF 程序：接下來，需要編寫 eBPF 程序，用于收集內核的性能指標。eBPF 程序的語言可以選擇 C 或者 Python，它需要通過特定的接口訪問內核的數據結構，并將收集到的數據保存到指定的位置。

下面是一個 Python 示例：

#!/usr/bin/python3
from?bcc?import?BPF
from?time?import?sleep
#?定義?eBPF?程序
bpf_text?=?"""
#include?
BPF_HASH(stats,?u32);
int?count(struct?pt_regs?*ctx)?{
????u32?key?=?0;
????u64?*val,?zero=0;
????val?=?stats.lookup_or_init(&key,?&zero);
????(*val)++;
????return?0;
}
"""
#?編譯?eBPF?程序
b?=?BPF(text=bpf_text,?cflags=["-Wno-macro-redefined"])
#?加載?eBPF?程序
b.attach_kprobe(event="tcp_sendmsg",?fn_name="count")
name?=?{
??0:?"tcp_sendmsg"
}
#?輸出統計結果
while?True:
????try:
????????#print("Total?packets:?%d"?%?b["stats"][0].value)
????????for?k,?v?in?b["stats"].items():
???????????print("{}:?{}".format(name[k.value],?v.value))
????????sleep(1)
????except?KeyboardInterrupt:
????????exit()

這個 eBPF 程序的功能是統計網絡中傳輸的數據包數量。它通過定義一個 BPF_HASH 數據結構來保存統計結果，并通過捕獲 tcp_sendmsg 事件來實現實時統計。最后，它通過每秒輸出一次統計結果來展示數據。這個 eBPF 程序只是一個簡單的示例，實際應用中可能需要進行更復雜的統計和分析。

第三步：運行 eBPF 程序：接下來，需要使用eBPF編譯器將 eBPF 程序編譯成內核可執行的格式（這個在上面的Python程序里你可以看到——Python引入了一個bcc的包，然后用這個包，把那段 C語言的程序編譯成字節碼加載在內核中并把某個函數attach到某個事件上）。這個過程可以使用 BPF Compiler Collection（BCC）工具來完成。BCC 工具可以通過命令行的方式將 eBPF 程序編譯成內核可執行的格式，并將其加載到內核中。

下面是運行上面的 Python3 程序的步驟：

sudo?apt?install?python3-bpfcc

注：在Python3下請不要使用 pip3 install bcc （參看：https://github.com/iovisor/bcc/issues/2278#issuecomment-825356087）

如果你是 Ubuntu 20.10 以上的版本，最好通過源碼安裝（否則程序會有編譯問題），參看https://github.com/iovisor/bcc/issues/3993#issuecomment-1228217609：

apt?purge?bpfcc-tools?libbpfcc?python3-bpfcc
wget?https://github.com/iovisor/bcc/releases/download/v0.25.0/bcc-src-with-submodule.tar.gz
tar?xf?bcc-src-with-submodule.tar.gz
cd?bcc/
apt?install?-y?python-is-python3
apt?install?-y?bison?build-essential?cmake?flex?git?libedit-dev???libllvm11?llvm-11-dev?libclang-11-dev?zlib1g-dev?libelf-dev?libfl-dev?python3-distutils
apt?install?-y?checkinstall
mkdir?build
cd?build/
cmake?-DCMAKE_INSTALL_PREFIX=/usr?-DPYTHON_CMD=python3?..
make
checkinstall

接下來，需要將上面的 Python 程序保存到本地，例如保存到文件 netstat.py。運行程序：最后，可以通過執行以下命令來運行 Python 程序：

$?chmod?+x?./netstat.py
$?sudo?./netstat.py
tcp_sendmsg:?29
tcp_sendmsg:?216
tcp_sendmsg:?277
tcp_sendmsg:?379
tcp_sendmsg:?419
tcp_sendmsg:?468
tcp_sendmsg:?574
tcp_sendmsg:?645
tcp_sendmsg:?29

程序開始運行后，會在控制臺輸出網絡數據包的統計信息。可以通過按 Ctrl+C 組合鍵來結束程序的運行。

下面我們再看一個比較復雜的示例，這個示例會計算TCP??的發包時間（示例參考于 Github 上這個 issue[1] 里的程序）：

#!/usr/bin/python3
from?bcc?import?BPF
import?time
#?定義?eBPF?程序
bpf_text?=?"""
#include?
#include?
#include?
#include?
struct?packet_t?{
????u64?ts,?size;
????u32?pid;
????u32?saddr,?daddr;
????u16?sport,?dport;
};
BPF_HASH(packets,?u64,?struct?packet_t);
int?on_send(struct?pt_regs?*ctx,?struct?sock?*sk,?struct?msghdr?*msg,?size_t?size)
{
????u64?id?=?bpf_get_current_pid_tgid();
????u32?pid?=?id;
????//?記錄數據包的時間戳和信息
????struct?packet_t?pkt?=?{};?//?結構體一定要初始化，可以使用下面的方法
??????????????????????????????//__builtin_memset(&pkt,?0,?sizeof(pkt));?
????pkt.ts?=?bpf_ktime_get_ns();
????pkt.size?=?size;
????pkt.pid?=?pid;
????pkt.saddr?=?sk->__sk_common.skc_rcv_saddr;
????pkt.daddr?=?sk->__sk_common.skc_daddr;
????struct?inet_sock?*sockp?=?(struct?inet_sock?*)sk;
????pkt.sport?=?sockp->inet_sport;
????pkt.dport?=?sk->__sk_common.skc_dport;
????packets.update(&id,?&pkt);
????return?0;
}
int?on_recv(struct?pt_regs?*ctx,?struct?sock?*sk)
{
????u64?id?=?bpf_get_current_pid_tgid();
????u32?pid?=?id;
????//?獲取數據包的時間戳和編號
????struct?packet_t?*pkt?=?packets.lookup(&id);
????if?(!pkt)?{
????????return?0;
????}
????//?計算傳輸時間
????u64?delta?=?bpf_ktime_get_ns()?-?pkt->ts;
????//?統計結果
????bpf_trace_printk("tcp_time:?%llu.%llums,?size:?%llu\n",?
???????delta/1000,?delta%1000%100,?pkt->size);
????//?刪除統計結果
????packets.delete(&id);
????return?0;
}
"""
#?編譯?eBPF?程序
b?=?BPF(text=bpf_text,?cflags=["-Wno-macro-redefined"])
#?注冊?eBPF?程序
b.attach_kprobe(event="tcp_sendmsg",?fn_name="on_send")
b.attach_kprobe(event="tcp_v4_do_rcv",?fn_name="on_recv")
#?輸出統計信息
print("Tracing?TCP?latency...?Hit?Ctrl-C?to?end.")
while?True:
????try:
????????(task,?pid,?cpu,?flags,?ts,?msg)?=?b.trace_fields()
????????print("%-18.9f?%-16s?%-6d?%s"?%?(ts,?task,?pid,?msg))
????except?KeyboardInterrupt:
????????exit()

上面這個程序通過捕獲每個數據包的時間戳來統計傳輸時間。在捕獲 tcp_sendmsg 事件時，記錄數據包的發送時間；在捕獲 tcp_v4_do_rcv 事件時，記錄數據包的接收時間；最后，通過比較兩個時間戳來計算傳輸時間。

從上面的兩個程序我們可以看到，eBPF 的一個編程的基本方法，這樣的在 Python 里向內核的某些事件掛載一段 “C語言” 的方式就是 eBPF 的編程方式。

實話實說，這樣的代碼很不好寫，而且有很多非常詭異的東西，一般人是很難駕馭的（上面的代碼我也很不是很容易都能寫通的，把 Google 都用了個底兒掉，讀了很多晦澀的文檔……）。好在這樣的代碼已經有人寫了，我們不必再寫了，在 Github 上的 bcc 庫下的 tools 目錄[2]有很多……

BCC（BPF Compiler Collection）是一套開源的工具集，可以在 Linux 系統中使用 BPF（Berkeley Packet Filter）程序進行系統級性能分析和監測。BCC 包含了許多實用工具，如：

bcc-tools：一個包含許多常用的 BCC 工具的軟件包。

bpftrace：一個高級語言，用于編寫和執行 BPF 程序。

tcptop：一個實時監控和分析 TCP 流量的工具。

execsnoop：一個用于監控進程執行情況的工具。

filetop：一個實時監控和分析文件系統流量的工具。

trace：一個用于跟蹤和分析函數調用的工具。

funccount：一個用于統計函數調用次數的工具。

opensnoop：一個用于監控文件打開操作的工具。

pidstat：一個用于監控進程性能的工具。

profile：一個用于分析系統 CPU 使用情況的工具。

下面這張圖你可能見過多次了，你可以看看他可以干多少事，內核里發生什么事一覽無余。

基于Linux內核的透明代理配置方案

本內容提供了基于Linux內核的透明代理配置方案，先解釋為什么要配置透明代理，如何利用Linux內核來實現

2011-11-03 16:47:52

769

一文詳解Linux內核源碼組織結構

概要：本文內容包含Linux源碼樹結構分析、Linux Makefile分析、Kconfig文件分析、Linux內核配置選項分析。這些知識是為了理解內核文件的組織形式，為具體移植內核做知識準備。

2022-05-10 19:28:40

5277

linux內核的“頭”究竟是什么？

本文描述linux內核的“頭”究竟是什么，感覺她非常的神秘。

2022-11-15 09:12:20

639

實戰eBPF kprobe函數插樁

本文作者為團隊小伙伴阿松，在Linux文件監控領域實戰經驗豐富。本次引入eBPF在文件監控上應用，提升文件變更的關聯進程信息等。在實現過程中，分享了eBPF kbproe時，被插樁函數超多參數獲取的解決方案。

2022-11-29 09:03:20

1439

Linux內核中常用的C語言技巧有哪些呢？

Linux內核采用的是GCC編譯器，GCC編譯器除了支持ANSI C，還支持GNU C。在Linux內核中，許多地方都使用了GNU C語言的擴展特性

2023-03-20 09:04:56

738

解構內核源碼eBPF樣例編譯過程

了解和掌握純c語言的ebpf編譯和使用，有助于我們加深對于eBPF技術原理的進一步掌握，也有助于開發符合自己業務需求的高性能的ebpf程序。

2023-04-17 14:05:26

1116

如何編譯Linux內核rpm包

進入github官網，搜索linux，使用git下載最新版本，或者其它版本的內核代碼。

2023-06-07 16:24:25

739

Linux內核內存泄漏怎么辦

在Linux內核開發中，Kmemleak是一種用于檢測內核中內存泄漏的工具。

2023-07-04 11:04:03

553

Linux內核的作用

Linux操作系統是當今世界上最為廣泛使用的開源操作系統之一，內核則是一個操作系統的核心和靈魂所在。對于一名Linux驅動開發者來說，了解Linux內核的運行機制和Linux內核提供的一些關鍵功能（如虛擬內存管理、進程管理、文件系統、網絡協議棧等）都是我們日常工作和學習的重點。

2023-07-06 11:46:41

1046