原文地址：https://networkop.co.uk/post/2021-03-ebpf-intro/
首發地址： 【譯】eBPF 和 Go 經驗初探
本站相關檔案：使用 Go 語言管理和分發 ebpf 程式
1. 前言
eBPF 的生態欣欣向榮，無論是 eBPF 本身及其各種應用（包括 XDP） 方面都有大量的學習資源，但當涉及到選擇庫和工具來與 eBPF 進行互動時，會讓人有所困惑，在選擇時，你必須在基于 Python 的 BCC 框架、基于 C 的 libbpf 和一系列基于 Go 的 Dropbox、Cilium、Aqua 和 Calico 等庫中選擇，另一個經常被忽視的重要領域是 eBPF 代碼的 "生產化"，即從手動撰寫的樣例到生產級應用（例如 Cilium），在本篇文章中，我將記錄相關的經驗，特別是在網路（XDP）應用程式場景中，使用 Go 撰寫的用戶空間控制程式，
2. 選擇 eBPF 庫
在大多數情況下，eBPF 庫主要協助實作兩個功能：
-
將 eBPF 程式和 Map 載入內核并執行重定位，通過其檔案描述符將 eBPF 程式與正確的 Map 進行關聯，
-
與 eBPF Map 互動，允許對存盤在 Map 中的鍵/值對進行標準的 CRUD 操作，
部分庫也可以幫助你將 eBPF 程式附加到一個特定的鉤子，盡管對于網路場景下，這可能很容易采用現有的 netlink API 庫完成，
當涉及到 eBPF 庫的選擇時，我并不是唯一感到困惑的人（見[1], [2]），事實是每個庫都有各自的范圍和限制，
- Calico 在用 bpftool 和 iproute2 實作的 CLI 命令基礎上實作了一個 Go 包裝器，
- Aqua 實作了對 libbpf C 庫的 Go 包裝器，
- Dropbox 支持一小部分程式，但有一個非常干凈和方便的用戶API，
- IO Visor 的 gobpf 是 BCC 框架的 Go 語言系結，它更注重于跟蹤和性能分析，
- Cilium 和 Cloudflare 維護一個 純 Go 語言撰寫的庫 (以下簡稱 "libbpf-go")，它將所有 eBPF 系統呼叫抽象在一個本地 Go 介面后面，
基于我的網路特定用例，我最終選擇了 libbpf-go，因為其被 Cilium 和 Cloudflare 使用，并且有一個活躍的社區，盡管我也非常喜歡簡單易用的 Dropbox 庫，并且也可以使用它，
為了熟悉開發程序，我決定實作一個 XDP 交叉連接的應用，它在網路拓撲模擬方面有一個非常小眾但重要的用例，我們的目標是要有一個應用程式來觀察一個組態檔，并確保本地介面根據該檔案的 YAML 規范進行互連，下面是對 xdp-xconnect 作業高層次概述，
下面的章節將逐步描述應用的構建和交付程序，更多的是關注集成，而不是實際的代碼，xdp-xconnect的完整代碼在Github上可用，
3. 步驟1 - 撰寫 eBPF 代碼
通常情況下，這將是任何 "eBPF 入門" 文章的主要部分，然而這一次它并不是重點，我并不認為自己可以幫助別人學習如何撰寫eBPF，然而，我可以參考一些非常好的資源，
- 通用的 eBPF 理論在網站 ebpf.io 和 Cilium 的 eBPF 和 XDP 參考指南中有大量的細節，
- 對 eBPF 和 XDP 進行實踐的最好地方是 xdp-tutorial，這是一個了不起的資源，即使你最終選擇不完成作業，也絕對值得閱讀，
- Cilium 的源代碼和其在 [1] 和 [2] 的分析，
我的 eBPF 程式非常簡單，它包括對 eBPF 幫助函式的一次呼叫，可根據傳入介面的索引將所有資料包從一個介面重定向到另一個，
#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>
SEC("xdp")
int xdp_xconnect(struct xdp_md *ctx)
{
return bpf_redirect_map(&xconnect_map, ctx->ingress_ifindex, 0);
}
為了編譯上述程式，我們需要為所有包含的頭檔案提供包含路徑，最簡單的方法是在 linux/tools/lib/bpf/ 下復制所有檔案，然而，這將包括很多不必要的檔案，因此，另一種方法是創建一個依賴性串列，
$ clang -MD -MF xconnect.d -target bpf -I ~/linux/tools/lib/bpf -c xconnect.c
現在我們可以只對 xconnect.d 中指定的少量檔案進行本地拷貝，并使用以下命令為本地 CPU 架構編譯 eBPF 代碼，
$ clang -target bpf -Wall -O2 -emit-llvm -g -Iinclude -c xconnect.c -o - | \
llc -march=bpf -mcpu=probe -filetype=obj -o xconnect.o
The resulting ELF file is what we’d need to provide to our Go library in the next step.
編譯生成的 ELF 檔案就是我們在下一步需要提供給 Go 庫的程式，
4. 步驟 2 - 撰寫 Go 代碼
編譯好的 eBPF 程式和 Map 可以通過 libbpf-go 加載，這只需幾個指令，通過添加帶有 ebpf 標簽的結構，我們可以自動進行重定位程式，并且知道何處發現 Map，
spec, err := ebpf.LoadCollectionSpec("ebpf/xconnect.o")
if err != nil {
panic(err)
}
var objs struct {
XCProg *ebpf.Program `ebpf:"xdp_xconnect"`
XCMap *ebpf.Map `ebpf:"xconnect_map"`
}
if err := spec.LoadAndAssign(&objs, nil); err != nil {
panic(err)
}
defer objs.XCProg.Close()
defer objs.XCMap.Close()
ebpf.Map 型別有一組方法，可對加載的 Map 內容進行標準的 CRUD 操作：
err = objs.XCMap.Put(uint32(0), uint32(10))
var v0 uint32
err = objs.XCMap.Lookup(uint32(0), &v0)
err = objs.XCMap.Delete(uint32(0))
唯一沒有被 libbpf-go 包含的步驟是將程式附加到網路鉤子上，然而，這可以通過任何現有的 netlink 庫輕松實作，例如vishvananda/netlink，通過將網路連接與加載程式的檔案描述符聯系起來：
link, err := netlink.LinkByName("eth0")
err = netlink.LinkSetXdpFdWithFlags(*link, c.objs.XCProg.FD(), 2)
請注意，我使用 SKB_MODE XDP 標志來繞過退出的 veth 驅動程式 caveat ，盡管本地 XDP 模式比任何其他 eBPF 鉤子快得多，但 SKB_MODE 可能沒有那么快，因為資料包頭必須由網路堆疊預先決議（見視頻），
5. 步驟 3 - 代碼分發
在這一點上，如果不是因為一個問題 -- eBPF 代碼可移植性，一切都應該已經準備好打包和發布應用，歷史上，這個程序涉及將 eBPF 源代碼復制到目標平臺，拉取所需的內核頭檔案，并為特定的內核版本進行編譯，這個問題對于追蹤/監控/跟蹤的用例尤其明顯，因為這些用例可能需要訪問幾乎所有的內核資料結構，所以唯一的解決辦法是引入中介層（見 CO-RE），
另一方面，網路用例依賴于一個相對較小且穩定的內核型別子集，所以它們不會像跟蹤和性能分析程式那樣遇到同樣的問題，根據我目前看到的情況，兩種最常見的代碼打包方法是：
- 將 eBPF 代碼與所需的內核頭檔案放在一起，假設它們與底層內核相匹配（見Cilium），
- 分發 eBPF 代碼并在目標平臺上拉取內核頭檔案，
在這兩種情況下，eBPF 代碼仍然需要在目標平臺上編譯，這是一個額外的步驟，需要在用戶空間應用程式啟動之前進行，然而，還有一個選擇，那就是預先將 eBPF 代碼編譯成 ELF 格式檔案，最終只分發 ELF 檔案，這正是 bpf2go 可以做到的，它可以將編譯后的代碼嵌入到 Go 包中，其依靠 go generate 注解指令產生一個新的檔案，其中包含編譯好的 eBPF 和 libbpf-go 腳手架代碼，唯一的要求是 //go:generate 指令，一旦生成，我們的 eBPF 程式只需幾行就可以被加載（注意沒有任何引數），
specs, err := newXdpSpecs()
objs, err := specs.Load(nil)
這種方法明顯的優點是，我們不再需要在目標機器上編譯，可以在一個軟體包或 Go 二進制檔案中同時運送 eBPF 和用戶空間 Go 代碼，這很好，因為它允許我們不僅將應用程式作為二進制檔案使用，還可以將其匯入任何第三方 Go 應用程式中（見使用實體），
6. 閱讀和有趣的參考資料
通用理論：
https://github.com/xdp-project/xdp-tutorial
https://docs.cilium.io/en/stable/bpf/
https://qmonnet.github.io/whirl-offload/2016/09/01/dive-into-bpf/
BCC 和 libbpf：
https://facebookmicrosites.github.io/bpf/blog/2020/02/20/bcc-to-libbpf-howto-guide.html
https://nakryiko.com/posts/libbpf-bootstrap/
https://pingcap.com/blog/why-we-switched-from-bcc-to-libbpf-for-linux-bpf-performance-analysis
https://facebookmicrosites.github.io/bpf/blog/
eBPF/XDP 性能：
https://www.netronome.com/blog/bpf-ebpf-xdp-and-bpfilter-what-are-these-things-and-what-do-they-mean-enterprise/
Linus Kernel 代碼風格：
https://www.kernel.org/doc/html/v5.9/process/coding-style.html
libbpf-go 樣例程式：
https://github.com/takehaya/goxdp-template
https://github.com/hrntknr/nfNat
https://github.com/takehaya/Vinbero
https://github.com/tcfw/vpc
https://github.com/florianl/tc-skeleton
https://github.com/cloudflare/rakelimit
https://github.com/b3a-dev/ebpf-geoip-demo
bpf2go：
https://github.com/lmb/ship-bpf-with-go
https://pkg.go.dev/github.com/cilium/ebpf/cmd/bpf2go
XDP 樣例程式：
https://github.com/cpmarvin/lnetd-ctl
https://gitlab.com/mwiget/crpd-l2tpv3-xdp
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/296710.html
標籤：Go
上一篇：C語言——sscanf函式