- GreatSQL社區原創內容未經授權不得隨意使用，轉載請聯系小編并注明來源，
- GreatSQL是MySQL的國產分支版本，使用上與MySQL一致，
一. XDP Socket示例決議
原始碼參見：https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP
該示例演示了如何通過BPF將網路資料包從XDP Hook點旁路到用戶態的XDP Socket，決議程序中為突出重點，將只關注重點代碼段，一些函式會被精簡，比如：錯誤處理等
二. BPF 程式 af_xdp_kern.c
BPF程式是運行在內核態的一段代碼，如下：
struct bpf_map_def SEC("maps") xsks_map = {
.type = BPF_MAP_TYPE_XSKMAP,
.key_size = sizeof(int),
.value_size = sizeof(int),
.max_entries = 64, /* Assume netdev has no more than 64 queues */
};
SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx)
{
int index = ctx->rx_queue_index;
if (bpf_map_lookup_elem(&xsks_map, &index))
return bpf_redirect_map(&xsks_map, index, 0);
return XDP_PASS;
}
-
struct bpf_map_def SEC("maps") xsks_map： 定義了一個BPF_MAP_TYPE_XSKMAP型別的映射表，當采用SEC("maps")方式來顯示定義時，將在生成的bpf目標檔案的ELF格式中看到相關描述，當BPF程式被加載到內核時，會自動創建名為“xsks_map”的描述符， 用戶態可通過查找“xsks_map”來獲取該map的描述符，這樣用戶態和內核BPF程式就可以共同訪問該map -
type = BPF_MAP_TYPE_XSKMAP：指定該map的型別，它與bpf_redirect_map() 結合使用以將收到的幀傳遞到指定套接字 -
key_size = sizeof(int)，value_size = sizeof(int)：指定key，value長度 -
針對以上key，value需要說明一下：對于
BPF_MAP_TYPE_XSKMAP型別的map，value必須是XDP socket描述符，key必須是int型別，原因在于bpf_redirect_map()的第二個引數，參見下面2.10 -
max_entries = 64：指定map最多存盤64個元素 -
SEC("xdp_sock")：指定prog函式符號，應用層可通過查找"xdp_sock"加載該prog，并系結到指定網卡 -
int xdp_sock_prog(struct xdp_md *ctx)：當網卡收到資料包時，會在xdp hook點呼叫該函式 -
int index = ctx->rx_queue_index： 獲取該資料包來自網卡到哪個rx佇列ID，ctx有許多成員，比如：網卡ID，資料幀等等 -
if (bpf_map_lookup_elem(&xsks_map, &index))： 判斷xsks_map是否存在key為index（即rx佇列號）的資料，注意，這里實際上就是判斷該網卡是否系結了xdp Socket -
bpf_redirect_map(&xsks_map, index, 0)：bpf_redirect_map函式作用就是重定向，比如：將資料重定向到某個網卡，CPU， Socket等等；當bpf_redirect_map函式的第一個引數的map型別為BPF_MAP_TYPE_XSKMAP時，則表示將資料重定向到XDP Scoketbpf_redirect_map（）會查找引數1即xsks_map 中 key為index 的 value 是否存在，若存在，則檢查value是否是一個XDP Scoket，并且是否系結到了該網卡（可以系結到任意有效佇列）
綜合以上，該bpf程式實作的功能就是：將收到的資料包重定向到xsks_map中指定的XDP Socket
三. 用戶態程式 af_xdp_user.c
該程式實作bpf加載到網卡，創建XDP Scoket并系結到網卡的指定佇列，并通過XDP Scoket收發資料，這里僅分析xXDP Scoket相關部分
int main(int argc, char **argv)
{
...
bpf_obj = load_bpf_and_xdp_attach(&cfg);
map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
...
xsks_map_fd = bpf_map__fd(map);
...
umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
...
xsk_socket = xsk_configure_socket(&cfg, umem);
...
rx_and_process(&cfg, xsk_socket);
...
}
static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
struct xsk_umem_info *umem)
{
...
ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
&xsk_info->tx, &xsk_cfg);
...
}
bpf_obj = load_bpf_and_xdp_attach(&cfg): 加載bpf程式，并系結到網卡map = bpf_object__find_map_by_name(bpf_obj, "xsks_map")： 查找bpf程式內定義的xsks_mapumem = configure_xsk_umem(packet_buffer, packet_buffer_size)： 為XDP Scoket準備UMEMxsk_configure_socket()通過呼叫bpf helper函式xsk_socket__create（）創建XDP Scoket并系結到cfg->ifname網卡的cfg->xsk_if_queue佇列，默認情況下將該【cfg->xsk_if_queue， xsk_info->xsk fd】添加到xsks_map, 這樣bpf程式就可以重定向到該XDP Scoket（參見2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD標志
static void rx_and_process(struct config *cfg,
struct xsk_socket_info *xsk_socket)
{
struct pollfd fds[2];
int ret, nfds = 1;
memset(fds, 0, sizeof(fds));
fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
fds[0].events = POLLIN;
while(!global_exit) {
if (cfg->xsk_poll_mode) {
ret = poll(fds, nfds, -1);
if (ret <= 0 || ret > 1)
continue;
}
handle_receive_packets(xsk_socket);
}
}
- XDP Scoket也是一個檔案描述符，因此可以通過poll/epoll/select來等待IO事件，需要說明的是：收/發的資料包是原始的以太網幀，因此在包處理上要麻煩一些
四. 總結
- 以上簡略分析了bpf程式如何將資料重定向到用戶態程式，通過xsks_map來實作bpf與用戶態程式的互動；
- 需要說明的是，這些分析僅是梳理了淺層次的代碼，實際上BPF是如何將資料讀寫到XDP Scoket收發緩沖區的呢？其實是通過創建共享記憶體并關聯XDP Scoket的rx_ring，tx_ring，以及umem來實作的，后續繼續分析
- bpf程式通常都非常簡單，復雜的是用戶態程式，此外，BPF有非常多的技術細節，限于篇幅及主題不在此展開，
Enjoy GreatSQL ??
關于 GreatSQL
GreatSQL是由萬里資料庫維護的MySQL分支，專注于提升MGR可靠性及性能，支持InnoDB并行查詢特性，是適用于金融級應用的MySQL分支版本，
相關鏈接： GreatSQL社區 Gitee GitHub Bilibili
GreatSQL社區：
歡迎來GreatSQL社區發帖提問
https://greatsql.cn/
技術交流群：
微信：掃碼添加
GreatSQL社區助手微信好友，發送驗證資訊加群，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/503567.html
標籤：MySQL
上一篇：ClickHouse(05)ClickHouse資料型別詳解
下一篇：簡析XDP的重定向機制