主頁 > 後端開發 > 使用腳本收發 protobuf 協議資料

使用腳本收發 protobuf 協議資料

2023-06-06 15:01:54 後端開發

問題背景

最近做了一個 ipv6 相關的功能,發現使用 getifaddrs 獲取的本地 ipv6 地址有可能不是真實的網路 ipv6 地址:

例如上圖中通過 getifaddrs 獲得了多個本地 ipv6 地址,其中 <fe80> 開頭的已知是本地 ipv6 地址,被排除;還有 <2408> 這種,其實也是 "假 ipv6" 地址,對應的設備并不能訪問 ipv6 網路,

對于這種假 v6 地址,無法通過遍歷的方式進行列舉排除,而一旦將 v4 網路環境錯認為是 v6 環境,對后面的網路操作影響比較大,需要引入一種準確判斷當前網路是否有 ipv6 訪問能力的方法,為此 server 端同學專門給了一個判斷介面,

probe_v6_addr

出于安全考慮,這里只列出介面名稱部分:

http://xxx.xxxxxxxxxx.xxxxxxx.xxxxx.xxx/xxx/probe_v6_addr

訪問這個介面有兩種回傳,當不存在 v6 網路環境時:

no v6 addr

當存在時,回傳本機的 ipv6 地址:

$ curl -s http://xxx.xxxxxxxxxx.xxxxxxx.xxxxx.xxx/xxx/probe_v6_addr
+
%240e:304:8183:2bcc:c16d:22d0:74ba:23e??-
'2408:832e:c272:b36e:55bc:554a:8952:553e?,
&240e:3a0:7005:6ae2:d05a:754a:c21b:6c35??+
%240e:310:915:d939:9041:c01c:82db:a043??-
'2408:832e:c271:3851:6926:e953:e741:b1a3??+
%240e:378:1e0c:db62:7088:a216:87c:4ccd??OP46C3:/

雖然有部分二進制資訊干擾,但是 ipv6 地址部分還是看得比較清楚的,回傳的地址和 ifconfig 的結果可以相互印證:

$ ifconfig | grep inet6
          inet6 addr: fe80::fc8e:84ff:fec0:1534/64 Scope: Link
          inet6 addr: 240e:505:7e01:2994:f43c:5fc9:609e:5de6/64 Scope: Global
          inet6 addr: fe80::f43c:5fc9:609e:5de6/64 Scope: Link
          inet6 addr: fe80::8fd0:cd9e:52cd:5bc3/64 Scope: Link
          inet6 addr: 2409:8100:7b00:5781:a4a8:71ce:b11:3c5e/64 Scope: Global
          inet6 addr: fe80::a4a8:71ce:b11:3c5e/64 Scope: Link
          inet6 addr: ::1/128 Scope: Host
          inet6 addr: fe80::29f8:41f:7564:501d/64 Scope: Link
          inet6 addr: 240e:404:7e01:5d77:29f8:41f:7564:501d/64 Scope: Global
          inet6 addr: fe80::3d14:7716:4771:88fa/64 Scope: Link
          inet6 addr: 240e:304:8183:2bcc:c16d:22d0:74ba:23e/64 Scope: Global
          inet6 addr: 240e:304:8183:2bcc:d8c5:dce4:a89c:8a88/64 Scope: Global

其中 ipv6 地址240e:304:8183:2bcc:c16d:22d0:74ba:23e/64在兩邊都存在,

protobuf

上面的介面確實是基于二進制資料的協議,雖然是私有協議,但是采用了 protobuf 來進行規范,在提高性能的同時,也保留了一定的通用性,

但是這樣一來,往常慣用的 curl + shell 大法要失靈了,給測驗和驗證作業帶來了不小的麻煩,

不過好在有 proto 檔案,生成一段決議的 c++ 代碼也不是不可能:

> cat msg.proto
message ProbeIpv6Request {
    string xxxxx     = 1;
    string xxxx      = 2;
    string xxxxxxxx  = 3;
    string xxxxxxx   = 4;
}

message V6AddrType {
    string addrV6 = 1;
    uint32 portV6 = 2;
}

message ProbeIpv6Response {
    string              xxxxx    = 1;
    V6AddrType          selfAddr = 2;
    repeated V6AddrType brosAddr = 3;
}

這個 proto 檔案揭示了兩點:

  • 該介面也是有請求的:ProbeIpv6Request,不過可以省略
  • 該介面的回應 ProbeIpv6Response 主要包含兩部分:
    • selfAddr 是設備自己的地址,有且只有一個
    • brosAddr 是設備的廣播地址,可能存在多個 (repeated)
    • 地址都是由一個字串地址和一個整型埠組成

如果使用 protoc 程式根據 msg.proto 生成 c++ 代碼,再寫程式決議資料,就用不著寫這篇文章了,畢竟那種方式太牛刀殺雞了,下面演示一種使用 shell 腳本就能搞定 protobuf 協議的新方法,

pbjs

在介紹新方法之前,先介紹本文的主角 pbjs,首先是在 mac 上的安裝:

brew install node
brew install npm
npm install -g protobufjs
npm install -g pbjs

pbjs 是 nodejs 提供的,用來將 protobuf 二進制資料轉換為 json,所以需要先安裝 nodejs、npm 環境,linux 上的安裝大同小異,此處不再贅述,

執行成功后驗證 pbjs 是否安裝:

> pbjs
Usage: pbjs [options] <schema_path>

Options:
  -V, --version        output the version number
  --es5 <js_path>      Generate ES5 JavaScript code
  --es6 <js_path>      Generate ES6 JavaScript code
  --ts <ts_path>       Generate TypeScript code
  --decode <msg_type>  Decode standard input to JSON
  --encode <msg_type>  Encode standard input to JSON
  -h, --help           output usage information
> which pbjs
/Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs
> ls -lh /Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs
lrwxr-xr-x  1 yunhai01  staff    31B Apr 16 18:26 /Users/yunhai01/tools/node-v14.17.0-darwin-x64/bin/pbjs -> ../lib/node_modules/pbjs/cli.js

看起來這就是一個 node module 的軟鏈接,

pbjs 的功能有很多,help 資訊中已經羅列出來了,例如生成 js 代碼 (--es5/--es6),生成 ts 代碼 (--ts),不過最讓我感興趣的還是 --decode,意思是可以將資料決議為 json,下面用上一節的二進制資料做個練手,假設資料已經保存在名為 response.bin 的檔案:

> pbjs msg.proto --decode ProbeIpv6Response < response.bin
{
  "selfAddr": {
    "addrV6": "240e:304:8183:2bcc:c16d:22d0:74ba:23e",
    "portV6": 47832
  },
  "brosAddr": [
    {
      "addrV6": "240e:333:6b00:b00e:38db:2815:306b:3d9b",
      "portV6": 18947
    },
    {
      "addrV6": "240e:333:1707:ca6f:24d3:61ae:86cf:a6fa",
      "portV6": 18112
    },
    {
      "addrV6": "2409:8a38:9002:70b3:19a3:66a3:d778:65cc",
      "portV6": 18780
    },
    {
      "addrV6": "2408:8266:700:1a62:8ad0:4097:9220:577b",
      "portV6": 18595
    },
    {
      "addrV6": "240e:3a0:9001:4013:99c0:11c4:7d3b:e8e5",
      "portV6": 18319
    }
  ]
}

哈哈,果然成功,程序例外絲滑!

jq

有了 json 資料就好辦了,下面上 jq 提取設備 IP,假設已經將資料保存在了 response.json 檔案中:

> jq -r '.selfAddr.addrV6'  probe_v6.json
240e:304:8183:2bcc:c16d:22d0:74ba:23e

和之前猜測的 IP 地址結果一致,

結語

pbjs 不光可以用來決議回應,也可以用來構造 protobuf 格式的請求,主要就是依賴它的 --encode 引數:

pbjs msg.proto --encode ProbeIpv6Request < request.json > request.bin

注意 --decode/--encode 一次只能處理一個訊息型別,而協議檔案中可能包括多個,所以需要在這里為它們進行指定,之前指定的是 ProbeIpv6Response 訊息,這里改為 ProbeIpv6Request 訊息,

關于 request.json 檔案,簡單的可以直接手動構造,復雜的可以借助 jq --arg 動態生成,這方面詳細的資訊可以參考我之前寫的這幾篇文章:《用 shell 腳本做 tcp 協議模擬》、《使用 shell 腳本自動申請進京證 (六環外) 》,

至此 protobuf 二進制資料也不再是腳本不可觸控的區域,有這方面介面測驗需求的同學們快用起來吧 ~

后記

使用基于 pbjs 的腳本在 android 設備上驗證上述介面后,能正確回傳結果,并且發現了幾個小問題,為后面寫 c++ 代碼接入鋪平了道路,比起直接使用 adb 跑腳本,編譯 sdk 再打 apk 包驗證成本實在是太高了,pbjs 確確實實提升了我的效率,

參考

[1]. Protocol Buffers for JavaScript

[2]. 作業筆記:protobufjs使用教程,支持proto檔案打包成typescript或javascript腳本

 

本文來自博客園,作者:goodcitizen,轉載請注明原文鏈接:https://www.cnblogs.com/goodcitizen/p/handle_protobuf_data_by_shell_scripts.html

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/554440.html

標籤:其他

上一篇:44基于java的汽車銷售管理系統設計與實作

下一篇:返回列表

標籤雲
其他(160443) Python(38206) JavaScript(25478) Java(18205) C(15237) 區塊鏈(8270) C#(7972) AI(7469) 爪哇(7425) MySQL(7234) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4585) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1983) 功能(1967) HtmlCss(1952) Web開發(1951) C++(1932) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • 使用腳本收發 protobuf 協議資料

    服務器使用二進制的 protobuf 協議,如何使用腳本模擬請求?答案是將它轉成 json 再用 jq 處理,一起來看看吧~ ......

    uj5u.com 2023-06-06 15:01:54 more
  • 44基于java的汽車銷售管理系統設計與實作

    基于java的汽車銷售管理系統設計與實作,車輛4S店管理系統,基于java汽車銷售交易網站,針對汽車銷售提供客戶資訊、車輛資訊、訂單資訊、銷售人員管理、財務報表等功能,提供經理和銷售兩種角色進行管理 ......

    uj5u.com 2023-06-06 15:01:35 more
  • 從 0 到 1 搭建自己的腳手架(java 后端)

    腳手架是一種基礎設施工具,用于快速生成專案的框架代碼和檔案結構。它是一種標準化的開發工具,使開發人員能夠在專案的早期階段快速搭建出一個具備基本功能和結構的系統。 ......

    uj5u.com 2023-06-06 15:01:06 more
  • Nginx 反向代理的配置和注意點(成功配置)

    **反向代理配置成功** 首先,Nginx 和 Java 后端都運行在云服務器的 docker 容器中。*ps*: 需要確保云服務器埠正常開放,以及兩個容器都能被正常的訪問。 現在想讓 ng 做反向代理達到如下目的:通過前端 url 地址的映射,來訪問后端的介面。 反向代理流程:前端 url 地址 ......

    uj5u.com 2023-06-06 15:00:50 more
  • 43基于java的校園社團管理系統設計與實作

    基于java的校園社團管理系統設計與實作,可適用于校園社團管理系統,社團招新管理系統,社團管理系統,社團活動管理系統,高校學生社團,大學社團,學生社團招新,學生社團系統等等; ......

    uj5u.com 2023-06-06 15:00:43 more
  • 驅動開發:內核掃描SSDT掛鉤狀態

    在筆者上一篇文章`《驅動開發:內核實作SSDT掛鉤與摘鉤》`中介紹了如何對`SSDT`函式進行`Hook`掛鉤與摘鉤的,本章將繼續實作一個新功能,如何`檢測SSDT`函式是否掛鉤,要實作檢測`掛鉤狀態`有兩種方式,第一種方式則是類似于`《驅動開發:摘除InlineHook內核鉤子》`文章中所演示的通... ......

    uj5u.com 2023-06-06 14:47:44 more
  • 上游服務不可用了,下游服務如何應對?

    # 1. 引言 在系統中,上游服務和下游服務是兩個關鍵概念。上游服務通常指的是提供某種功能或資料的服務端,它接收來自下游服務的請求,并根據請求進行處理和回應。下游服務通常指的是發起請求并依賴上游服務的客戶端,它們通過發送請求向上游服務請求資料或執行某些操作。 上游服務和下游服務之間的協作是系統中實作 ......

    uj5u.com 2023-06-06 14:42:10 more
  • K8S | 核心原理分析

    [toc] > 整體上理解流程和原理; # 一、背景 基于分布式的架構中,需要管理的服務是非常多的,無論是服務的數量還是體系劃分; 從服務的能力上看,可以進行分層管控,只是其中有相當一部分服務層,改動更新的頻率很低,所以感知也不明顯; ![](https://img2023.cnblogs.com/ ......

    uj5u.com 2023-06-06 14:28:44 more
  • Java革命性ORM框架之快速上手的Jimmer

    Jimmer是一款革命性的ORM框架,它的目標是提供一個簡單易用的API,幫助開發人員更加輕松地操作資料庫。Jimmer使用了Java 8的新特性,如Lambda運算式和Stream API,使得代碼更加簡潔、易讀。本文將詳細介紹Jimmer的基本用法,并提供一些Java代碼案例說明。 # 1. 什 ......

    uj5u.com 2023-06-06 14:19:28 more
  • 45基于java的民宿管理平臺設計與實作

    基于java的民宿管理平臺設計與實作,java民宿,民宿預約管理平臺系統,酒店預訂系統,酒店管理系統,酒店房間預訂,旅游業有關網上民宿預訂酒店房間管理系統,民宿資訊管理平臺。 ......

    uj5u.com 2023-06-06 14:15:03 more