主頁 > 後端開發 > go程式添加遠程呼叫tcpdump功能

go程式添加遠程呼叫tcpdump功能

2022-05-26 17:04:16 後端開發

最近開發的telemetry采集系統上線了,聽起來高大上,簡單來說就是一個grpc/udp服務端,用戶的機器(路由器、交換機)將它們的各種統計資料上報采集、整理后交后端的各類AI分析系統分析,目前華為/思科的大部分設備支持,

上線之后,各類用戶開始找來要求幫忙定位問題,一般是上報的資料在后端系統中不存在等等,

在一通抓包分析后,百分之99都是用戶自己的問題,但頻繁的抓包定位問題,嚴重的壓縮了我摸魚的時間,而且,這套系統采用多實體方式部署在騰X云多個容器中,一個個的登錄抓包,真的很煩,

這讓我萌生了一個需求:

  1. 主動給采集器下發抓包任務,
  2. 將抓包的資訊回傳,
  3. 將抓包的檔案暫存,以備進一步定位問題,

方法1

使用fabric等ssh運維工具,撰寫腳本自動化登錄機器后執行tcpdump,然后進一步處理,
很可惜的是,并沒有容器母機ssh的權限,只能通過一個web命令列觀察容器,這條路玩不轉,

方法2

  1. 在采集器中添加一個介面,用以下發tcpdump命令
  2. 采集器執行tcpdump命令,并獲取回傳的資訊(比如captured xxx pacs),保存相關檔案,
  3. 將獲取的抓包資訊以某種方式反發給命令下發人,

使用tcpdump定時抓取并保存資訊

首先需要解決tcpdump定時的問題,以免tcpdump無限期的執行抓包,經過一通谷歌,命令如下:

timeout 30 tcpdump -i eth0 host 9.123.123.111 and port 6651 -w /tmp/log.cap

timeout 30 指抓取30秒,超時后tcpdump會直接退出
-i 指定抓取的埠
host xxx 源IP
port xxx 源埠

撰寫tcpdump函式

下面到了我最喜歡的寫代碼階段,為了簡單,直接使用os/exec庫,不要笑,很多大廠的很多系統其實都是包命令列工具,解決問題最重要,

// TcpDump 執行tcpdump命令,并回傳抓到的包數
func TcpDump(sudo bool, timeout int, eth string, host string, port int) (caps int, err error) {
	portStr := ""
	if port != 0 {
		portStr = fmt.Sprintf("and port %v", port)
	}

	tcpdumpCmd := fmt.Sprintf("timeout %v tcpdump -i %v host %v %v -w /tmp/log.cap",
		timeout, eth, host, portStr)
	if sudo {
		tcpdumpCmd = "sudo " + tcpdumpCmd
	}
	logrus.Infof("call %v", tcpdumpCmd)
	cmd := exec.Command("sh", "-c", tcpdumpCmd)
	var outb, errb bytes.Buffer
	cmd.Stderr = &errb
	err = cmd.Run()
	if err != nil {
		if !errors.Is(err, &exec.ExitError{}) {
			logrus.Infof("out:%s ; %s", outb.Bytes(), errb.Bytes())
			return getPacs(errb.String()), nil
		}
		return
	}
	return 0,fmt.Errorf("unknown error")
}

func getPacs(input string) int {
	end := strings.Index(input, "packets captured")
	pos := end
	for {
		pos -= 1
		if pos <= 0 {
			return 0
		}
		if input[pos] == '\n' {
			break
		}
	}
	// logrus.Infof("captured:%s", input[pos+1:end-1])
	v, err := strconv.Atoi(input[pos+1 : end-1])
	if err != nil {
		return 0
	}
	return v
}

這里要注意幾點:

  1. 執行cmd := exec.Command("sh", "-c", tcpdumpCmd)后,tcpdump的回傳資訊類似:
listening on eth1, link-type EN10MB (Ethernet), capture size 65535 bytes\n56 packets captured\n56 packets received by filter\n0 packets dropped by kernel\n

是在stderr中的,而不是stdout,

  1. getPacs函式簡單的從xx packets received中提取出了抓包數,但是如果是中文的服務器系統(不會吧,不會吧),就不太好使了,

撰寫api

現在函式已經有了,只要再寫一個http api,就能很方便的把它暴露出去,

import "github.com/gogf/gf/v2/encoding/gjson"

// ErrJson,寫入一個error json,形如:
//{
//    "err": code,
//    "err_msg": msg
//}
func ErrJson(w http.ResponseWriter, errCode int, errStr string) error {
	w.Header().Set("Content-Type", "application/json")
	js := make(map[string]interface{})
	js["err"] = errCode
	js["err_msg"] = errStr
	jsBts, _ := json.Marshal(js)
	_, err := w.Write(jsBts)
	return err
}

/* TcpDumpHandler
req:{
	"sudo":  true,
	"eth": "eth0",
	"host": "10.99.17.135",
	"port": 0
}
rsp:{
	"err": 0,
	"caps": 14
}
*/
func TcpDumpHandler(w http.ResponseWriter, r *http.Request) {
	r.ParseForm()
	ret, err := ioutil.ReadAll(r.Body)
	if err != nil {
		ErrJson(w, 1, "資料錯誤")
		return
	}
	js := gjson.New(ret)
	sudo := js.Get("sudo").Bool()
	eth := js.Get("eth").String()
	if eth == "" {
		ErrJson(w, 1, "資料錯誤, eth不存在")
		return
	}
	host := js.Get("host").String()
	if host == "" {
		ErrJson(w, 1, "資料錯誤, host不存在")
		return
	}
	port := js.Get("port").Int()
	timeout := js.Get("timeout").Int()
	if timeout == 0 {
		ErrJson(w, 1, "資料錯誤, timeout為0或不存在")
		return
	}
	go func() {
		chatKey := config.GlobalConfigObj.Global.ChatKey
		botKey := config.GlobalConfigObj.Global.BotKey
		
		// 這里直接利用了公司的一個訊息系統,如果貴公司沒有這樣的系統,就變通一下
		msgSender := msg.NewNiuBiMsg(chatKey, botKey)

		caps, err := TcpDump(sudo, timeout, eth, host, port)
		if err != nil {
			return
		}
		if caps > 0 {
			// 這里直接利用了公司的一個訊息系統,向企業IM發一條訊息
			msgSender.Send(fmt.Sprintf("tcpdump agent_ip:%v host:%v eth:%v port:%v, captured:%v",
				config.GlobalLocalConfig.LocalIP, host, eth, port, caps))
			bts, err := ioutil.ReadFile("/tmp/log.cap")
			if err != nil {
				return
			}
			b64Caps := base64.StdEncoding.EncodeToString(bts)
			// 把抓包的檔案通過這個訊息系統也發到企業IM中
			msgSender.File(fmt.Sprintf("pacs_%v.cap", config.GlobalLocalConfig.LocalIP), b64Caps)
		}
	}()
}

然后起一個http svr

func runHttp() {
	mux := http.NewServeMux()
	server :=
		http.Server{
			Addr:         fmt.Sprintf(":%d", 3527),
			Handler:      mux,
			ReadTimeout:  3 * time.Second,
			WriteTimeout: 5 * time.Second,
		}
	// 開始添加路由
	mux.HandleFunc("/tcpdump", tcpdumpsvc.TcpDumpHandler)
	logrus.Infof("run http:%v", 3527)
	logrus.Info(server.ListenAndServe())
}

到這一步,這個系統就基本完成了,使用這個命令就能呼叫介面,

curl --header "Content-Type: application/json" --request GET --data '{"sudo":false,"eth":"eth0","host":"100.xxx.xxx.10","port":0,"timeout":5}' http://0.0.0.0:3527/tcpdump

這個系統有幾個硬傷,

  1. 依賴了公司的訊息系統完成抓包資料回發的功能,假如各位大佬的公司沒有這樣的系統msgSender.Send,可行的方法有:
    1. scp到一個特定的檔案夾,
    2. 使用電子郵件,
    3. 和領導申請自己開發一套,你看,需求就來了,
  2. tcpdump可能會生成極大的抓包檔案,此時使用bts, err := ioutil.ReadFile("/tmp/log.cap"),可能會直接讓系統OOM,所以設定timeout和抓包的大小(比如在tcpdump命令中使用-c)是很重要的,換句話說,這個api不是公有的,別讓不了解的人去呼叫,

不過這都是小問題,現在用戶找上門來,我只需要啟動腳本,從服務發現api拉到所有的實體IP,然后依次呼叫tcpdump api,等待IM的反饋即可,又能快樂的摸魚啦,

轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/481136.html

標籤:Go

上一篇:如何按索引增加polars資料框列的值

下一篇:返回列表

標籤雲
其他(140652) Python(33618) JavaScript(21374) Java(15659) C(13900) 區塊鏈(8222) AI(7469) C#(6645) 基礎類(6313) 爪哇(6280) MySQL(6179) html(5731) 熊猫(5297) sql(5250) PHP(5167) 腳本語言(PerlPython)(5129) 非技術區(4971) Linux(4844) 数组(4776) R(4621) Android(4340) 反应(4289) 数据框(3706) css(3651) 节点.js(3372) C語言(3288) C++語言(3117) json(2810) Java相關(2746) 列表(2702) 疑難問題(2699) 扑(2605) 安卓(2601) VBA(2513) 打字稿(2497) 單片機工控(2479) 细绳(2183) ASP.NET(2129) iOS(2100) MongoDB(1985) Web開發(1951) 字典(1932) 麻木的(1909) 循环(1899) 正则表达式(1893) 擅长(1830) 镖(1823) 迅速(1795) 網絡通信(1793) 蟒蛇-3.x(1774) 數據庫相關(1767) VB基礎類(1755) .NETCore(1740) Unity3D(1689) 功能(1676) C++(1660) 開發(1646) .NET技术(1638) 系統維護與使用區(1617) HtmlCss(1594)

熱門瀏覽
  • 【C++】Microsoft C++、C 和匯編程式檔案

    ......

    uj5u.com 2020-09-10 00:57:23 more
  • 例外宣告

    相比于斷言適用于排除邏輯上不可能存在的狀態,例外通常是用于邏輯上可能發生的錯誤。 例外宣告 Item 1:當函式不可能拋出例外或不能接受拋出例外時,使用noexcept 理由 如果不打算拋出例外的話,程式就會認為無法處理這種錯誤,并且應當盡早終止,如此可以有效地阻止例外的傳播與擴散。 示例 //不可 ......

    uj5u.com 2020-09-10 00:57:27 more
  • Codeforces 1400E Clear the Multiset(貪心 + 分治)

    鏈接:https://codeforces.com/problemset/problem/1400/E 來源:Codeforces 思路:給你一個陣列,現在你可以進行兩種操作,操作1:將一段沒有 0 的區間進行減一的操作,操作2:將 i 位置上的元素歸零。最終問:將這個陣列的全部元素歸零后操作的最少 ......

    uj5u.com 2020-09-10 00:57:30 more
  • UVA11610 【Reverse Prime】

    本人看到此題沒有翻譯,就附帶了一個自己的翻譯版本 思考 這一題,它的第一個要求是找出所有 $7$ 位反向質數及其質因數的個數。 我們應該需要質數篩篩選1~$10^{7}$的所有數,這里就不慢慢介紹了。但是,重讀題,我們突然發現反向質數都是 $7$ 位,而將它反過來后的數字卻是 $6$ 位數,這就說明 ......

    uj5u.com 2020-09-10 00:57:36 more
  • 統計區間素數數量

    1 #pragma GCC optimize(2) 2 #include <bits/stdc++.h> 3 using namespace std; 4 bool isprime[1000000010]; 5 vector<int> prime; 6 inline int getlist(int ......

    uj5u.com 2020-09-10 00:57:47 more
  • C/C++編程筆記:C++中的 const 變數詳解,教你正確認識const用法

    1、C中的const 1、區域const變數存放在堆疊區中,會分配記憶體(也就是說可以通過地址間接修改變數的值)。測驗代碼如下: 運行結果: 2、全域const變數存放在只讀資料段(不能通過地址修改,會發生寫入錯誤), 默認為外部聯編,可以給其他源檔案使用(需要用extern關鍵字修飾) 運行結果: ......

    uj5u.com 2020-09-10 00:58:04 more
  • 【C++犯錯記錄】VS2019 MFC添加資源不懂如何修改資源宏ID

    1. 首先在資源視圖中,添加資源 2. 點擊新添加的資源,復制自動生成的ID 3. 在解決方案資源管理器中找到Resource.h檔案,編輯,使用整個專案搜索和替換的方式快速替換 宏宣告 4. Ctrl+Shift+F 全域搜索,點擊查找全部,然后逐個替換 5. 為什么使用搜索替換而不使用屬性視窗直 ......

    uj5u.com 2020-09-10 00:59:11 more
  • 【C++犯錯記錄】VS2019 MFC不懂的批量添加資源

    1. 打開資源頭檔案Resource.h,在其中預先定義好宏 ID(不清楚其實ID值應該設定多少,可以先新建一個相同的資源項,再在這個資源的ID值的基礎上遞增即可) 2. 在資源視圖中選中專案資源,按F7編輯資源檔案,按 ID 型別 相對路徑的形式添加 資源。(別忘了先把檔案拷貝到專案中的res檔案 ......

    uj5u.com 2020-09-10 01:00:19 more
  • C/C++編程筆記:關于C++的參考型別,專供新手入門使用

    今天要講的是C++中我最喜歡的一個用法——參考,也叫別名。 參考就是給一個變數名取一個變數名,方便我們間接地使用這個變數。我們可以給一個變數創建N個參考,這N + 1個變數共享了同一塊記憶體區域。(參考型別的變數會占用記憶體空間,占用的記憶體空間的大小和指標型別的大小是相同的。雖然參考是一個物件的別名,但 ......

    uj5u.com 2020-09-10 01:00:22 more
  • 【C/C++編程筆記】從頭開始學習C ++:初學者完整指南

    眾所周知,C ++的學習曲線陡峭,但是花時間學習這種語言將為您的職業帶來奇跡,并使您與其他開發人員區分開。您會更輕松地學習新語言,形成真正的解決問題的技能,并在編程的基礎上打下堅實的基礎。 C ++將幫助您養成良好的編程習慣(即清晰一致的編碼風格,在撰寫代碼時注釋代碼,并限制類內部的可見性),并且由 ......

    uj5u.com 2020-09-10 01:00:41 more
最新发布
  • go程式添加遠程呼叫tcpdump功能

    最近開發的telemetry采集系統上線了。聽起來高大上,簡單來說就是一個grpc/udp服務端,用戶的機器(路由器、交換機)將它們的各種統計資料上報采集、整理后交后端的各類AI分析系統分析。目前華為/思科的大部分設備支持。 上線之后,各類用戶開始找來要求幫忙定位問題,一般是上報的資料在后端系統中不 ......

    uj5u.com 2022-05-26 17:04:16 more
  • 如何按索引增加polars資料框列的值

    我有一個資料框如下┌────────────┬──────────┬──────────┬──────────┬──────────┐│ time...

    uj5u.com 2022-05-25 01:12:33 more
  • AttributeError:“求解器”物件在實作類求解器ODE中沒有屬性“方

    現在,除了我之前的兩篇ODE 實作的帖子之外,我還 嘗試重構我的代碼并修復一些問題。我決定,從邏輯上創建這樣的類:Solver, Problem.所以 ODE_Solver 和 FE 類的...

    uj5u.com 2022-05-25 01:11:38 more
  • 如何使用numpy向量化解決這個問題

    我有一個非常大的輸入 numpy 陣列和一個字典。字典規定了 numpy 陣列中的值應該更新為什么。我可以使用 for 回圈來做到這一點,但它非常耗時,我可以使用 nump...

    uj5u.com 2022-05-25 01:10:59 more
  • 內外印有什么區別

    我正在學習 MacBook M1 上 2.8.0 版本的 tensorflow。為了除錯資料集的 map 函式中的代碼,我想在我的函式中列印張量值。def function(i): print("in: ",...

    uj5u.com 2022-05-25 01:09:50 more
  • 在argsort之后匯總每列的排名

    我有一個 df 有幾個“屬性”和每個屬性的分數:df = pd.DataFrame(np.random.random_sample((5, 3)), columns=['speed', 'endurance', 'strength']) sp...

    uj5u.com 2022-05-25 01:07:53 more
  • 根據另一個列計算列的總和

    我的 df 看起來像這樣:value type12 x34 z54 x14 y我想創建一個新列df.sum,我想在其中對值 col 求和,但僅在type == x. 其余行應...

    uj5u.com 2022-05-25 01:06:31 more
  • 將選擇的整數值分配給除0和1以外的布林值中的True/False值

    是否可以將默認 1 和 0 以外的整數/浮點值分配給陣列中的布爾True和False ?據我所知,默認情況下, True轉換為 1,False轉換為 0。但是,當我嘗試從二維陣列 dtype=...

    uj5u.com 2022-05-25 01:05:48 more
  • 如何使用依賴類別庫專案對.NET6AWSLambda專案進行dockerize

    我在一個解決方案中有四個專案:App.Data- 類別庫App.Core- 類別庫App.LambdaOne- AWS Lambda 專案App.LambdaTwo- AWS Lambda 專案解決方案結構如下所示:解決...

    uj5u.com 2022-05-25 01:04:06 more
  • 如何修復gitlabdockernodiskspaceleft錯誤?

    我正在使用 GitLab ci 管道構建應用程式的 docker 映像,當 docker build 命令運行時,我收到此錯誤:Error processing tar file(exit status 1): write /usr/sr...

    uj5u.com 2022-05-25 01:02:58 more