作者:純潔的微笑
鏈接:https://zhuanlan.zhihu.com/p/32734357
來源:知乎
著作權歸作者所有,商業轉載請聯系作者獲得授權,非商業轉載請注明出處,
前一段時間,業務部門同事反饋在一次生產服務器升級之后,POS消費上傳小票業務偶現例外,上傳小票業務有重試機制,有些重試三次也不會成功,他們排查了一下沒有找到原因,希望架構部幫忙解決,
公司使用的是FastDFS來做的圖片服務器,生產使用了六臺服務器外加一個存盤,集群采用的是:2個tracker+4個storage,storage分為兩個group,使用獨立的nginx做檔案代理訪問,各軟體版本資訊如下:
- 作業系統:centos6.9
- FastDFS :5.05
- libfastcommon:1.0.36
- nginx :1.7.9
- fastdfs-nginx-module:1.16
為了盡可能的模擬生產,我在測驗環境1:1搭建了一套和生產一樣的FastDFS集群,當時也寫了搭建程序:FastDFS 集群 安裝 配置
從日志中找線索
業務部門同事反饋,在一次生產服務器升級之后,重新搭建了一套FastDFS集群,然后過了幾天就開始出現上傳小票偶爾失敗的問題,根據這些資訊的反饋,我懷疑是否是FastDFS搭建有問題?這個懷疑點差點把我帶到溝里去,
我拉取了FastDFS的日志,tracker服務器日志如下:
[2017-09-19 09:13:52] ERROR - file: tracker_nio.c, line: 306, client ip: 192.168.0.1, pkg length: 15150 > max pkg size: 8192
[2017-09-19 10:34:57] ERROR - file: tracker_nio.c, line: 306, client ip: 192.168.0.1, pkg length: 16843 > max pkg size: 8192
[2017-09-19 10:34:57] ERROR - file: tracker_nio.c, line: 306, client ip: 192.168.0.1, pkg length: 16843 > max pkg size: 8192
[2017-09-19 11:31:08] ERROR - file: tracker_nio.c, line: 306, client ip: 192.168.03, pkg length: 23955 > max pkg size: 8192
[2017-09-19 11:42:56] ERROR - file: tracker_nio.c, line: 306, client ip: 192.168.01, pkg length: 12284 > max pkg size: 8192
[2017-09-19 12:10:28] ERROR - file: tracker_service.c, line: 2452, cmd=103, client 