主頁 >  其他 > 破案了....| 文末送書

破案了....| 文末送書

2021-09-15 14:47:16 其他

直接跳到末尾:讀者福利 贈4本書籍!

🔥《Kafka運維管控平臺》🔥
??更強大的管控能力??
🎾更高效的問題定位能力🎾
🌅更便捷的集群運維能力🌅
🎼更專業的資源治理🎼
🌞更友好的運維生態🌞

有人報案

最近技術群里面有幾個同學碰到了 洗掉Topic的問題, 怎么樣也洗掉不掉,然后我協助排查之后,就做個記錄,寫篇文章,大家在碰到這型別的問題的時候應該怎么去排查
在這里插入圖片描述

收集線索

  1. not retrying deletion 例外
  2. 版本:kafka_2.11-2.0.0
  3. 洗掉前在執行重分配,但是失敗了,強制停止資料遷移,手動洗掉了節點/admin/reassign_partitions
  4. 再次重新洗掉提示例外Topic test is already marked for deletion
  5. 所有Broker均在線
  6. delete.topic.enable=true
  7. 檢查了每個Broker都沒有副本被洗掉,甚至也沒有被標記為--delete

調查線索

從我們收集到的線索來看,有兩個突破口

  1. not retrying deletion
  2. Topic test is already marked for deletion

我們先看,第2個突破口,打開kafka_2.11-2.0.0原始碼,全域搜索關鍵字is already marked for deletion
在這里插入圖片描述
這個表示,你已經標記了這個topic洗掉了, 在zk上寫入了節點/amin/delete_topics/{topicName}
上面收集線索時候我們知道是它重新執行洗掉的時候拋出的例外,說明zk節點已經寫入了,已經準備洗掉了;
這里沒有什么問題

問題在于為什么沒有執行洗掉呢
所以下一個突破口就在于

Not retrying deletion of topic ....

在這里插入圖片描述

通過原始碼我們可以看到,出現了這個例外表示的是:當前這個topic不符合重試洗掉的條件

怎么樣才符合重試洗掉條件?

在這里插入圖片描述

  1. 在洗掉佇列topicsToBeDeleted里面;這個佇列是從zk節點/amin/delete_topics獲取的資料
  2. 當前還未開始對該Topic進題洗掉; 判定條件是沒有副本處于開始洗掉的狀態「ReplicaDeletionStarted」(當然如果delete.topic.enable=false這條肯定滿足)
  3. 主題沒有被標記為不符合洗掉條件; 不符合洗掉條件的都保存在topicsIneligibleForDeletion

抽絲剝繭,接近真相

上面的3個條件,通過對方了解到

  1. /amin/delete_topics 節點下面有資料, 線索排除

  2. 讓對方查詢了Deletion started for replicas這個日志,日志表示的是哪些副本狀態變更成「開始洗掉」 ,日志有查詢到如下在這里插入圖片描述
    然后讓查詢Dead Replicas (%s) found for topic %s (這個表示的是哪些副本離線了) 也查詢到如下在這里插入圖片描述
    在這里插入圖片描述
    從日志,和原始碼我們可以得出,Not retrying deletion of topic 的原因是: 洗掉流程已經開始,但是存在離線的或不可用的副本 ,哪些副本例外,從上面的Dead Replicas (%s) found for topic %s 的日志可以得知, 既然知道了原因,那么解決方案:聚焦副本為何離線了,讓副本恢復正常就行了 不過這里我們還有再重點說一下第3種情況

  3. 前面2個說完了,接著說一下topicsIneligibleForDeletion到底是什么,什么情況下才會放到這里面來呢?

不符合Topic洗掉的條件是什么?

Controller初始化的時候判斷條件

kafka_2.11-2.0.0 沒有這個步驟

  1. 資料正在遷移中
    判斷資料是否在遷移中是通過判斷topic的是否存在要新增或者洗掉的副本, 查詢/brokers/topics/{topicName}節點中有沒有這兩個屬性值在這里插入圖片描述
    在這里插入圖片描述
  2. topic副本所在Broker有宕機導致的副本不在線
  3. 副本所在的資料目錄log.dirs存在脫機磁盤

運行中判斷條件

  1. 發起的StopReplica 請求回傳例外,加入不符合洗掉條件
  2. 洗掉的程序中,發現該Topic 有副本重分配的操作 則加入不符合洗掉條件
  3. 洗掉的程序,有副本下線了,則加入不符合洗掉條件
  4. 開始執行副本重分配的操作, 則加入不符合洗掉條件

結案

經過深入原始碼排查走訪,我們基本上確定了問題的根源

副本離線,導致的洗掉流程不能完成; 通過查詢日志,也鎖定了那些個嫌疑犯,好家伙還是團伙作案

在這里插入圖片描述

最后的解決方案也很粗暴,找到副本不正常的那幾臺Broker, 重啟 …之后副本瘋狂同步(其他一些topic資料同步);最終topic正常洗掉了

排查手冊

為了以后出現同樣類似的問題,我總結了一下問題的排查手段,給大家指明一條思路; 快速破案

  1. 確保 delete.topic.enable=true ;組態檔查詢
  2. 確保當前該topic沒有進行 「副本重分配」 , 查詢zk節點/admin/reassign_partitions的值是否有該topic、或者 節點/brokers/topics/{topicName}節點里面的屬性adding_replicasremoving_replicas有沒有值
  3. 確保所有副本所屬Broker均在線
  4. 確保副本均在線, (Broker在線并且log.dirs沒有脫機), 搜日志"Dead Replicas " 關鍵字查詢到哪些副本例外

解放方案
根據上面的排查順序,對應不同的解決方案;
如果正在進行 「副本重分配」 那么等待分配完成就可以正常洗掉了
如果是副本不在線,那么就去解決為啥不在線,該重啟就重啟

幕后黑手

這就完了嗎?

「log.dir為什么會脫機呢?」 「脫機跟資料遷移有關系嗎?」

在這里插入圖片描述
在這里插入圖片描述

根據以往的問題,好像資料遷移總是會伴隨著一些洗掉上的問題
導致資料目錄脫機的原因的最終BOSS是 「副本重分配」嗎?

留下懸念, 下期再見!


交個朋友,再贈4本,歡度每周五

從上周五開始決定送書到現在,已經送出去 「 7 」本書了, 有很多朋友說沒有搶到,為了回應大家的積極性,和感謝讀者朋友的支持,今天決定再次免費送 「 4 」本; 為此我特意自費從當當網買了 「 4 」 本 《海量資料處理與大資料技術實戰》 , 免費贈送 給大家 (側邊欄也有聯系方式)

參與方式:

  1. 給本文「 「一鍵三連」 支持博主
  2. 掃描下面二維碼后添加博主「v*x」
  3. 本周五我會在 「朋友圈」公布贈送方式
  4. 「如果條件允許,我會盡量每周五都送

這本書,從原理到實戰,在保證高并發、高可用、高可擴展性和高可維護性的基礎上,教你從零開始構建基于海量資料處理的離線批處理平臺和在線實時計算平臺等大資料系統;

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/300356.html

標籤:其他

上一篇:5-2 學習打卡(9.10)

下一篇:返回列表

標籤雲
其他(117374) Java(12752) Python(11473) C(7255) 區塊鏈(6951) JavaScript(6526) 基礎類(6313) AI(5933) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4106) MySQL(3897) Linux(3312) C語言(3288) C++語言(3117) Java相關(2746) 疑難問題(2699) 單片機工控(2479) Web開發(1951) 網絡通信(1793) 數據庫相關(1767) VB基礎類(1755) 開發(1646) 系統維護與使用區(1617) PHP(1580) 基礎和管理(1579) JavaEE(1566) .NETCore(1555) 專題技術討論區(1515) C++(1508) Windows客戶端使用(1484) HtmlCss(1446) ASP.NET(1381) Unity3D(1354) VCL組件開發及應用(1353) HTML(CSS)(1220) 其他技術討論專區(1200) WindowsServer(1191) 交換及路由技術(1149) 語言基礎算法系統設計(1133) WindowsSDKAPI(1124) .NET技术(1100) 界面(1083) JavaSE(1075) Qt(1045) 新手樂園(1016) VBA(993) 其他開發語言(947) 新技術前沿(898) HTML5(888) Go(885) 硬件設計(872) 區塊鏈技術(860) 網絡編程(857) 非技術版(846) 一般軟件使用(839) 網絡協議與配置(835) Eclipse(790) Spark(750) 下載資源懸賞專區(743)
熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 破案了....| 文末送書

    有人報案最近技術群里面有幾個同學碰到了 洗掉Topic的問題, 怎么樣也洗掉不掉,然后我協助排查之后,就做個記錄,寫篇文章,大家在碰到這型別的問題的時候應該怎么去排查收集線索報not retrying deletion 例外版本:kafka_2.11-2.0.0洗掉前在執行重分配,但是失敗了,強制停止資料遷移,手動洗掉了節點/admin/reassign_partitions再次重新洗掉提示例外Topic test is already marked for deletion所有Broke...

    uj5u.com 2021-09-15 14:47:16 more
  • 5-2 學習打卡(9.10)

    這次UI分組和網安分組都是競賽隊的幾個,并決定干點大事情,一個設計用到四門課,大家都很強,這次也許能做出點不一樣的東西。--9.101.Buu三題2.堆排序3.Cpp向下閱讀15頁...

    uj5u.com 2021-09-15 14:26:54 more
  • 【C語言游戲】玩轉掃雷&mdash;&mdash;簡單掃雷功能的實作!

    文章目錄前言一、掃雷的基本思路二、掃雷的基本實作思路三、代碼實作最后前言掃雷跟上一篇文章的三子棋一樣,是C語言基礎知識的綜合運用的實體,對于鞏固我們的基礎知識非常重要,同時掃雷作為C語言的一個小專案,鍛煉我們的編程思維,也是一個不可多得的實踐。提示:以下是本篇文章正文內容一、掃雷的基本思路1、用C語言實作簡單的掃雷,我們需要創建兩個陣列,一個陣列存放雷的資訊,另外一個陣列存放排雷后結果的資訊。2、在創建陣列時候,需要注意的是陣列需要大一圈,什么意思?舉個例子,比如說我們實作的是99....

    uj5u.com 2021-09-15 13:12:40 more
  • 用pygame來制作你心中的那個游戲~可以進你的收藏夾嗎

    用pygame來制作你心中的那個游戲~可以進你的收藏夾嗎第一章 pygame基礎使用操作第二章 pygame創建人物顯示pygame基礎使用操作用pygame來制作你心中的那個游戲~可以進你的收藏夾嗎pygame基礎使用操作一、死亡使者二、如何用pygame顯示視窗使用到的庫顯示視窗顯示事件三、代碼升級成面向物件面向物件的一些小思路總結pygame基礎使用操作有沒有人像我一樣學習編程就是為了去制作游戲,c++是游戲行業的主流發展,但是pygame卻有著語法簡單,邏輯簡單的原因,適合做2d...

    uj5u.com 2021-09-15 13:12:18 more
  • 【Unity3D日常開發】時間類Time和DateTime的使用

    推薦閱讀CSDN主頁GitHub開源地址Unity3D插件分享簡書地址我的個人博客QQ群:1040082875? 大家好,我是佛系工程師☆恬靜的小魔龍☆,不定時更新Unity開發技巧,覺得有用記得一鍵三連哦。一、前言凡是用到時間,日期的都免不了要用到時間類DateTime,那么DateTime類跟Time類又有啥區別呢。DateTime類的函式以及屬性怎么用呢。這一篇文章就將這些知識拿捏的明明白白。二、Time和DateTime的區別首先,來看一下Time和DateTime....

    uj5u.com 2021-09-15 13:11:52 more
  • 前綴和(區間和)

    介紹了一種叫做“前綴和”的陣列,通過對比的手段展示了它在離線多次區間和查詢的優化性。...

    uj5u.com 2021-09-15 13:11:35 more
  • 51nod3152 取數游戲

    3152 取數游戲有這樣一個取數游戲,給出個正整數(2 <= n <= 100000),在其中選出個數,使得他們的gcd(最大公約數)最大,求這個最大的gcd。輸入第一行一個整數n第二行n個正整數輸出一個一個數表示答案資料范圍10% 2 <= n <= 1030% 2 <= n <= 30060% 2 <= n <= 5000100% 2 <= n <= 100000輸入樣例輸入樣例1:66...

    uj5u.com 2021-09-15 13:11:27 more
  • Pico VR 在Unity里通過S/N號進行加密

    這個是判斷陳述句//判斷當前設備序列號是否在自定義的序列號當中。if (Pvr_UnitySDKAPI.PlatformSettings.UPvr_IsCurrentDeviceValid().Equals(Pvr_UnitySDKPlatformSetting.simulationType.Valid)) { //Debug.Log("進入下個場景"); } else...

    uj5u.com 2021-09-15 13:11:05 more
  • Windows 獲取 Ubuntu 虛擬機中的截圖

    其實,這個事情的起因很簡單。我就想在 Windows 主機中使用一些從 Ubuntu 虛擬機中截到的圖片。上網搜索,發現虛擬機的 Unity 模式是最簡單的方法。然而我安裝的是 Linux 客戶機,不支持 Unity 模式。條件允許的小伙伴,可以參照這個方法 進入Unity 模式喲(其實就是點下 Unity 就行)。Linux系統下 Ctrl + PrtSc 就可以將截取的整個螢屏的圖片保存在剪切板上,之后 Ctrl + V 就可以了。虛擬機怎么樣使用Unity模式Linux系統如何截圖.....

    uj5u.com 2021-09-15 13:10:41 more
  • 【Python】經典實作俄羅斯輪賭,你和你的小伙伴可以玩兒的解壓小游

    #俄羅斯輪賭這個經典小游戲相信各位也是很熟知的,那么今天就給大家帶來了俄羅斯輪賭,你和小伙伴在這時候就可以來玩一玩,解決一下無法言說的事情!!!詳情如下所示:import randomimport timegum=[] #模擬彈倉for i in range(6): gum.append(0) #模擬空槍pos=random.randint(0,5)gum[pos]=1print(gum)i=0people=['阿波羅','秦始皇']i=0for ....

    uj5u.com 2021-09-15 13:10:31 more