主頁 > 資料庫 > 【秋招面試必備】第一彈——Linux工具

【秋招面試必備】第一彈——Linux工具

2020-10-04 10:50:48 資料庫

Linux工具

Linux下還是有很多超棒的開發工具的,

在Linux日常使用中,最常用的命令自然是sudo, ls, cp, mv, cat等,但作為后臺開發者,上述命令遠遠不夠,從我的理解來看,合格的C/C++開發者至少需要從開發及除錯工具、檔案處理、性能分析、網路工具四個方面針對性使用一些開發工具,這里我羅列了一些,大部分都是開發中經常需要使用的命令,有些功能比較簡單的命令我會給出一些基本用法,有些本身自帶體系(比如vim, gdb等)的命令只能附上鏈接了,

開發及除錯工具介紹了從“編輯 -> 編譯 -> 分析目標檔案 -> 追蹤呼叫程序”的全套命令,檔案處理部分介紹了查找、統計、替換等基本文本操作命令,性能分析介紹了查看行程資訊、CPU負載、I/O負載、記憶體使用情況等基本命令,網路工具介紹了可以查看“鏈路層 -> 網路層 -> 傳輸層 -> 應用層”資訊的工具,除此以外,其他命令中也列出了開發者經常會用到的一些命令,基本可以滿足日常開發需要,


目錄

Chapter 1Chapter 2Chapter 3Chapter 4Chapter 5
開發及除錯檔案處理性能分析網路工具其他
  • 開發及除錯

    • 編輯器:vim
    • 編譯器:gcc/g++
    • 除錯工具:gdb
    • 查看依賴庫:ldd
    • 二進制檔案分析:objdump
    • ELF檔案格式分析:readelf
    • 跟蹤行程中系統呼叫:strace
    • 跟蹤行程堆疊:pstack
    • 行程記憶體映射:pmap
  • 檔案處理

    • 檔案查找:find
    • 文本搜索:grep
    • 排序:sort
    • 轉換:tr
    • 按列切分文本:cut
    • 按列拼接文本:paste
    • 統計行和字符:wc
    • 文本替換:sed
    • 資料流處理:awk
  • 性能分析

    • 行程查詢:ps
    • 行程監控:top
    • 打開檔案查詢:lsof
    • 記憶體使用量:free
    • 監控性能指標:sar
  • 網路工具

    • 網卡配置:ifconfig
    • 查看當前網路連接:netstat
    • 查看路由表:route
    • 檢查網路連通性:ping
    • 轉發路徑:traceroute
    • 網路Debug分析:nc
    • 命令列抓包:tcpdump
    • 域名決議工具:dig
    • 網路請求:curl
  • 其他

    • 終止行程:kill
    • 修改檔案權限:chmod
    • 創建鏈接:ln
    • 顯示檔案尾:tail
    • 版本控制:git
    • 設定別名:alias

內容

開發及除錯

開發工具大部分都提供了完善的功能,所以這里不一一列舉用法,從技術層面來說,除錯工具比開發工具更考驗一個人的工程能力,

  1. 編輯器:vim

    • 服務器端開發必知必會,功能強大,這里不一一列舉,但基本的打開檔案、保存退出要會,
    • 詳見
  2. 編譯器:gcc/g++

    • C/C++編譯器,必知必會,除此以外需要了解預處理-> 編譯 -> 匯編 -> 鏈接等一系列流程,
    • 詳見
  3. 除錯工具:gdb

    • 服務器端除錯必備,
    • 詳見
  4. 查看依賴庫:ldd

    • 程式依賴庫查詢
    # ldd后接可執行檔案
    # 第一列為程式依賴什么庫,第二列為系統提供的與程式需要的庫所對應的庫,第三列為庫加載的開始地址
    # 前兩列可以判斷系統提供的庫和需要的庫是否匹配,第三列可以知道當前庫在行程地址空間中對應的開始位置
    
    ldd a.out
    
  5. 二進制檔案分析:objdump

    • 反匯編,需要理解匯編語言
    • 詳見
  6. ELF檔案格式分析:readelf

    • 可以得到ELF檔案各段內容,分析鏈接、符號表等需要用到
    • 詳見
  7. 跟蹤行程中系統呼叫:strace

    • 詳見
  8. 跟蹤行程堆疊:pstack

    • 詳見
  9. 行程記憶體映射:pmap

    • 顯示行程記憶體映射
    # -x顯示擴展資訊,后接行程pid
    # Address: 記憶體開始地址
    # 顯示資訊:
        Kbytes: 占用記憶體的位元組數
        RSS: 保留記憶體的位元組數
        Dirty: 臟頁的位元組數(包括共享和私有的)
        Mode: 記憶體的權限:read、write、execute、shared、private
        Mapping: 占用記憶體的檔案、或[anon](分配的記憶體)、或[stack](堆疊)
        Device: 設備名 (major:minor)
    
    pmap -x 12345
    

檔案處理

Everything is file. 在Linux環境下,對文本處理相當頻繁,所以有些命令的引數還是需要記憶的,另外其他很多命令的輸出資訊都需要通過檔案處理命令來篩選有用資訊,

  1. 檔案查找:find

    按名查找:

    - 查找具體檔案(一般方式)

    find . -name *.cpp
    

    - 查找具體檔案(正則方式)

    # -regex為正則查找,-iregex為忽略大小寫的正則查找 
    
    find -regex ".*.cpp$"
    

    定制查找:
    - 按型別查找

    # f(file)為檔案,d(dictionary)為目錄,l(link)為鏈接
    
    find . -type f
    

    - 按時間查找

    # atime為訪問時間,x天內加引數"-atime -x",超過x天加"-atime -x"
    # mtime為修改時間
    
    find . -type f -atime -7
    

    - 按大小查找

    # -size后接檔案大小,單位可以為k(kb),m(MB),g(GB)
    
    find . -type f -size -1k
    

    - 按權限查詢

    # -perm后接權限
    
    find . -type -perm 644
    
  2. 文本搜索:grep
    - 模式匹配

    # 匹配test.cpp檔案中含有"iostream"串的內容
    
    grep "iostream" test.cpp  
    

    - 多個模式匹配

    # 匹配test.cpp檔案中含有"iostream"和"using"串的內容
    
    grep -e "using" -e "iostream" test.cpp  
    

    - 輸出資訊

    # -n為列印匹配的行號;-i搜索時忽略大小寫;-c統計包含文本次數
    
    grep -n "iostream" test.cpp  
    
  3. 排序:sort
    - 檔案內容行排序

    # 排序在記憶體進行,不改變檔案
    # -n(number)表示按數字排序,-d(dictionary)表示按字典序
    # -k N表示按各行第N列進行排序
    # -r(reverse)為逆序排序
    
    sort -n -k 1 test
    
  4. 轉換:tr
    - 字符替換

    # 轉換在記憶體進行,不改變檔案
    # 將打開檔案中所有目標字符替換
    
    cat test | tr '1' '2'
    

    - 字符洗掉

    # 轉換在記憶體進行,不改變檔案
    # -d洗掉(delete)
    
    cat test | tr -d '1'
    

    - 字符壓縮

    # 轉換在記憶體進行,不改變檔案
    # -s位于后部
    
    cat test | tr ' ' -s
    
  5. 按列切分文本:cut
    - 截取特定列

    # 截取的記憶體進行,不改變檔案
    # -b(byte)以位元組為單位,-c(character)以字符為單位,-f以欄位為單位
    # 數字為具體列范圍
    
    cut -f 1,2 test
    

    - 指定界定符

    # 截取的記憶體進行,不改變檔案
    # -d后接界定符
    
    cut -f 2 -d ',' new
    
  6. 按列拼接文本:paste
    - 按列拼接

    # 在記憶體中拼接,不改變檔案
    # 將兩個檔案按對應列拼接
    # 最后加上-d "x"會將x作為指定分隔符(paste test1 test2 -d ",")
    # 兩檔案列數可以不同 
    
    paste test1 test2
    

    - 指定界定符拼接

    # 在記憶體中拼接,不改變檔案
    # 按照-d之后給出的界定符拼接
    
    paste test1 test2 -d ","
    
  7. 統計行和字符:wc
    - 基本統計

    # -l統計行數(line),-w統計單詞數(word),-c統計字符數(character)
    
    wc -l test
    
  8. 文本替換:sed

    • 區別于上面的命令,sed是可以直接改變被編輯檔案內容的,
    • 詳見
  9. 資料流處理:awk

    • 區別于上面的命令,awk是可以直接改變被編輯檔案內容的,
    • 詳見

系統資訊

性能監視工具對于程式員的作用就像是聽診器對于醫生的作用一樣,系統資訊主要針對于服務器性能較低時的排查作業,主要包括CPU資訊,檔案I/O和記憶體使用情況,通過行程為紐帶得到系統運行的瓶頸,

  1. 行程查詢:ps

    • 查看正在運行行程
    # 常結合grep篩選資訊(e.g, ps -ef | grep xxx)
    
    ps -ef
    
    • 以完整格式顯示所有行程
    # 常結合grep篩選資訊
    
    ps -ajx
    
  2. 行程監控:top

    • 顯示實時行程資訊
    # 這是個大招,都不帶引數的,具體資訊通過grep篩選
    # 互動模式下鍵入M行程串列按記憶體使用大小降序排列,鍵入P行程串列按CPU使用大小降序排列
    # %id表示CPU空閑率,過低表示可能存在CPU存在瓶頸
    # %wa表示等待I/O的CPU時間百分比,過高則I/O存在瓶頸 > 用iostat進一步分析
    
    top
    
  3. 打開檔案查詢:lsof

    • 查看占用某埠的行程
    # 最常見的就是mysql埠被占用使用(lsof i:3307)
    # 周知埠(ftp:20/21, ssh:22, telnet:23, smtp:25, dns:53, http:80, pop3:110, https:443)
    
    lsof -i:53
    
    • 查看某用戶打開的檔案
    # -u(user)為用戶,后接用戶名
    
    lsof -u inx
    
    • 查看指定行程打開的檔案
    # -p(process)為行程,后接行程PID
    
    lsof -p 12345
    
    • 查看指定目錄下被行程打開的檔案
    # 這里是"+d",需要注意,使用"+D"遞回目錄
    
    lsof +d /test
    
  4. 記憶體使用量:free

    • 記憶體使用量
    # 可獲得記憶體及交換區的總量,已使用量,空閑量等資訊
    
    free
    
  5. 監控性能指標:sar

    監控CPU

    • 監控CPU負載
    # 加上-q可以查看運行佇列中行程數,系統上行程大小,平均負載等
    # 這里"1"表示采樣時間間隔是1秒,這里"2"表示采樣次數為2
    
    sar -q 1 2
    
    • 監控CPU使用率
    # 可以顯示CPU使用情況
    # 引數意義同上
    
    sar -u 1 2
    

    監控記憶體

    • 查詢記憶體
    # 可以顯示記憶體使用情況
    # 引數意義同上 
    
    sar -r 1 2
    
    • 頁面交換查詢
    # 可以查看是否發生大量頁面交換,吞吐率大幅下降時可用
    # 引數意義同上
    
    sar -W 1 2
    

網路工具

網路工具部分只介紹基本功能,引數部分一筆帶過,這部分重點不在于工具的使用而是對反饋的資料進行解讀,并且這部分命令功能的重合度還是比較高的,

  1. 網卡配置(鏈路層):ifconfig

    • 顯示設備資訊
    # 可以顯示已激活的網路設備資訊
    
    ifconfig
    
    • 啟動關閉指定網卡
    # 前一個引數為具體網卡,后一個為開關資訊
    # up為打開,down為關閉
    
    ifconfig eth0 up
    
    • 配置IP地址
    # 前一個引數為具體網卡,后一個為配置的IP地址
    
    ifconfig eth0 192.168.1.1
    
    • 設定最大傳輸單元
    前一個引數為具體網卡,后面為MTU的大小
    # 設定鏈路層MTU值,通常為1500
    
    ifconfig eth0 mtu 1500
    
    • 啟用和關閉ARP協議
    # 開啟arp如下,若關閉則-arp
    
    ifconfig eth0 arp
    
  2. 查看當前網路連接(鏈路層/網路層/傳輸層):netstat

    • 網路介面資訊
    # 顯示網卡資訊,可結合ifconfig學習
    
    netstat -i
    
    • 列出埠
    # -a(all)表示所有埠,-t(tcp)表示所有使用中的TCP埠
    # -l(listening)表示正在監聽的埠
    
    netstat -at
    
    • 顯示埠統計資訊
    # -s(status)顯示各協議資訊
    # -加上-t(tcp)顯示tcp協議資訊,加上-u(udp)顯示udp協議資訊
    
    netstat -s
    
    • 顯示使用某協議的應用名
    # -p(progress)表示程式,可以顯示使用tcp/udp協議的應用的名稱
    
    netstat -pt
    
    • 查找指定行程、埠
    # 互逆操作第一個顯示某程式使用的埠號,第二個顯示某埠號的使用行程
    # 第二個操作可以用lsof替代
    
    netstat -ap | grep ssh
    netstat -an | grep ':80'
    
  3. 查看路由表(網路層IP協議):route

    • 查看路由資訊
    # 得到路由表資訊,具體分析路由表作業需要網路知識
    # 可以通過netstat -r(route)得到同樣的路由表
    
    route
    
  4. 檢查網路連通性(網路層ICMP協議):ping

    • 檢查是否連通
    # 主要功能是檢測網路連通性
    # 可以額外得到網站的ip地址和連接最大/最小/平均耗時,
    
    ping baidu.com
    
  5. 轉發路徑(網路層ICMP協議):traceroute

    • 檔案包途徑的IP
    # 
    # 可以列印從沿途經過的路由器IP地址
    
    traceroute baidu.com
    
  6. 網路Debug分析(網路層/傳輸層):nc

    • 埠掃描
    # 黑客很喜歡
    # 掃描某服務器埠使用情況
    # -v(view)顯示指令執行程序,-w(wait)設定超時時長
    # -z使用輸入輸出模式(只在埠掃描時使用)
    # 數字為掃描的埠范圍 
    
    nc -v -w 1 baidu.com  -z 75-1000
    
    • 其他詳見
  7. 命令列抓包(網路層/傳輸層):tcpdump

    • 抓包利器,沒有什么比資料更值得信賴,可以跟蹤整個傳輸程序,
    • 詳見
  8. 域名決議工具(應用層DNS協議):dig

    # 應用層,DNS
    # 列印域名決議結果
    # 列印域名決議程序中涉及的各級DNS服務器地址
    
    dig baidu.com
    
  9. 網路請求(應用層):curl

    • 詳見

其他

這里都是日常開發中高頻命令,

  1. 終止行程:kill

    • 殺死具體行程
    # 加具體行程PID
    
    kill 12345
    
    • 殺死某行程相關行程
    # 加上"-9"殺死某行程相關行程
    
    kill -9 12345
    
  2. 修改檔案權限:chmod

    • 更改檔案權限
    # 可以對三種使用者設定權限,u(user, owner),g(group),o(other)
    # 檔案可以有三種權限,r(read),w(write),x(execute)
    # 這里u+r表示檔案所有者在原有基礎上增加檔案讀取權限
    # 這里777分別對應,u=7,g=7,o=7,具體數字含義自行google
    
    chmod u+r file
    chmod 777 file
    
  3. 創建鏈接:ln

    • 創建硬鏈接
    # 檔案inode中鏈接數會增加,只有鏈接數減為0時檔案才真正被洗掉
    
    ln file1 file2
    
    • 創建軟(符號鏈接)鏈接
    # -s(symbol)為符號鏈接,僅僅是參考路徑
    # 相比于硬鏈接最大特點是可以跨檔案系統
    # 類似于Windows創建快捷方式,實際檔案洗掉則鏈接失效
    
    ln -s file1 file2
    
  4. 顯示檔案尾:tail

    • 查看檔案尾部
    # -f引數可以不立即回傳結束信號,當檔案有新寫入資料時會及時更新
    # 查看日志時常用
    
    tail -f test
    
  5. 版本控制:git

    • 版本控制最好用的軟體,沒有之一,至少要知道"git init",“git add”,“git commit”,“git pull”,"git push"幾個命令,
    • 詳見
  6. 設定別名:alias

    • 常用命令添加別名
    # ".bashrc"檔案中配置常用命令別名,生效后在命令列只需要使用別名即可代替原先很長的命令
    
    alias rm='rm -i'
    

實戰

假設已經通過vim編輯,gcc編譯得到可執行檔案server,這時就可以使用一些開發者常用的工具來進行后期除錯,這里都是給出最簡單的用法,意在快速掌握一些基本開發工具,

先clone這個專案,然后使用src_code下代碼編譯通過后通過下面命令除錯,代碼

  1. 單步除錯:gdb

    • 運行得不到正確結果可以通過gdb設定斷點來查看每個中間變數值,以此來確定哪里出了問題,因為gdb除錯內容較多,這里不詳細說明,另外,gdb出了可以單步查看變數值,還可以分析coredump檔案來排查錯誤,
  2. 動態庫依賴:ldd

    • 命令:ldd ./server

    • 可以查看可執行檔案server所需的所有動態庫,動態庫所在目錄及其被映射到的虛擬地址空間,

  3. 性能分析:top

    • top可以查看當前系統很多資訊,比如1,5,15分鐘內負載,運行、休眠、僵尸行程數,用戶、內核程式占CPU百分比,存盤資訊等,top可以定位具體哪個行程CPU占用率高和記憶體使用率高,我們可以以此定位性能問題出在什么程式上(比如你后臺執行TKeed server之后,可以看到CPU占用率為99%,這時候我們就需要從這個程式入手了),
  4. 系統呼叫:strace

    • 命令:strace ./server

    • 上面已經提到TKeed server的CPU占用率為99%,那么問題通常一定是出在了死回圈上,我們接下來在代碼中找到死回圈位置,因為程式中epoll_wait需要阻塞行程,我們懷疑是不是這里沒有阻塞,這時就可以通過上面的方式運行server程式,此時可以列印出沒次系統呼叫及其引數等,我們也可以加-o filename將系統呼叫資訊保存下來,

  5. 列印行程:ps

    • 命令:ps -ejH

    • 我們在命令列下打開的程式的父行程是shell程式,之前用strace打開server程式,strace也是server的父行程,我們有時候需要知道行程間的層級關系就需要列印行程樹,上面的ps命令可以做到,當出現僵尸行程時就可以通過行程樹定位具體是哪個行程出了問題,另外當想要知道行程pid時,ps -el | grep XXX也是很常用的,

  6. 打開檔案:lsof

    • lsof -i:3000

    • 比如在運行server時發現埠被占用了,可以通過lsof -i:port來查看對應埠號正在被哪個行程所占用,埠占用是非常常見的問題,比如3306被占用我遇到過好幾次,要么是某個程式正好占用了要么是之前沒能結束行程,這些都可以借助lsof幫助查看埠,

  7. 修改權限:chmod

    • chmod 000 ./index.html

    • 可以修改檔案權限,這里設為000,這樣任何人都無法訪問,重新在瀏覽器請求127.0.0.1:3000/index.html就會因為檔案權限不夠而無法展示,服務器回傳狀態碼為403,符合我們預期,修改權限后再請求一次可得到狀態碼200,

  8. 網卡資訊:ifconfig

    • ifconfig

    • 如果想看一下整個傳輸程序,可以使用tcpdump來抓包,但是抓包時引數需要加上網卡資訊,這時候可以通過ifconfig來獲得網卡資訊,

  9. 抓包分析:tcpdump

    • tcpdump -i eth0 port 3000

    序的父行程是shell程式,之前用strace打開server程式,strace也是server的父行程,我們有時候需要知道行程間的層級關系就需要列印行程樹,上面的ps命令可以做到,當出現僵尸行程時就可以通過行程樹定位具體是哪個行程出了問題,另外當想要知道行程pid時,ps -el | grep XXX也是很常用的,

  10. 打開檔案:lsof

    • lsof -i:3000

    • 比如在運行server時發現埠被占用了,可以通過lsof -i:port來查看對應埠號正在被哪個行程所占用,埠占用是非常常見的問題,比如3306被占用我遇到過好幾次,要么是某個程式正好占用了要么是之前沒能結束行程,這些都可以借助lsof幫助查看埠,

  11. 修改權限:chmod

    • chmod 000 ./index.html

    • 可以修改檔案權限,這里設為000,這樣任何人都無法訪問,重新在瀏覽器請求127.0.0.1:3000/index.html就會因為檔案權限不夠而無法展示,服務器回傳狀態碼為403,符合我們預期,修改權限后再請求一次可得到狀態碼200,

  12. 網卡資訊:ifconfig

    • ifconfig

    • 如果想看一下整個傳輸程序,可以使用tcpdump來抓包,但是抓包時引數需要加上網卡資訊,這時候可以通過ifconfig來獲得網卡資訊,

  13. 抓包分析:tcpdump

    • tcpdump -i eth0 port 3000

    • 可以用tcpdump來抓包分析三次握手及資料傳輸程序,-i之后加上上一步得到的網卡地址,port可以指定監聽的埠號,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/154158.html

標籤:其他

上一篇:在centos7中搭建FTP服務器

下一篇:**Linux 配置系統網路(靜態)**

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more