我有一個腳本，用于對我的系統進行日常監控，該腳本基于從日志檔案中讀取來作業。我輸入的使用 讀取和決議日志檔案中的字串的命令sed如下：
lastline= `cat logs1/$file | sed '/.\{100\}/!d' | sed -n '$p'`
雖然這個命令效果很好，但是執行起來需要很長時間，我不得不降低它執行的時間復雜度。因此，無法減小檔案大小。您是否建議對此命令提供更好的解決方案或替代方案？
logfile 有 2-3 百萬行，它的資料是這樣的：
21/11/02 10:05:53.906 | OUT | OUT | [.0772230000340600720676E00000003406 100210055390 121676570608000000NOH1N1AFRN00AFRN136220211102100553254IRT1AFRN000100676 20211102000000029700000003581320000001463900070 1 1 120211102100553 H110B 0300000000 184 202111020000000041 184980011 1849800118480208316 0000000000000000001 184-IR98001 080210 20211102085506 LJA1TSEDRHAHUB220000001463900 0000000000000 0000000000000000000000000.]
21/11/02 10:05:55.607 | OUT | IN | [.000899.]
21/11/02 10:06:00.711 | OUT | IN | [.000899.]
21/11/02 10:06:05.714 | OUT | IN | [.000899.]
21/11/02 10:06:06.014 | OUT | OUT | [.0772230000340700720676E00000003407 100210060601 121676574028000000NOH1N1SARV00SARV136220211102100605261IRT1SARV000100676 20211102000000100400000000992620000007140000070 1 1 120211102100605 H110B 0300000000 120 202111020000002132 120980011 1209800112080208316 0000000000000000001 120-IR98001 20211102100448 LJA1TSEDRHFHUB220000007140000 0000000000000 0000000000000000000000000.]在某些行（如第 3、4、2 行）中，我們有不完整的資料。所以我們應該尋找具有完整資料的最后一行。沒有固定的規則可以用來確定存在完整資料的確切行數。第 1000 行之前可能沒有完整的資料，并且不會回傳正確的輸出。（這就是為什么tail不起作用）
PS部分代碼可以在這個鏈接中看到：這里
uj5u.com熱心網友回復：
這可能對您有用（GNU tac 和 sed）：
tac file | sed -E '/.{100}/!d;q'
向后閱讀檔案，在 100 個或更多字符的第一行退出。
uj5u.com熱心網友回復：
隨著sed在一個單一的呼叫：
lastline=$(sed -n '/^.\{100\}/h;${g;p}' "logs1/$file")
包含至少 100 個字符的每一行都被復制到保留空間。在日志檔案的末尾，我們將保留空間復制到模式空間并列印模式空間。
如果這還不夠快，您可能需要使用除sed.
uj5u.com熱心網友回復：
嘗試這個：
lastline=$(awk '(length>=100) {last=$0}; END {print last}' "logs1/$file")
說明：awk可以自己完成所有這些，只需查看每一行一次。它只是在last變數中記錄最新的 100 個或更多字符的行，并在最后列印它。它還直接從檔案中讀取，避免了cat.
我不確定這是否會更快或更快；這可能取決于awk您碰巧擁有的版本。但原則上它應該更快，因為它在通過檔案時在每一行上做的作業更少。
如果你真的希望它很快，我認為你需要撰寫一個像 C 程式一樣的東西，它在檔案結束之前尋找一個方法——可能是幾千個位元組——并在其中尋找一個長行檔案的最后一部分。如果沒有找到，請進一步尋找方法，然后再試一次。
uj5u.com熱心網友回復：
我們應該尋找具有完整資料的最后一行
撰寫一個程式，打開一個檔案，搜索到最后，從檔案后面讀取行（通過在檔案中向后搜索換行符），然后檢查該行是否“完整”，如果是，則輸出行并終止程式。
sed無法從最后讀取檔案。在管道中將命令粘合在一起會導致左側的命令會過度讀取檔案并將資料推送到管道，這將導致大量不必要的 I/O。
uj5u.com熱心網友回復：
解決方案：
列印包含至少 100 個字符的最后一行：
grep '.\{100\}' | tail -n 1
也可以用一個sed：
sed -ne '/.\{100\}/h' -e '${x;p}'
但grep通常會比sed. 特別是如果使用 GNU grep。不過，這實際上取決于grep實作。
這些粗略的基準可以說明這一點：
GNU：
$ time grep '.\{100\}' /tmp/rand-lines | tail $ -n 1 >/dev/null
real 0m0.278s
user 0m0.345s
sys 0m0.000s
$ time sed -ne '/.\{100\}/h' -e '${x;p}' /tmp/rand-lines >/dev/null
real 0m0.818s
user 0m0.811s
sys 0m0.000s
通過grep管道傳輸的GNUtail -n 1比 GNU 快得多sed。
忙箱：
$ time busybox grep '.\{100\}' /tmp/rand-lines | tail -n 1 >/dev/null
real 0m10.340s
user 0m10.413s
sys 0m0.000s
$ time busybox sed -ne '/.\{100\}/h' -e '${x;p}' /tmp/rand-lines >/dev/null
real 0m10.588s
user 0m10.583s
sys 0m0.000s
在具有更簡單grep實作的Busybox 上，grep仍然獲勝，但差異更小。
測驗檔案是 20,000 行隨機字符（可列印的 ASCII 空格），其中包含至少 100 個字符的 7058 行：
$ wc -l /tmp/rand-lines
20000 /tmp/rand-lines
$ grep -c '.\{100\}' /tmp/rand-lines
7058
$ head -n 1 /tmp/rand-lines
zJ_u)k_# K!-ZjR#x2{?>Xw3%xOx|):L^SV|=z&fEUJgn;oO9@[Wq[8I^UniwZ0q&CpL,n7]NI^WK7ke{t).=LFHXyI'Z$Dn!g ^ _,Hq<3X*f=>fm8=qYyh!WQUMo_,GLDPPy*N^.(G0!$; O9WcsSY
編輯：我更新了第一個sed基準。我以為我sed在那個系統上有 GNU ，但它兩次都在運行 busybox。我用 GNU sed（在同一系統上）重新做了它。grep和之間的區別sed仍然很顯著，但沒有我最初寫的那么顯著。
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/348055.html
上一篇：使用bash-c逐行決議
下一篇：遞回參考