我這邊有一個linux系統環境,上面有兩個超大目錄,例如A目錄和B目錄,底下分別有幾十萬個檔案,大小分別是100多G。
現在需要拷貝到其它目錄去,不能用剪切mv,需要保留原目錄。
目前是使用cp -pr /A /C進行拷貝,但是拷貝時間實在難于忍受;想過先壓縮再拷貝,但是速度還是太慢了。
請教各位,看看是否有好辦法能加快拷貝效率,多謝。
uj5u.com熱心網友回復:
如果不能用剪切,那就只能這樣來拷貝,無論是拷貝還是新建,估計都是這樣當然,你可以開多個視窗,開啟多個行程來進行拷貝,這樣并行的話,應該可以略微減少拷貝的時間
uj5u.com熱心網友回復:
多謝抽空交流,你這個方法對我不適用,linux系統的IO應該是固定的,多開行程和視窗并行搞的話,IO讀寫應該是不能加速的。uj5u.com熱心網友回復:
拷貝目錄下的檔案,我這邊想到耗時是兩個方面:
1、掃描目錄下的大量檔案耗時
2、然后就是真實拷貝檔案耗時
uj5u.com熱心網友回復:
我以前看過一篇文章說linux拷貝大量檔案時用cp拷貝太慢,還不如用 dd命令把整塊盤拷貝。uj5u.com熱心網友回復:
直接把目錄A和目錄B劃分成不通的mtd,直接拷貝硬碟uj5u.com熱心網友回復:
可以在拷貝的時候,使用性能工具看看是不是IO是瓶頸,或者是CPU,如果是IO的話那么就嘗試使用dd吧,如果是CPU,那應該可以多行程拷貝uj5u.com熱心網友回復:
瓶頸應該就在 cpu速度uj5u.com熱心網友回復:
瓶頸是你的硬碟uj5u.com熱心網友回復:
tar到記憶體,從記憶體解壓tar cf - | (cd 目標目錄 ; tar xf -)
uj5u.com熱心網友回復:
rsync -a /A /Cuj5u.com熱心網友回復:
別墨跡,老老實實用cp命令,沒有別的好辦法。這么多的檔案和檔案夾需要創建,必然是慢的。建議花幾百塊換個高級點的cpu吧,記憶體加大。轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/26115.html
標籤:系統維護與使用區
下一篇:pptp在ros上使用速度變慢
