我在 StackOverflow 上找到了一些答案,但沒有一個完全符合我的需要。
我正在撰寫一個 Ruby 腳本來通過特定鍵在大型 CSV 檔案中查找行(每個檔案約 500MB 和 1M 記錄)。
該grep命令需要 15-30 分鐘才能在 1 個檔案中找到匹配項。
我有 400 多個檔案,每天必須運行幾十次搜索。
我需要一個簡單、靈活且經濟實惠的解決方案來搜索檔案。
- 我不想將 CSV 上傳到強大的資料庫引擎。
- 我不想為 Elastic-Search 之類的服務付費。
- 我需要以最小的努力定期適應不同的列配置和不同的鍵。
- 我需要對檔案的只讀訪問權限。不需要修改和洗掉。因此,索引只構建一次,不需要進一步修改。
uj5u.com熱心網友回復:
我終于花了 1 天的時間開發了這個解決方案:CSV-Indexer。
CSV-Indexer 不如 Lucene 健壯,但它簡單且具有成本效益。可以索引具有數百萬行的檔案并在幾秒鐘內找到特定的行。
在此處查找完整的檔案和示例:
https://github.com/leandrosardi/csv-indexer
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/537902.html
