有一個TXT 檔案 一行一條資料 一共100多萬條吧
我的匯入方式是 。。。創建一個集合一次性拿到100萬條。。然后一條一條的查詢資料庫是否已經存在 不存在就插入。。
掛機了一個晚上 。就匯入了10萬條。。太慢了
求大神給點好的思路 要怎么才塊 我記得以前一個朋友做一個小說站 一天就采集了近百萬千萬條資料。。怎么實作插入那么快？
uj5u.com熱心網友回復：
0、我都沒試過大txt檔案一下讀取到記憶體中是什么情況，讀取就應該分段讀取；1、注意資料庫的commit方式，如果你就是獨占操作資料庫，可以把commit自動提交關了，沒必要insert一條就提交一次；
2、試試insert into table試試不要一條一條的提交，寫成 insert into table values(),(),()...
uj5u.com熱心網友回復：
如果論插入資料的話，用SqlBulkCopy很快，但是你需要做去重，我不知道你庫里資料量是多大，然后匯入資料頻率是多大，所以具體怎么做看情況來，我給2個思路思路1：100w條放記憶體里，一起用sqlbulkcopy批量插入，插入成功后，再去對已有的資料去重洗掉
思路2：100w條放記憶體里，把資料庫里資料讀出來，放記憶體比對，得到需要插入的資料，然后再批量插入
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/3697.html
標籤：ASP.NET
上一篇：在遍歷xml節點時遇到報錯InvalidOperationException: Operation is not valid due to the curren