公司現有400萬左右的資料，分為數量不等的表，每個表有幾十萬行，現在要將這些表拆分刪改成每個表1000行資料的excel表，匯入釘釘的三方crm上。如何能快速高效的完成？請高人指點一下。分數不夠，可微信支付。
uj5u.com熱心網友回復：
外人不知道資料怎么分類的，沒法幫你你也不能說，泄漏公司資料
Python可以讀取資料庫
通過limit控制讀取的數量
然后按照結構，寫入excl檔案即可
uj5u.com熱心網友回復：
還未用過python 是可以實作的戲吧？uj5u.com熱心網友回復：
肯定是可以實作的。但不知道你們的資料庫設計之前是怎么樣的，資料庫服務器有多少？是否支持讀寫分離，以及負載均衡等！要想快速高效的完成，那肯定要首先考慮資料庫查詢效率的問題：
比如避免使用select *的查詢陳述句，而應該select field1, field2,... 之類的查詢。
在硬體資源有限的情況下，可以考慮加入多執行緒的方式去處理！
關鍵是你要把業務進行科學合理的拆分！
uj5u.com熱心網友回復：
我有類似的作業， 是生成CSV , 導到 hadoop 。把表名生成一個文本檔案。 寫腳本逐個表匯出， 每1000萬行新建一個CSV 檔案。
最后變成 tbl_a_1.csv tbl_a_2.csv 。。。 這樣的檔案串列。
每天下班執行， 搞了10來天， 導了 3個T的資料。
uj5u.com熱心網友回復：
這資料量不大，pandas應該十幾行代碼的事情，幾分鐘拆完的excel應該就出來了uj5u.com熱心網友回復：
無服務器，現在資料在excel 表，就是要導到crm 軟體里統一管理uj5u.com熱心網友回復：
我這個沒那么多，大概4個G，手工導了幾天，效率太低了uj5u.com熱心網友回復：
這個沒用過，請教一下uj5u.com熱心網友回復：
以單個excel檔案為例
import pandas as pd
import os
filename = 'd:/my_files/abc.xlsx'
df = pd.read_excel(filename)
row_num = int(df.shape[0])
for i in range(0, row_num, 1000):
j = i + 1000 if i + 1000 < row_num else row_num
df[i:j].to_excel('d:/my_convert_files/%s-%s'%(int(i/1000), os.path.basename(filename)))
如果是一個目錄里有一組檔案
import pandas as pd
import os
def split_file(fullfilename):
df = pd.read_excel(fullfilename)
row_num = int(df.shape[0])
for i in range(0, row_num, 1000):
j = i + 1000 if i + 1000 < row_num else row_num
df[i:j].to_excel('d:/my_convert_files/%s-%s'%(int(i/1000), os.path.basename(filename)))
folder = 'd:/my_files'
files = os.listdir(folder)
for filename in files:
split_file(os.path.join(folder, filename))
不知道我的理解對不對
uj5u.com熱心網友回復：
用pandas去讀，然后拆分就好啦轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/16646.html
上一篇：bin格式轉hex格式