在函式內部，我有以下代碼加載 CSV，將其轉換為 JSON 并將轉換后的檔案上傳到 minio 存盤桶。
df = pd.read_csv('data.csv').to_json().encode("utf-8")
client.put_object(
"bucket",
"test.json",
data=BytesIO(df),
length=len(df),
content_type='application/csv'
)
是否可以遍歷資料并將資料拆分為 X json 檔案？我試過熊貓read_csv(..iterator=False, chunksize=x)，但到目前為止還沒有運氣。
uj5u.com熱心網友回復：
像這樣的東西可能對你有用。此處代碼將資料幀分成 1000 行的組，并將每個組寫入存盤桶中自己的 JSON 檔案。
df = pd.read_csv('data.csv')
X = 1000
groups = [g for _, g in df.groupby(df.index // X)]
for i, sub_df in enumerate(group):
data = sub_df.to_json().encode("utf-8")
client.put_object(
"bucket",
f"test_{i}.json",
data=BytesIO(data),
length=len(data),
content_type='application/csv'
)
```
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/444536.html