我正在嘗試在資料清理后使用 jupyter 將資料從本地移動到 hdfs,我在執行此操作時發現了一些問題,并且資料不會移動到 hdfs(在 minikube k8s 中部署的 hdfs 和 jupyter)
這是 jupyter 中的代碼:
writer = pd.ExcelWriter("data.xlsx")
data.to_excel( excel_writer=writer)
writer.save("hdfs://hdfs-namenode-0.hdfs-namenode.default.svc.cluster.local/data")
錯誤是:
save() takes 1 positional argument but 2 were given
uj5u.com熱心網友回復:
這就是我解決問題的方法:
Client = InsecureClient('http://hdfs-namenode.default.svc.cluster.local:50070', user='hdfs')
data = pd.read_csv('name_of_file.csv')
with client.upload('path/name_of_file.csv' , 'name_of_file.csv', n_threads=1, temp_dir=None) as writer :
data.to_csv(writer)
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/511164.html
