在使用行程池時,遇到了如下錯誤:
multiprocessing.pool.MaybeEncodingError: Error sending result: '<multiprocessing.pool.ExceptionWithTraceback object at 0x0000022149D84F98>'. Reason: 'TypeError("cannot serialize '_io.BufferedReader' object",)'
在stackoverflow搜索了一些答案,但是感覺和我這個情況不是很像
https://stackoverflow.com/questions/48761983/multiprocessing-pool-maybeencodingerror-error-sending-result-reason-typeerro
https://stackoverflow.com/questions/54736710/multiprocessing-pool-maybeencodingerror-typeerrorcannot-serialize-io-buffe?noredirect=1
這里資料集是論文的一些資訊,process_paper主要是針對作者論文資訊構建一些特征,以下是資料來源:
https://www.biendata.xyz/competition/chaindream_nd_task1/
def pre_process_pubs(pubs, save_path, pl):
papers = pl.starmap(process_paper, zip(pubs.values()))
paper_ids = list(pubs.keys())
pubs = dict(zip(paper_ids, papers))
json.dump(pubs, open(save_path, 'w'), indent=4)
if __name__ == '__main__':
pool = mlp.Pool(4)
# 訓練集
_, pub = load_original_train(0, 1)
pre_process_pubs(pub, './data/preprocess_pubs/cleaned_train_pubs.json', pool)
del pub
# 驗證集
pub = json.load(open('./data/OAG-v2-track1/valid/sna_valid_pub.json', 'r', encoding='utf-8'))
pre_process_pubs(pub, './data/preprocess_pubs/cleaned_test_pubs.json', pool)
del pub
pool.close()
第一次用行程池,現在完全不知道從哪里下手去找問題,希望有大佬能解答。
uj5u.com熱心網友回復:
自己來回答一波,這個是因為在代碼中指定百度翻譯對文本進行翻譯,但是有的翻譯URL太長了打不開。轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/44915.html
標籤:其他
上一篇:樹莓派官方相機拍攝照片出問題
