任務:
使用mllib中ALS做一個推薦系統的評分估計作業
訓練資料約2w user , 60w item, 500w評分記錄
測驗資料約11w待測評分
遇到問題:
在使用測驗集進行測驗時 model.predicAll 回傳資料少于測驗條目
部分代碼如下(之前已完成訓練):
test_data = sc.textFile(".\data-new\\test")
tdata = test_data.map(lambda x: x.split("\t")[0:2]).map(lambda x:[int(x[0]), int(x[1])])
print(tdata.count())
# tgrade = model.predictAll(tdata).collect()
tgrade = model.predictAll(tdata)
print(tgrade.count())上段代碼輸出:
119010
117567
少了1443個評分,實在搞不懂為什么
我又將缺失的評分項挑出來再送進去測驗 回傳結果是空

如有指教感激不盡
uj5u.com熱心網友回復:
https://stackoverflow.com/questions/37379751/spark-als-predictall-returns-empty轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/53469.html
標籤:Spark
上一篇:新人求救啊
下一篇:docker中創建mysql問題
