這邊有個任務,通過音頻來決議年齡和性別,這個程序中需要用到第三方動態庫(.so檔案),請教大神在spark中怎樣加載和使用第三方庫?
uj5u.com熱心網友回復:
spark的每個節點也是一個linux主機,.so檔案放到各個節點,工程通過java呼叫.so試試uj5u.com熱心網友回復:
這種方法太笨了,我想要的是通過spark代碼加載進來,然后發布到各個計算節點,就類似hadoop的DistributedCache.addFileToClassPath()函式。uj5u.com熱心網友回復:
我用的是python,pyspark.SparkContext 的 addFile(path)可以用來將檔案分發至各計算節點供呼叫(Add a file to be downloaded with this Spark job on every node),so庫呼叫沒有問題,我用過uj5u.com熱心網友回復:
請教樓主如何解決的uj5u.com熱心網友回復:
如何解決,http://blog.csdn.net/ddjj_1980/article/details/74940593
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/61421.html
標籤:Spark
