我有一個啟動 spark worker 的 java 應用程式:
Worker.startRpcEnvAndEndpoint(args.host(), args.port(), args.webUiPort(), args.cores(), args.memory(), args.masters(), args.workDir(), scala.Option.empty(), conf);
(見https://books.japila.pl/spark-standalone-internals/Worker/#externalshuffleservice)
我現在想設定一個 IP 訪問過濾器,以便我有一個可以訪問此服務的 IP 地址的硬編碼串列。
有沒有辦法配置上面的Java程式來提供這樣的IP訪問過濾器?
uj5u.com熱心網友回復:
我不知道 Spark 內部網路,但從服務器系結地址的角度來看,您能做的最好的事情就是隔離特定介面/子網上的系結地址 - 這將從您的args.host()
如果您想限制該子網中的特定 IP,則需要使用作業系統防火墻,也許也可以從代碼中管理它,但不需要使用 Spark 庫。
然后進一步限制某些客戶端,而不是機器,您可以向某些機器或用戶提供證書,或者以其他方式將 IP 地址編碼到某些身份驗證協議中,然后為 Spark 強制執行 ACL 策略。也許您也可以為此使用 Kerberos
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/441151.html
