在Ubuntu上安裝Hadoop、Sqoop、Zookeeper、Spark、Java、Apache、Pig、Hive、Flume、Kafka、Mysql等包的順序是什么？
uj5u.com熱心網友回復：
從這個https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-20-04或https://phoenixnap.com/kb開始/安裝-hadoop-ubuntu
忘記 PIG，Flume，不再相關。
Zookeeper 如果運行 Hadoop 集群。
然后是 Spark，然后是 Kafka。mysql。但是在這條線上的訂單并不那么相關。
uj5u.com熱心網友回復：
你提到的一切，減去 mysql，都需要 Java，所以從那里開始。
對于 HDFS 或 Kafka 的高可用性，您需要 Zookeeper。Zookeeper 沒有依賴項，所以這是下一個。（生產集群最少需要 3 臺服務器）
接下來可以設定 Kafka，因為它沒有其他依賴項。（另外 3 臺服務器用于高可用性）
Hive 需要一個元存盤，例如 Mysql，因此您需要設定 Mysql 并在其上運行 Hive 元存盤模式查詢。（至少2臺服務器用于讀寫mysql復制）
HDFS 可以是下一個——用于高可用性的多個名稱節點、資料節點和 YARN。（7 個服務器用于 2 個名稱節點、2 個資源管理器和 3 個資料節點 節點管理器）
Hive 可以選擇使用 HDFS，假設您想使用它，那么接下來就是它了，您可以在 HDFS 名稱節點上為 Zookeeper 配置高可用性。Presto 或 Spark 是比 Hive 更快的選項，并且也會使用元存盤。（2 個 HiveServer 以實作高可用性）
使用 YARN、HDFS 和 Hive，您可以設定 Spark。
Flume 將是下一個，但前提是您確實需要它。否則，可以將代碼配置為直接寫入 Kafka。
Sqoop 是一個退役的 Apache 專案，可以使用 Spark 代替。豬也一樣。
總的來說，一個帶有 Kafka 和 MySQL 的最小生產就緒 Hadoop 集群至少需要 17 臺服務器。如果您添加負載平衡器和 LDAP/Active Directory，則添加更多。
uj5u.com熱心網友回復：
只需在 Ubuntu 上安裝 CDH (Cloudera) 或 Ambari 即可安裝您提到的所有 Hadoop 生態系統模塊，然后分別安裝 MySQL 和 Kafka 以使用。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/490036.html