Hadoop集群搭建
一、集群基礎資訊
-
集群數量：3臺
-
MyNode01
-
系統：Centos7.6
-
記憶體：16GB
-
硬碟：1T
-
-
MyNode02
-
系統：Centos7.6
-
記憶體：12GB
-
硬碟：500GB
-
-
MyNode03
-
系統：Centos7.6
-
記憶體：12GB
-
硬碟：500GB
-
二、軟體包版本
-
系統
- CentOS-7-x86_64-DVD-1810.iso
-
CDH框架版本：5.14.2
-
Hadoop
-
hadoop-2.6.0-cdh5.14.2.tar.gz
-
jdk-8u141-linux-x64.tar.gz
-
zookeeper-3.4.5-cdh5.14.2.tar.gz
-
-
Hive
-
hive-1.1.0-cdh5.14.2.tar.gz
-
mysql-connector-java-5.1.38.jar
-
-
Hbase
-
hbase-1.2.0-cdh5.14.2.tar.gz
-
apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz
-
-
Flume
- flume-ng-1.6.0-cdh5.14.2.tar.gz
-
Sqoop
-
sqoop-1.4.6-cdh5.14.2.tar.gz
-
java-json.jar
-
mysql-connector-java-5.1.38.jar
-
-
Impala
-
Spark
-
scala-2.11.8.zip
-
spark-2.3.3-bin-hadoop2.7.tgz
-
-
Kafka
-
kafka_2.11-1.0.1.tgz
-
kafka-eagle-bin-1.2.3.tar.gz
-
-
Flink
- Flink-1.8.1-src.tgz
三、開發環境
-
作業系統：MacOS
-
開發工具：IDEA 2019
-
輔助工具：FinalShell 3.9
四、備注
-
白熊搞了三臺二手筆記本，然后將筆記本統一刷成Centos7.6的系統（原因：虛擬機不太好用），集群總記憶體40GB，總硬碟容量2T，后期不夠用的話，白熊再去搞幾臺～～
-
需要具體刷機步驟的鞋童，可以在留言區留言，人數超過了50人，白熊就會寫一篇文章詳細的介紹刷機程序，（若需要了解詳細的集群搭建程序，同樣也可以留言～）
-
白熊后面的大資料案例都會基于上面的集群環境進行實操，
-
文章命名解釋，列：A0-01.XXX
-
文章類別：A-Z
-
文章等級：0-10 （低-高）
-
文章名稱：01.XXX
-
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/300217.html
標籤：其他
上一篇：選擇代碼覆寫工具的 10 個標準