3、環境搭建-Linux上hadoop的全分布配置

安裝配置hadoop和jdk

配置/usr/local/src/hadoop/etc/hadoop/下的四個檔案

hdfs-site.xml

<configuration>
 <property>
  <!-- DFS的名稱節點在本地檔案系統位置 -->
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/src/hadoop/dfs/name</value>
 </property>
 <property>
  <!-- DFS資料節點在本地檔案系統位置 -->
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/src/hadoop/dfs/data</value>
 </property>
 <property>
  <!-- 預設的塊復制數量 -->
 <name>dfs.replication</name>
 <value>3</value>
 </property>
</configuration>

core-site.xml

<configuration>
 <property>
     <!-- 檔案系統主機和埠 -->
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.150.81:9000</value>
 </property>
 <property>
     <!-- 流檔案緩沖區大小 -->
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
 <property>、
     <!-- 臨時檔案夾 -->
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/local/src/hadoop/tmp</value>
 </property>
</configuration>

mapred-site.xml

<configuration>
 <property>
 <!-- 取值local、classic或yarn，如果不是yarn則不使用yarn集群來實作資源分配 -->
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
     <!-- 歷史服務器地址埠，通過其查詢已完成的Mapreduce作業 -->
 <name>mapreduce.jobhistory.address</name>
 <value>master:10020</value>
 </property>
 <property>
     <!-- 歷史服務器web應用訪問地址和埠 -->
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>master:19888</value>
 </property>
</configuration>

yarn-site.xml

<configuration>
 <property>
     <!-- RM提供給客戶端訪問的地址，客戶端通過其提交應用程式，殺死程式等 -->
 <name>yarn.resourcemanager.address</name>
 <value>master:8032</value>
 </property>
 <property>
     <!-- 定義歷史服務器地址埠，通過其查看已完成的Mapreduce作業 -->
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>master:8030</value>
 </property>
 <property>
     <!-- RM提供給NodeManager的地址，NM通過其向RM匯報心跳，領取任務等 -->
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>master:8031</value>
 </property>
 <property>
     <!-- RM提供給管理員的訪問地址，管理員通過其向RM發送管理員命令 -->
 <name>yarn.resourcemanager.admin.address</name>
 <value>master:8033</value>
 </property>
 <property>
     <!-- RM對web服務提供的地址，用戶通過其在瀏覽器中查看集群各類資訊 -->
 <name>yarn.resourcemanager.webapp.address</name>
 <value>master:8088</value>
 </property>
 <property>
     <!-- 用戶自定義服務，如Map-Reduce的shuffle功能，可以在NM上擴展自己的服務 -->
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
     <!-- 用戶自定義擴展的Map-Reduce的shuffle功能 -->
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
</configuration>

Haddop其他相關配置

在/usr/local/src/haddop/etc/haddop/目錄下

vi masters
#添加master主機ip地址

vi slaves
#slave1主機ip
#slave2主機ip

新建目錄

mkdir /usr/local/src/hadoop/tmp
mkdir /usr/local/src/hadoop/dfs/name -p
mkdir /usr/local/src/hadoop/dfs/data -p

修改目錄權限

chown -R hadoop:hadoop /usr/local/src/hadoop/

同步組態檔到slave節點

scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

在slave節點上設定hadoop環境變數

修改slave節點上目錄權限

chown -R hadoop:hadoop /usr/local/src/hadoop/chown -R hadoop:hadoop /usr/local/src/hadoop/

切換回hadoop用戶

執行source /etc/profile使配置的環境變數生效

標籤：大數據

上一篇：Azure Synapse Link for Dataverse

下一篇：看完這篇還不懂 MySQL 主從復制，可以回家躺平了～