Hadoop集群搭建

一、介紹Linux
Linux是一款開源免費的作業系統，Linux是一套免費使用和自由傳播的類Unix作業系統，是一個基于POSIX和UNIX的多用戶、多任務、支持多執行緒和多CPU的作業系統，Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路作業系統，目前市面上較知名的發行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE，
二、VMwareWorkstation 虛擬機安裝
這里推薦https://www.jb51.net/article/169669.htm的安裝教程，就不再多贅述了，
三、為虛擬機安裝Centos作業系統
這里推薦https://blog.csdn.net/guo_ridgepole/article/details/78973763的安裝教程，就不再多贅述了，
四、網路連接模式（個人選擇的橋接模式）

五、虛擬機環境準備
1.克隆虛擬機并修改靜態ip，這里搭建集群需要三臺或者多臺（但必須是單數的）https://blog.csdn.net/qq_42774325/article/details/81189033
2.修改主機名
vim /etc/hostanme向其中加入自己想要取的主機名master，另外兩臺分別為slaver01和slaver02，修改之后重啟一下，
3.添加主機映射
vim /etc/hosts

192.168.3.22 master
192.168.3.23 slaver01
192.168.3.24 slaver02

4.關閉防火墻
systemctl service firewall
5.設定ssh免密登錄
ssh免密登錄

ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slaver01
ssh-copy-id slaver02

另外兩臺機子重復類似操作，
六、安裝JDK
1.卸載原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps
2.解壓（這里的包是已經在opt目錄下的，我在opt目錄下創建的module檔案夾，專門存放大資料集群或組件的安裝目錄）
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3.改名
mv jdk1.8.0_231/ /opt/module/java
4/添加配置 vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin

使環境變數生效：source /etc/profile

5.測驗是否安裝成功
java -version
七、安裝Hadoop
1解壓
tar -zxvf /opt/hadoop-2.7.5.tar.gz -C /opt/module
2改名
mv hadoop-2.7.5/ /opt/module/hadoop

3修改配置 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

生效：source /etc/profile
4測驗
hadoop version
八、修改Hadoop配置
1.配置core-site.xml
vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>

<!-- 指定Hadoop運行時產生檔案的存盤目錄 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop/data/tmp</value>
</property>

2.配置hadoop-env.sh,添加jdk路徑，
vim hadoop-env.sh
export JAVA_HOME=/opt/module/java

3.配置hdfs-site.xml
vim hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slaver02:50090</value>
</property>

4.配置yarn-env.sh,添加jdk路徑
vim yarn-env.sh
export JAVA_HOME=/opt/module/java

5.配置yarn-site.xml
vim yarn-site.xml
在該檔案中增加如下配置

<!-- reducer獲取資料的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>slaver01</value>
</property>	

6配置mapred-env.sh，添加jdk路徑，
vim mapred-env.sh
export JAVA_HOME=/opt/module/java
7配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在該檔案中增加如下配置

<!-- 指定mr運行在yarn上 -->
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>

九、分發集群

scp -r /opt/module  root@slaver01:/opt/module
scp -r /opt/module  root@slaver02:/opt/module

在每個從節點使環境變數生效：source /etc/profile
十、啟動hadoop集群
1.首先格式化hadoop集群
hadoop namenode -format
2.啟東hadoop，進入sbin目錄下
./start-all.sh
3.檢查服務
jps

標籤：其他

上一篇：ls的重要用法:按照檔案大小排序和按照時間排序

下一篇：對不起，原諒我學會這些linux知識之后，飄了