hadoop集群搭建與簡單應用

系統鏡像:CentOS-6.5-x86_64-Li.iso

虛擬機:VMware Workstation 16 Pro(16.0.0 build-16894299)

JDK:1.8.0_161

hadoop:2.7.0

創建虛擬機

虛擬機安裝后將系統install

對master主機linux系統配置

• 修改主機名

  vim /etc/sysconfig/network

  shutdown -r now

• 配置ip地址映射

  ip地址自己去看:編輯>虛擬網路編輯器>VMnet8>NAT設定

  vim /etc/hosts

  192.168.112.128 master
  192.168.112.129 slave001
  192.168.112.130 slave002
  

• 配置網卡

  vim /etc/sysconfig/network-scripts/ifcfg-eth0

  寫入以下內容

  DEVICE=eth0
  NETMSKE=255.255.255.0
  GATEWAY=192.168.112.2
  IPADDR=192.168.112.128
  ONBOOT=yes
  BOOTPROTO=static
  

  service network restart

  ifconfig

• 開啟sshd服務與開機啟動,關閉防火墻與開機啟動.

  service sshd start
  chkconfig sshd on
  service iptables stop
  chkconfig iptables off
  

• 賦予hdp,sudo權限

  useradd hdp

  passwd hdp

  vim /etc/sudoers

  ## Allow root to run any commands anywhere 
  root    ALL=(ALL)       ALL
  hdp     ALL=(ALL)       ALL
  

• putty通過pscp傳輸檔案或用xftp

  pscp -P 22 [要傳輸的檔案] [用戶名@主機ip地址:要傳輸到的目錄]

• 解壓jdk,hadoop
  解壓tar:tar -xvf [檔案名] [-C] /usr/local

  解壓tar.gz:tar -zxvf [檔案名] [-C] /usr/local

  壓縮:tar -zcvf 檔案名.tar.gz [檔案名]

• 對jdk,hadoop設定檔案擁有者,組擁有者

  chown -R hdp /usr/local/jdk1.8.0_161

  chgrp -R hdp /usr/local/jdk1.8.0_161

  chown -R hdp /usr/local/hadoop2.7.0

  chgrp -R hdp /usr/local/hadoop2.7.0

• 配置環境變數

  vim /etc/profile

  export JAVA_HOME=/usr/local/jdk1.8.0_161
  export PATH=$PATH:$JAVA_HOME/bin
  export HADOOP_HOME=/usr/local/hadoop-2.7.0
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  

  source /etc/profile

  用java,hadoop檢驗

克隆slave基于master

• 修改主機名

  vim /etc/sysconfig/network

  shutdown -r now

• 配置網卡

  將IPADDR修改一下

  vim /etc/sysconfig/network-scripts/ifcfg-eth0

配置$HADOOP_HOME/etc/hadoop/下的檔案

轉到hdp用戶su hdp

轉到組態檔目錄cd $HADOOP_HOME/etc/hadoop/

創建hadoop存盤檔案夾mkdir $HADOOP_HOME/tmp

對下列檔案進行修改(對主機名看自己情況修改)

• hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk1.8.0_161
  #JAVA_HOME寫上自己jdk 的安裝路徑
  

• core-site.xml

  <!-- 指定Hadoop所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <!-- 定Hadoop運行是產生檔案的存盤目錄，默認 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.7.0/tmp</value>
  </property>
  

• hdfs-site.xml

  <!-- 指定HDFS副本的數量，不修改默認為3個 -->
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <!-- dfs的SecondaryNameNode在哪臺主機上 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave001:50090</value>
  </property>
  

• mapred-site.xml

  mv mapred-site.xml.template mapred-site.xml

  <!-- 指定MapReduce運行是框架，這里指定在yarn上，默認是local -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  

• yarn-site.xml

  <!-- 指定yarn的老大ResourceManager的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <!-- NodeManager上運行的附屬服務，需要配置成mapreduce_shuffle,才可以運行MapReduce程式默認值 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  

• slaves

  slave001
  slave002
  

傳輸hadoop組態檔到slave機

scp -r /usr/local/hadoop2.7.0/etc/hadoop hdp@slave001:/usr/local/hadoop2.7.0/etc/

啟動集群

• 初始化HDFS

  hdfs namenode -format

• 啟動hdfs,yarn

  start-all.sh等價于start-hdfs.sh,start-yarn.sh

• 查看節點角色

  jps

• 查看埠

  netstat -nplt

• 瀏覽器查看namenode,secondarynamnode,yarn監控端

  master:50070
  slave001:50090
  master:8080
  

集群wordcount示例

• 常用命令

  類mkdir命令:hadoop fs -mkdir 目錄

  類ls命令:hadoop fs -ls 檔案

  類cat命令:hadoop fs -cat 檔案

  類cp命令:hadoop fs -cp 檔案 檔案

  類rm -r命令:hadoop fs -rm -r 檔案

  類mv命令:hadoop fs -mv 檔案 檔案

  統計檔案系統可用空間資訊:hadoop fs -df -h /

  統計檔案夾的大小資訊:hadoop fs -du -s -h 檔案

  下載hdfs檔案到本地:hadoop fs -get hdfs檔案

  上傳本地檔案到hdfs:hdfs dfs -put 本地檔案 hdfs檔案

• 運行wordcount示例

  hadoop fs -mkdir /input

  hdfs dfs -put 一個具有文字資訊的檔案 /input/

  yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar wordcount /input/ /output

  hadoop fs -ls /output

有問題或建議請在下面評論，如果我看到的話會回，

標籤：其他

上一篇：CentOS 8.2 對k8s基礎環境配置

下一篇：系統安全及應用