SSH免密登錄

SSH概念

1. SSH為Secure Shell (安全外殼協議)的縮寫，
2. SSH是一種網路協議，用于計算機之間的加密登錄，很多ftp、pop 和telnet在本質上都是不安全的，因為它們在網路上用明文傳送口令和資料，別有用心的人非常容易就可以截獲這些口令和資料，
3. SSH就是專為遠程登錄會話和其他網路服務提供安全性的協議，

SSH組成

SSH是由客戶端和服務端的軟體組成的，
● 服務端是一個守護行程(sshd),他在后臺運行并應來自客戶端的連接請求，
● 客戶端包含 ssh程式以及像scp (遠程拷貝)、slogin (遠程登陸)、sftp (安全檔案傳輸)等其他的應用程式，

實作步驟

1. 啟動SSH服務
   SSH服務（openssh-server和openssh-clients）

   /usr/sbin/sshd
   

   SSH服務啟動后，默認開啟22（SSH的默認埠）埠號，使用以下命令進行查看：

   netstat -tnulp
   

   執行命令，可以看到22號埠已經開啟，證明我們SSH服務啟動成功：
   
   只要將SSH服務啟動成功，我們就可以進行遠程連接訪問了，

2. 生成密匙對

   ssh-keygen
   

   結果：
   

   由列印資訊可知，私鑰id_rsa公鑰id_rsa.pub都已經創建成功，并放在/root/.ssh目錄中：
   

3. 將公鑰放置到授權串列檔案authoriz_keys中：

   cp id_rsa.pub authorized_keys
   

   結果：
   

4. 修改授權串列檔案authorized_keys的權限：

   chmod 600 authorized_keys
   

   設定擁有者可讀可寫，其他人無任何權限（不可讀、不可寫、不可執行），
   

5. 驗證免密登錄是否配置成功：

   ssh localhost
   或者
   ssh hostname（hostname查看）
   或者
   ssh IP地址（ifconfig查看）
   

   退出:exit
   

安裝JDK

軟體下載

Oracle官網下載JDK：JDK下載

所需軟體：jdk-xxxx-linux-x64.tar.gz

解壓安裝包

tar -zxvf jdk-xxxx-linux-x64.tar.gz

tar命令:用于打包并壓縮和解包并解壓縮檔案

使用格式:
● 打包并壓縮：tar -zcvf打包壓縮名檔案名/目錄
● 解包并解壓縮：tar -zxvf *.tar gz格式的打包壓縮檔案

常用選項:
● z：gzip, 通過gzip格式壓碩訓者解壓縮
● -C：指捉需要解壓的目錄，若是未指定，則解壓到當前目錄

配置環境變數

1. 配置環境變數：

   vi /etc/profile
   

2. 在最后加上以下兩行：

   export JAVA_HOME=/root/software/jdk1.8.0_281(JDK安裝路徑)
   export PATH=$PATH:JAVA_HOME/bin
   

   編輯完成:wq保存退出
3. 讓組態檔生效：

   source /etc/profile
   

4. 檢測JDK是否安裝成功（查看JDK版本）：

   java -version
   

   安裝成功：
   

HDFS偽分布式集群搭建

軟體下載

Apache官網下載Hadoop：Hadoop下載
所需軟體：hadoop-xxxx.tar.gz

解壓安裝包

tar -zxvf hadoop-xxxx.tar.gz

組態檔

Hadoop集群搭建涉及主要組態檔及功能：

1. 配置環境變數hadoop-env.sh
   i. 復制本機安裝的JDK的實際位置，
   列印JDK的安裝目錄：

   	echo $JAVA_HOME
   

   ii. 打開hadoop-env.sh檔案，找到JAVA_HOME引數位置，修改為本機安裝的JDK的實際位置，

   vi /root/software/hadoop-3.3.0/etc/hadoop/hadoop-env.sh（Hadoop安裝路徑）
   

   
2. 配置核心組件core-site.xml
   該組件是Hadoop的核心組態檔，其目的是配置HDFS地址、埠號、以及臨時檔案目錄，

   vi /root/software/hadoop-3.3.0/etc/hadoop/core-site.xml
   

   將下面配置添加到<configuration></configuration>中間：

   <!-- HDFS集群中NameNode的URI（包括協議、主機名稱、埠號），默認為file:///-->
   <property>
   <name>fs.defaultFS</name>
   <!-- 用于指定NameNode的地址 -->
   <value>hdfs://localhost:9000</value>
   </property>
   <!-- Hadoop運行時產生檔案的臨時存盤目錄 -->
   <property>
   <name>hadoop.tmp.dir</name>
   <value>/root/hadoopData/temp</value>
   </property>
   

3. 組態檔系統hdfs-site.xml
   該檔案主要用于配置HDFS相關的屬性，例如復制因子（即資料塊的副本數）、NameNode和DataNode用于存盤資料的目錄等，在完全分布式模式下，默認資料塊副本是3份，

   vi /root/software/hadoop-3.3.0/etc/hadoop/hdfs-site.sh
   

   將下面配置添加到<configuration></configuration>中間：

   <!-- NameNode在本地檔案系統中持久存盤命名空間和事務日志的路徑 -->
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>/root/hadoopData/name</value>
   </property>
   <!-- DataNode在本地檔案系統中存放塊的路徑 -->
   <property>
   <name>dfs.datanode.data.dir</name>
   <value>/root/hadoopData/data</value>
   </property>
   <!-- 資料塊副本的數量，默認為3 -->
   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>
   

配置環境變數

1. 配置環境變數：

   vi /etc/profile
   

2. 在最后加上以下兩行：

   export HADOOP_HOME=/root/software/hadoop-3.3.0
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   編輯完成:wq保存退出

3. 讓組態檔生效：

   source /etc/profile
   

4. 檢測Hadoop環境變數是否設定成功（查看Hadoop版本）：

   hadoop version
   

   配置成功：
   

Hadoop集群測驗

格式化檔案系統

hdfs namenode -format（格式化指令只需在HDFS集群初次啟動前執行即可）

啟動和關閉HDFS集群

單節點逐個啟動和關閉

1. 在本機上使用一下指令啟動NameNode行程：

   hadoop-daemon.sh start namenode
   

   啟動完成后，使用jps指令查看NameNode行程的啟動情況，
   jps命令：顯示系統當前運行的Java程式機器行程號，30529是行程的PID（行程號），
   
2. 在本機上使用一下指令啟動DataNode行程：

   hadoop-daemon.sh start datanode
   

3. 在本機上使用一下指令啟動SecondaryNameNode行程：

   hadoop-daemon.sh start secondarynamenode
   

   如需停止只需將以上指令中的start更改為stop即可

腳本一鍵啟動和關閉

1. 在本機上使用如下方式一鍵啟動HDFS集群：

   start-dfs.sh
   

2. 若想一鍵關閉HDFS集群，只需將start改為stop即stop-dfs.sh

查看行程啟動情況

在本機上執行jps命令，列印結果為NameNode、SecondaryNameNode、Jps、和DataNode四個行程表示啟動成功，

通過UI查看HDFS運行狀態

通過本機的瀏覽器訪問http://localhost:50070或http://本機IP地址:50070查看HDFS集群狀態