Hadoop安裝并配置環境變數

資料說明

jdk包下載鏈接：https://pan.baidu.com/s/16betSGfm5KsQm9OqnckBUA
提取碼：7xfk

(jdk下載官方原版的要💴，有金的小伙伴可以去官網下載，官網地址：https://www.oracle.com/java/technologies/downloads/)

Hadoop官網下載：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/](https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/)

安裝jdk

使用tar工具解壓安裝

#這是進入software目錄下解壓安裝的兩種方法,主要就是目錄寫法不一樣
[pier@hadoop102 software]$ tar -zvxf jdk-8u212-linux-x64.tar.gz -C /opt/module/
[pier@hadoop102 software]$ tar -zvxf jdk-8u212-linux-x64.tar.gz -C ../module/

解壓完成后我們可以去jdk目錄看一下

[pier@hadoop102 jdk1.8.0_212]$ pwd
/opt/module/jdk1.8.0_212

解壓安裝成功了，在Windows里面，我們會干嘛呢？

配置環境變數呀！！！我們所熟知的都是sudo vim /etc/profile 我們一起打開會看到下面這一段注釋：

# System wide environment and startup programs, for login setup
# Functions and aliases go in /etc/bashrc

# It's NOT a good idea to change this file unless you know what you
# are doing. It's much better to create a custom.sh shell script in
# /etc/profile.d/ to make custom changes to your environment, as this
# will prevent the need for merging in future updates.

我們使用goole翻譯一下

# 系統范圍的環境和啟動程式，用于登錄設定
# 函式和別名在 /etc/bashrc 中

# 除非你知道你的意思，否則改變這個檔案不是一個好主意
# 是做， 在中創建 custom.sh shell 腳本要好得多
# /etc/profile.d/ 對您的環境進行自定義更改，如下所示
# 將防止在未來更新中合并的需要，

簡單來說，就是不希望你在這里面直接去寫組態檔，那么我們能怎們做呢？就是去在/etc/profile.d 下面去新寫一個.sh檔案，可是我們生效怎們辦呢？別急，繼續往下看，

我們看不到其他的代碼，沒關系，能認識for吧，這個for就是讓我們讀取時，去讀取/etc/profile.d下面的所有.sh檔案，所以，我們在撰寫時，只需要在指定的檔案夾下面創建一個.sh檔案即可，下面我們一起來試試吧

[pier@hadoop102 ~]# cd /etc/profile.d/
[pier@hadoop102 profile.d]# touch my_env.sh
[pier@hadoop102 profile.d]# vim my_env.sh

Java的環境變數配置

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


:wq

環境變數生效并測驗

[pier@hadoop102 profile.d]# source /etc/profile
[pier@hadoop102 profile.d]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

一般問題小提示

這個地方一般不會出問題，唯一有可能的是你的某個變數名打錯了，如果確認無誤后，生效，若還是不行，可能是自動生效失敗，重啟一下虛擬機即可，

重啟命令

sudo reboot

安裝Hadoop

回傳software并解壓Hadoop

[pier@hadoop102 profile.d]$ cd /opt/software/
[pier@hadoop102 software]$ tar -zvxf hadoop-3.1.3.tar.gz -C /opt/module/

認識Hadoop

這里不會有小伙伴問我為啥要先認識它呀，直接盤它呀，先弄服了再讓它認識我就行了呀，，嗯別裝13，，，知其然要知其所以然

我們先來認識一下目錄結構

進入Hadoop目錄下

[pier@hadoop102 ~]$ cd /opt/module/hadoop-3.1.3

認識目錄

• bin目錄：存放對Hadoop相關服務（HDFS,YARN）進行操作的腳本

• etc目錄：Hadoop的組態檔目錄，存放Hadoop的組態檔

• include目錄：對外提供的編程庫頭檔案（具體動態庫和靜態庫在lib目錄中），這些頭檔案均是用C++定義的，通常用于C++程式訪問HDFS或者撰寫MapReduce程式，

• lib目錄：存放Hadoop的本地庫（對資料進行壓縮解壓縮功能）

• sbin目錄：存放啟動或停止Hadoop相關服務的腳本

• share目錄：存放Hadoop的依賴jar包、檔案、和官方案例

修改組態檔

[pier@hadoop102 ~]$ vim /etc/profile.d/my_env.sh 

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

檢測Hadoop是否安裝成功

[pier@hadoop102 ~]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

這里只要出現Hadoop 版本號，即安裝成功，

卷一卷：這段時間有點懈怠，還沒從元旦的放松緩過來，接下來肯定勤更的,下一版發集群的搭建，