主頁 >  其他 > Hadoop完全分布式搭建

Hadoop完全分布式搭建

2021-03-04 10:34:40 其他

文章目錄

  • 前言
  • 虛擬機網路配置
  • 一、虛擬機準備
    • 1 可以正常上網
    • 2 查看ip相關資訊
    • 3 安裝必要的環境
    • 4 關閉防火墻以及防火墻開機自啟動
    • 5 修改主機名及添加映射
    • 6 創建用戶
    • 7 克隆另外兩臺虛擬機:hadoop102 hadoop103
      • 7.1 克隆 hadoop102
      • 7.2 更改 hadoop102 相關資訊
      • 7.3 測驗三臺虛擬機是否可以相互通信
  • 二、Hadoop安裝及相關配置
    • 1 安裝 jdk、hadoop
    • 2 配置環境變數
    • 3 配置SSH無密登錄
    • 4 集群配置
      • 4.1 集群各節點的規劃
      • 4.1 配置集群
      • 4.2 分發 jdk 和 hadoop 到另外兩臺虛擬機
      • 4.3 格式化NameNode
      • 4.4 群起集群
        • HDFS測驗
        • Yarn測驗
  • 總結


前言

必備條件:

  1. 電腦記憶體最好8G以上
  2. 虛擬機ip為靜態ip!!!且可以 ping 通外網!!!

提示:若滿足以上條件,下面案例可供參考

虛擬機網路配置

如果虛擬機不能ping通外網或者非靜態ip可以參考如下配置
在這里插入圖片描述

在這里插入圖片描述
在這里插入圖片描述
在這里插入圖片描述

在這里插入圖片描述
在這里插入圖片描述

在這里插入圖片描述

在這里插入圖片描述
在這里插入圖片描述
注意:可能大家最后那個檔案不是 ifcfg-ens33,根據自己的情況選擇,如果是centos7.5版本的話,基本都是ifcfg-ens33檔案,一般打開這個檔案是有內容的,如果大家打開是空的,說明不是 ifcfg-ens33檔案,
修改BOOTPROTO,最后添加三行內容
在這里插入圖片描述
修改完后重啟網路

[root@hadoop101 ~]# systemctl restart network

一、虛擬機準備

**注意:**最好切換到 root 用戶執行

1 可以正常上網

[root@hadoop101 ~]# ping www.baidu.com
PING www.wshifen.com (104.193.88.77) 56(84) bytes of data.
64 bytes from 104.193.88.77 (104.193.88.77): icmp_seq=1 ttl=128 time=209 ms
64 bytes from 104.193.88.77 (104.193.88.77): icmp_seq=2 ttl=128 time=209 ms

2 查看ip相關資訊

ifconfig查看ip資訊
在這里插入圖片描述
我的虛擬機的 ip地址為192.168.1.101
在這里插入圖片描述

3 安裝必要的環境

**注意:**最好切換到 root 用戶執行

[root@hadoop101 ~]# yum install -y epel-release
[root@hadoop101 ~]# yum install -y net-tools
[root@hadoop101 ~]# yum install -y vim

4 關閉防火墻以及防火墻開機自啟動

[root@hadoop101 ~]# systemctl stop firewalld
[root@hadoop101 ~]# systemctl disable firewalld

5 修改主機名及添加映射

我的主機名就是 hadoop101,主機名可以隨意設定

[root@hadoop101 ~]# vim /etc/hostname
hadoop101

添加映射,我的這臺虛擬機的 ip 地址為 192.168.1.101,另外兩臺虛擬機的 主機名和ip 地址我會分別設定為 hadoop102,192.168.1.102; hadoop103,192.168.1.103,
這里要注意:大家要根據自己的虛擬機的 ip 地址來設定,其他兩臺的虛擬機的最后三位不能和第一臺一樣,最好是疊加,如:101、102、103,這樣方便記憶與配置

[root@hadoop101 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103

在 win10中添加映射:打開C:\Windows\System32\drivers\etc路徑下的 hosts 檔案,在末尾加入如下內容

192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103

在win10中配置映射并不是必須要配置,配置這個主要是為了將 ip 地址和用戶名在 win10 主機上做一個映射,不配也行,建議還是配置一下,

6 創建用戶

  • 我這里創建一個 bigdata 用戶,大家隨意,然后給用戶設定密碼
    [root@hadoop101 ~]# useradd bigdata
    [root@hadoop101 ~]# passwd bigdata

  • 配置 bigdata 用戶具有 root 權限,方便后期加 sudo 執行 root 權限的命令,這樣就可以不用切換到 root 用戶來執行了
    編輯 /etc/sudoers檔案,添加兩行內容

    [root@hadoop101 ~]# vim /etc/sudoers
    ## Allow root to run any commands anywhere 
    root    ALL=(ALL)       ALL
    # 添加如下兩行內容
    %wheel  ALL=(ALL)       ALL
    bigdata ALL=(ALL)       NOPASSWD:ALL
    
  • 創建 /opt/app 和 /opt/software檔案夾
    app:用來存放解壓后的 jar 包
    software:用來存放 jar 包

    [root@hadoop101 ~]# mkdir /opt/app
    [root@hadoop101 ~]# mkdir /opt/software
    
  • 修改并查看 app 和 software檔案權限

    [root@hadoop101 ~]# chown bigdata:bigdata /opt/app
    [root@hadoop102 ~]# chown bigdata:bigdata /opt/software
    [root@hadoop101 opt]# ll /opt/
    總用量 0
    drwxr-xr-x. 2 bigdata bigdata 6 3月   1 22:50 app
    drwxr-xr-x. 2 bigdata bigdata 6 1月  28 21:48 software
    
  • 卸載自帶的 JDK

    [root@hadoop101 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
    
  • 重啟虛擬機

    [root@hadoop101 ~]# reboot
    

7 克隆另外兩臺虛擬機:hadoop102 hadoop103

7.1 克隆 hadoop102

在這里插入圖片描述
克隆時,應該關閉 hadoop101
在這里插入圖片描述
點擊克隆后一直點下一步,直到下面圖片
在這里插入圖片描述
創建虛擬機名稱和存放地址
在這里插入圖片描述
克隆完成
在這里插入圖片描述

7.2 更改 hadoop102 相關資訊

  • 使用 root 用戶登錄

  • 將主機名修改為 hadoop102

    [root@hadoop101 ~]# vim /etc/hostname 
    hadoop102
    
  • 查看一下主機映射(hadoop101已經配置過了,克隆過來也是配置好了的)

    [root@hadoop101 ~]# vim /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    
    192.168.1.101 hadoop101
    192.168.1.102 hadoop102
    192.168.1.103 hadoop103
    
  • 將 hadoop102 的ip地址修改為 192.168.1.102

[root@hadoop101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

將 IPADDR 改為 192.168.1.102 即可
在這里插入圖片描述
注意: 這里不要生搬硬套,因為我的 hadoop101 的ip地址為 192.168.1.101,所以我才將 hadoop102 的ip地址改為 192.168.1.102,大家根據自己第一臺虛擬機的靜態ip來更改

  • 修改完后保存退出,reboot 重啟

  • 重啟后可以看到用戶名更改為 hadoop102,并且可以上網

    Last login: Mon Mar  1 23:32:44 2021
    [root@hadoop102 ~]# ping www.baidu.com
    PING www.a.shifen.com (220.181.38.149) 56(84) bytes of data.
    64 bytes from 220.181.38.149 (220.181.38.149): icmp_seq=1 ttl=128 time=37.5 ms
    
  • 查看 ip資訊
    在這里插入圖片描述
    我們發現 hadoop102 的ip地址變為 192.168.1.102

  • 至此,hadoop102 就克隆完畢

  • 同理,第三臺虛擬機 hadoop103也是如此操作

7.3 測驗三臺虛擬機是否可以相互通信

測驗 hadoop101 與其他兩臺虛擬機之間能否相互通信

[bigdata@hadoop101 opt]$ ping hadoop101
PING hadoop101 (192.168.1.101) 56(84) bytes of data.
64 bytes from hadoop101 (192.168.1.101): icmp_seq=1 ttl=64 time=0.033 ms

[bigdata@hadoop101 opt]$ ping hadoop102
PING hadoop102 (192.168.1.102) 56(84) bytes of data.
64 bytes from hadoop102 (192.168.1.102): icmp_seq=1 ttl=64 time=0.522 ms

[bigdata@hadoop101 opt]$ ping hadoop103
PING hadoop103 (192.168.1.103) 56(84) bytes of data.
64 bytes from hadoop103 (192.168.1.103): icmp_seq=1 ttl=64 time=0.487 ms

我們可以看到 hadoop101 可以與其他兩臺虛擬機相互通信,同理測驗hadoop102、hadoop103 各自能否與其他兩臺虛擬機相互通信,

二、Hadoop安裝及相關配置

1 安裝 jdk、hadoop

  • 使用 Xshell 或者 SecureCRT 用**bigdata(你自己創建的用戶)**登錄到三臺虛擬機,

  • 在 hadoop101(第一臺虛擬機)進入到 /opt/software 目錄,將 jdk 和 hadoop jar包上傳到該目錄

    [bigdata@hadoop101 ~]$ cd /opt/software/
    

    上傳完畢后查看一下

     [bigdata@hadoop101 software]$ ll
    總用量 520600
    -rw-r--r--. 1 bigdata bigdata 338075860 2月  24 09:00 hadoop-3.1.3.tar.gz
    -rw-r--r--. 1 bigdata bigdata 195013152 2月  24 09:09 jdk-8u212-linux-x64.tar.gz
    
  • 解壓 jdk 和 hadoop jar包

     [bigdata@hadoop101 software]$ tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/app/
     [bigdata@hadoop101 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/app/
    
  • 到 /opt/app 目錄查看解壓后的 jar 包

    [bigdata@hadoop101 software]$ cd /opt/app/
    [bigdata@hadoop101 app]$ ll
    總用量 0
    drwxr-xr-x. 9 bigdata bigdata 149 9月  12 2019 hadoop-3.1.3
    drwxr-xr-x. 7 bigdata bigdata 245 4月   2 2019 jdk1.8.0_212
    

2 配置環境變數

[bigdata@hadoop101 app]$ sudo vim /etc/profile.d/my_env.sh

分別進入 jdk 和 hadoop 安裝目錄并查看各自的路徑

[bigdata@hadoop101 app]$ cd /opt/app/jdk1.8.0_212/
[bigdata@hadoop101 jdk1.8.0_212]$ pwd
/opt/app/jdk1.8.0_212
[bigdata@hadoop101 jdk1.8.0_212]$ cd ../hadoop-3.1.3/
[bigdata@hadoop101 hadoop-3.1.3]$ pwd
/opt/app/hadoop-3.1.3

在 /etc/profile.d/ 目錄下創建一個檔案,根據剛才查看到的路徑撰寫檔案,配置 JAVA_HOME 和 HADOOP_HOME

[bigdata@hadoop101 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/app/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

#HADOOP_HOME
export HADOOP_HOME=/opt/app/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

撰寫完后后,保存退出,source 一下,讓環境變數生效

[bigdata@hadoop101 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh

驗證環境變數是否生效,輸入 java -version 和 hadoop version,若列印出版本資訊表示環境變數已經配置完成

[bigdata@hadoop101 hadoop-3.1.3]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

[bigdata@hadoop101 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/app/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

3 配置SSH無密登錄

一般我們使用 ssh 登錄到其他機器需要輸入密碼,如從 hadoop101 登錄到 hadoop102 程序如下:在這里插入圖片描述
配置免密登錄后,就不需要密碼了,感興趣可以看看原理,這里不解釋了
這里僅需配置 hadoop101(你的第一臺虛擬機)的 bigdata 用戶到其他兩臺虛擬機的免密登錄,為什么只需要配置 hadoop101呢?因為我是把 hadoop101 用戶當做集群的主節點(Master),其他兩臺是從節點,步驟如下

[bigdata@hadoop101 ~]$ ssh-keygen -t rsa

敲三下回車,結果如下,會生成 id_rsa(私鑰)和 id_rsa.pub(公鑰)
在這里插入圖片描述
將公鑰拷貝到要免密登錄的目標機器上(注意 hadoop101 也要配置到自己的免密登錄)

[bigdata@hadoop101 ~]$ ssh-copy-id hadoop101
[bigdata@hadoop101 ~]$ ssh-copy-id hadoop102
[bigdata@hadoop101 ~]$ ssh-copy-id hadoop103

配置完后,我們測驗一下從 hadoop101 登錄到 hadoop103 上還需要密碼不

[bigdata@hadoop101 ~]$ ssh hadoop103
Last login: Mon Mar  1 23:47:30 2021
[bigdata@hadoop103 ~]$ 
[bigdata@hadoop103 ~]$ exit
登出
Connection to hadoop103 closed.
[bigdata@hadoop101 ~]$ 

同理要配置hadoop102、hadoop103分別到另外兩臺虛擬機的免密登錄

4 集群配置

4.1 集群各節點的規劃

hadoop101hadoop102hadoop103
HDFSNameNodeSecondaryNameNode
HDFSDataNodeDataNodeDataNode
YarnResourceManager
YarnNodeManagerNodeManagerNodeManager

4.1 配置集群

進入到組態檔目錄,這里一定要注意要先按 i 進入編輯模式再粘貼,否則會少內容

[bigdata@hadoop101 ~]$ cd $HADOOP_HOME/etc/hadoop
[bigdata@hadoop101 hadoop]$ vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>
    <!-- 資料存放目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS網頁登錄使用的靜態用戶為bigdata -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>bigdata</value>
    </property>
</configuration>
[bigdata@hadoop101 hadoop]$ vim hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- NameNode web端訪問地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
    <!-- SecondaryNameNode web端訪問地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:9868</value>
    </property>
</configuration>
[bigdata@hadoop101 hadoop]$ vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR執行shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
[bigdata@hadoop101 hadoop]$ vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程式運行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置 workers 檔案時的注意事項:

  1. hadoop版本3.0以下的應該編輯檔案 slaves
  2. workers檔案中不能出現空格和多余的行
[bigdata@hadoop101 hadoop]$ vim workers
hadoop101
hadoop102
hadoop103

至此 hadoop 一些基本的配置資訊完成了,其實還有很多配置資訊用的都是默認的,可以自己去官網查看并配置,

4.2 分發 jdk 和 hadoop 到另外兩臺虛擬機

分發的時候要注意:另外兩臺機器要有 /opt/app 檔案夾,使用bigdata(你自己創建的那個用戶)分發

[bigdata@hadoop101 hadoop]$ rsync -av /opt/app/ bigdata@hadoop102:/opt/app/
[bigdata@hadoop101 hadoop]$ rsync -av /opt/app/ bigdata@hadoop103:/opt/app/

分發完成后可以查看一下相應的目錄中是否有 jdk 和 hadoop

[bigdata@hadoop102 ~]$ ll /opt/app/
drwxr-xr-x. 9 bigdata bigdata 149 9月  12 2019 hadoop-3.1.3
drwxr-xr-x. 7 bigdata bigdata 245 4月   2 2019 jdk1.8.0_212

[bigdata@hadoop103 ~]$ ll /opt/app/
drwxr-xr-x. 9 bigdata bigdata 149 9月  12 2019 hadoop-3.1.3
drwxr-xr-x. 7 bigdata bigdata 245 4月   2 2019 jdk1.8.0_212

最后別忘記在另外兩臺虛擬機上編輯環境變數(將hadoop101中/etc/profile.d/my_env.sh的內容拷貝過去即可)

[bigdata@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/app/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

#HADOOP_HOME
export HADOOP_HOME=/opt/app/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

最后別忘記 source 一下,并查看環境變數是否生效

[bigdata@hadoop102 ~]$ source /etc/profile.d/my_env.sh
[bigdata@hadoop102 ~]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

[bigdata@hadoop102 ~]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/app/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

另外一臺機器也要拷貝一下環境變數,這里我就不做演示了

4.3 格式化NameNode

格式化注意事項!!!!!!!!!!!!!!!!

  1. 用你的集群中的主機點(Master)即 NameNode所在節點進行格式化,我這里是 hadoop101,大家自己對應
  2. 只能格式化一次!!!!!
  3. 如果格式化1次以上,先進入到 hadoop 安裝目錄,然后洗掉 logs 和 data檔案(三臺虛擬機都要洗掉),洗掉后在重新格式化,(另外一種解決辦法是修改集群Cluster ID使他們保持一致,可以自己去網上參考一下,這里不再展示)
    在這里插入圖片描述

開始格式化

[bigdata@hadoop101 ~]$ hdfs namenode -format

如果看到以下資訊說明格式化成功
在這里插入圖片描述

4.4 群起集群

HDFS測驗

注意:群起集群的前提條件是配置了 ssh 免密登錄,否則只能一臺機器一臺機器的啟動,
在主節點(Master),我這里是hadoop101啟動 HDFS

[bigdata@hadoop101 ~]$ start-dfs.sh 
Starting namenodes on [hadoop101]
Starting datanodes
hadoop102: WARNING: /opt/app/hadoop-3.1.3/logs does not exist. Creating.
hadoop103: WARNING: /opt/app/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [hadoop103]

在各個虛擬機上執行 jps 查看相應的行程

[bigdata@hadoop101 ~]$ jps
4928 DataNode
5625 Jps
4766 NameNode

[bigdata@hadoop102 ~]$ jps
4630 Jps
4359 DataNode

[bigdata@hadoop103 ~]$ jps
3665 Jps
3238 DataNode
3324 SecondaryNameNode

查看行程后發現沒有問題
啟動后就可以到 Web界面,輸入你的主機點IP+9870埠號即可訪問
在這里插入圖片描述
如果你在 win10 配置了主機映射,可以通過主機名訪問如 hadoop101:9870
在這里插入圖片描述
我們上傳一個檔案看看HDFS是否能真正的作業

[bigdata@hadoop101 hadoop-3.1.3]$ echo b >> b.txt
[bigdata@hadoop101 hadoop-3.1.3]$ hadoop fs -mkdir /input
[bigdata@hadoop101 hadoop-3.1.3]$ hadoop fs -put b.txt /input

去web界面查看一下
在這里插入圖片描述

Yarn測驗

在配置了ResourceManager的節點上(我這里是hadoop102)執行 start-yarn.sh命令

[bigdata@hadoop102 ~]$ start-yarn.sh 
Starting resourcemanager
Starting nodemanagers

查看各個虛擬機的行程

[bigdata@hadoop101 ~]$ jps
4928 DataNode
6043 Jps
5884 NodeManager
4766 NameNode

[bigdata@hadoop102 ~]$ jps
4816 Jps
4707 NodeManager
4359 DataNode
5486 ResourceManager

[bigdata@hadoop103 ~]$ jps
3238 DataNode
3754 NodeManager
3324 SecondaryNameNode
3869 Jps

訪問一下web界面,我這里是 192.168.1.102:8088,如果win10配置了主機映射 hadoop102:8080也可以訪問,注意:因為ResourceManager配置在hadoop102,所以應該用hadoop102的ip+埠號訪問,大家自己對應
在這里插入圖片描述
Mr on Yarn測驗
在hadoop101上創建一個測驗檔案,放入到/input2中

[bigdata@hadoop101 ~]$ vim test.txt
a b c
b c
c
[bigdata@hadoop101 ~]$ hadoop fs -mkdir /input2
[bigdata@hadoop101 ~]$ hadoop fs -put test.txt /input2

跑一個wordcount程式測驗一下,該程式負責統計 /input2中各個檔案的單詞數,結果輸入到/output中,注意:/output目錄不能存在,否則報錯

[bigdata@hadoop101 ~]$ hadoop jar /opt/app/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input2 /output

可以看到任務完成了
在這里插入圖片描述
去HDFS web界面查看一下結果
進入 /output 目錄,查看一下結果檔案
在這里插入圖片描述

總結

本文先從虛擬機的準備開始,然后講了 Hadoop 的基本安裝程序,遇到錯誤是很正常的,需要自己查看報錯資訊,并解決,希望大家都能踩過這個坑,內容方面如若有誤,請大家多多指正,相互學習,相互進步!

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/265880.html

標籤:其他

上一篇:四十四、Kafka的架構

下一篇:java-api操作ElasticSearch2.3.5創建索引

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more