主頁 > 前端設計 > 基于hadoop-2.8.5下的云環境搭建

基于hadoop-2.8.5下的云環境搭建

2020-09-29 14:03:19 前端設計

基于hadoop-2.8.5下的云環境搭建

  • 一、Hdfs搭建程序（By 儺儺）
    • 1、準備
    • 2、撰寫dockerfile
    • 3、構建鏡像
    • 4、根據構建好的鏡像創建并進入容器
    • 5、修改配置
    • 6、啟動集群
    • 7、檢查
    • 8、打包（可選操作）
  • 二、yarn配置（By Ninght）
    • 1.基本引數配置
      • 1>.yarn.resourcemanager.hostname
      • 2>.yarn.resourcemanager.address
      • 3>.yarn.resourcemanager.webapp.address
      • 4>.yarn.resourcemanager.scheduler.address
      • 5>.yarn.resourcemanager.resource-tracker.address
      • 6>.yarn.resourcemanager.admin.address
      • 7>.yarn.nodemanager.aux-services
      • 8>.yarn.log-aggregation-enable
      • 9>. yarn.log-aggregation.retain-seconds
      • 10>.yarn.application.classpath
      • 11>.yarn.nodemanager.pmem-check-enabled
      • 12>.yarn.nodemanager,vmem-check-enabled
    • 2.遇見問題及解決方法
  • 三、spark搭建程序（By 哎呀）
    • 1、安裝Spark3.0.0
    • 2、修改組態檔
    • 3、啟動spark集群
    • 4、提供一個測驗代碼
  • 四、hdfs、spark、spark搭建程序的改進與整合（By 儺儺）
    • 1、改進思路：
    • 2、撰寫含hdfs、yarn、spark、java在內的dockerfile：FROM centos:centos7
    • 3、根據dockerfile創建鏡像
    • 4、創建容器
      • 1.
      • 2.
  • 五、可能遇到的問題及解決方法（By 儺儺、Ninght）
    • 一、運行Dockerfile構建鏡像程序中RUN yum出錯
    • 二、ssh連接失敗
    • 三、成功拉起hdfs、yarn、spark等服務后卻無法打開web ui界面
    • 四、用start-dfs.sh啟動hdfs的時候沒有報錯，但查看從節點的jps卻沒有datanode
    • 五、啟動yarn時只能拉起nodemanager而不能拉起resourcemanager

一、Hdfs搭建程序（By 儺儺）

1、準備

  1. 安裝docker，鏡像站daocloud提供一鍵安裝命令：

curl -sSL https://get.daocloud.io/docker | sh

  1. 在鏡像站daocloud拉取centos7鏡像：

docker pull daocloud.io/library/centos:centos7

  1. 創建docker的自定義網路，目的是為了固定ip，docker默認使用bridge網路，無法固定ip

docker network create --subnet=172.22.0.0/24 jbhnetwork

  1. 新建一個檔案夾并進入檔案夾所在路徑，將jdk安裝包、hadoop安裝包以及待會兒撰寫的dockerfile都放入這個檔案夾內
    下載jdk安裝包：

wget https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-
8u192-linux-x64.tar.gz

下載hadoop安裝包：

wget
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

2、撰寫dockerfile

在剛剛新建的hadoop檔案夾下撰寫dockerfile：

vim Hadoop-Dockerfile

Hadoop-Dockerfile內容：
（具體注釋參考(這里)）

FROM centos:centos7 MAINTAINER “jbh1283432219@qq.com” RUN yum -y
install openssh-server openssh-clients sudo vim net-tools RUN
ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key RUN ssh-keygen -t ecdsa
-f /etc/ssh/ssh_host_ecdsa_key RUN ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key RUN echo “root:root” | chpasswd RUN
mkdir /opt/software && mkdir /opt/moudle ADD
jdk-8u192-linux-x64.tar.gz /opt/moudle ADD hadoop-2.8.5.tar.gz
/opt/software ENV CENTOS_DEFAULT_HOME /root ENV JAVA_HOME
/opt/moudle/jdk1.8.0_192 ENV JRE_HOME ${JAVA_HOME}/jre ENV CLASSPATH
J A V A H O M E / l i b : {JAVA_HOME}/lib: JAVAH?OME/lib:{JRE_HOME}/lib ENV HADOOP_HOME
/opt/software/hadoop-2.8.5 ENV PATH
J A V A H O M E / b i n : {JAVA_HOME}/bin: JAVAH?OME/bin:{HADOOP_HOME}/bin: H A D O O P H O M E / s b i n : {HADOOP_HOME}/sbin: HADOOPH?OME/sbin:PATH WORKDIR
$CENTOS_DEFAULT_HOME EXPOSE 22 CMD ["/usr/sbin/sshd", “-D”]

上面的dockerfile寫得不好，連續的RUN和ENV可以合并，例如上面的

RUN yum -y install openssh-server openssh-clients sudo vim net-tools
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key RUN ssh-keygen -t
ecdsa -f /etc/ssh/ssh_host_ecdsa_key RUN ssh-keygen -t ed25519 -f
/etc/ssh/ssh_host_ed25519_key RUN echo “root:root” | chpasswd RUN
mkdir /opt/software && mkdir /opt/moudle

寫成下面這樣會更好

RUN yum -y install openssh-server openssh-clients sudo vim net-tools
&& ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \ && ssh-keygen -t
ecdsa -f /etc/ssh/ssh_host_ecdsa_key \ && ssh-keygen -t ed25519 -f
/etc/ssh/ssh_host_ed25519_key \ && echo “root:root” | chpasswd \ &&
mkdir /opt/software && mkdir /opt/moudle

3、構建鏡像

dockerfile構建鏡像時會默認從當前目錄讀取并構建，注意命令最后有個英文句號

docker build -f Hadoop-Dockerfile -t jbh/hadoop:2.8.5 .

構建成功：
在這里插入圖片描述可以查看鏡像資訊：

docker images

應該會有jbh/hadoop和centos兩個鏡像

4、根據構建好的鏡像創建并進入容器

創建一個namenode和兩個datanode，命令里的56a73b3d978d是鏡像id（鏡像id可以在docker images下查看，如圖）
在這里插入圖片描述

docker run -d --name hadoop01 --hostname hadoop01 --net jbhnetwork
–ip 172.22.0.2 -P -p 50070:50070 -p 8088:8088 -p 19888:19888 --privileged 56a73b3d978d /usr/sbin/init docker run -d --name hadoop02 --hostname hadoop02 --net jbhnetwork --ip 172.22.0.3 -P --privileged 56a73b3d978d /usr/sbin/init docker run -d --name hadoop03 --hostname
hadoop03 --net jbhnetwork --ip 172.22.0.4 -P --privileged
56a73b3d978d /usr/sbin/init

查看正在運行的容器

docker ps

分別進入三個容器（下面命令中的08fa60c9b188是容器id，可在docker ps中查看）
在這里插入圖片描述

5、修改配置

1.編輯/etc下的hosts檔案，配置ip和hostname的映射
在這里插入圖片描述2. 配置ssh免密登陸
在三臺容器里都進行如下操作

ssh-keygen -t rsa -N ‘’ ssh-copy-id-i~/.ssh/id_rsa.pub hadoop01
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop02 ssh-copy-id -i
~/.ssh/id_rsa.pub hadoop03

  1. 在主節點hadoop01上修改組態檔
    先創建所需目錄

[root@hadoop01 ~]$ mkdir /opt/software/hadoop-2.8.5/tmp [root@hadoop01
~]$ mkdir -p /opt/software/hadoop-2.8.5/dfs/namenode_data
[root@hadoop01 ~]$ mkdir -p
/opt/software/hadoop-2.8.5/dfs/datanode_data [root@hadoop01 ~]$ mkdir
-p /opt/software/hadoop-2.8.5/checkpoint/dfs/cname

再修改/opt/software/hadoop-2.8.5/etc/hadoop/目錄下的組態檔
（具體的注釋可參考這里）

hadoop-env.sh

在這里插入圖片描述
core-site.xml
在這里插入圖片描述hdfs-site.xml
在這里插入圖片描述mapred-site.xml
在這里插入圖片描述yarn-site.xml

在這里插入圖片描述master（在當前組態檔目錄內是不存在master檔案的，用vim寫入內容到master內保存即可）
在這里插入圖片描述

slaves
在這里插入圖片描述
再把配置好的檔案分發到另外兩個節點上：

scp -r /opt/software/hadoop-2.8.5/ root@hadoop02:/opt/software/ scp -r
/opt/software/hadoop-2.8.5/ root@hadoop03:/opt/software/

最后再初始化：

hdfs namenode -format

6、啟動集群

在主節點hadoop01上啟動集群，hadoop02、hadoop03上的相關服務也會啟動

#啟動dfs服務 start-dfs.sh
#啟動yarn服務 start-yarn.sh
#啟動任務歷史服務器 mr-jobhistory-daemon.sh start historyserver

在這里插入圖片描述完成！

7、檢查

可用jps查看行程檢驗是否成功啟動
在這里插入圖片描述也可以在web界面上查看：
Hdfs界面：
在這里插入圖片描述Yarn界面：
在這里插入圖片描述Jobhistory界面：
在這里插入圖片描述驗證hdfs能否正常使用：
新建檔案夾

在這里插入圖片描述web頁面也能看到新建的檔案夾
在這里插入圖片描述洗掉檔案：

在這里插入圖片描述上傳/寫入檔案：
在這里插入圖片描述下載/讀取檔案：
在這里插入圖片描述查看檔案：
在這里插入圖片描述查看空間：
在這里插入圖片描述

8、打包（可選操作）

可將將搭建好的三個容器保存為鏡像并打包成壓縮包：
在這里插入圖片描述在這里插入圖片描述
若想用打包好的壓縮包恢復三個容器，則先把壓縮包恢復成鏡像：

docker load -i hadoop01.tar.gz docker load -i hadoop01.tar.gz docker
load -i hadoop01.tar.gz

再將鏡像恢復成容器（和上面創建容器步驟一樣）：

在這里插入圖片描述

二、yarn配置（By Ninght）

在hadoop2.8.5安裝后自帶的yarn中進行yarn配置
在進入容器后的目錄

/opt/software/hadoop-2.8.5/etc/hadoop

通過vim命令按照下圖編輯yarn-site.xml檔案
在這里插入圖片描述在這里插入圖片描述其中：

1.基本引數配置

1>.yarn.resourcemanager.hostname

為全域資源管理器（ResourcManager）的主機名稱

 <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
 </property>

2>.yarn.resourcemanager.address

為ResourceManager 對客戶端暴露的地址，客戶端通過該地址向RM提交應用程式，殺死應用程式，默認值為${yarn.resourcemanager.hostname}:8032

<property>
            <name>yarn.resourcemanager.address</name>
            <value>hadoop01:8032</value>
</property>

3>.yarn.resourcemanager.webapp.address

ResourceManager對外web ui地址，用戶可通過該地址在瀏覽器中查看集群各類資訊，默認值為${yarn.resourcemanager.hostname}:8088

<property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>hadoop01:8088</value>
</property>

4>.yarn.resourcemanager.scheduler.address

ResourceManager 對ApplicationMaster暴露的訪問地址，ApplicationMaster通過該地址向RM申請資源、釋放資源等，

<property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>hadoop01:8030</value>
</property>

5>.yarn.resourcemanager.resource-tracker.address

ResourceManager 對NodeManager暴露的地址.，NodeManager通過該地址向RM匯報心跳，領取任務等，默認值${yarn.resourcemanager.hostname}:8031

<property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>hadoop01:8031</value>
</property>

6>.yarn.resourcemanager.admin.address

ResourceManager 對管理員暴露的訪問地址，管理員通過該地址向RM發送管理命令等，默認值為${yarn.resourcemanager.hostname}:8033

<property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>hadoop01:8033</value>
</property>

7>.yarn.nodemanager.aux-services

NodeManager上運行的附屬服務，需配置成mapreduce_shuffle，才可運行MapReduce程式

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
</property>

8>.yarn.log-aggregation-enable

是否啟用日志聚集功能，默認值為false

 <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
 </property>

9>. yarn.log-aggregation.retain-seconds

在HDFS上聚集的日志最多保存的時間，默認值為-1

<property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>648000</value>
</property>

10>.yarn.application.classpath

用于引入hadoop路徑
在終端中通過

hadoop classpath

命令可以查看

在這里插入圖片描述

<property>
        <name>yarn.application.classpath</name>
        <value>/opt/software/hadoop-2.8.5/etc/hadoop:/opt/software/hadoop-2.8.5/share/hadoop/common/lib/*:/opt/software/hadoop-2.8.5/share/hadoop/common/*:/opt/software/hadoop-2.8.5/share/hadoop/hdfs:/opt/software/hadoop-2.8.5/share/hadoop/hdfs/lib/*:/opt/software/hadoop-2.8.5/share/hadoop/hdfs/*:/opt/software/hadoop-2.8.5/share/hadoop/yarn/lib/*:/opt/software/hadoop-2.8.5/share/hadoop/yarn/*:/opt/software/hadoop-2.8.5/share/hadoop/mapreduce/lib/*:/opt/software/hadoop-2.8.5/share/hadoop/mapreduce/*:/opt/software/hadoop-2.8.5/contrib/capacity-scheduler/*.jar
        </value>
</property>

11>.yarn.nodemanager.pmem-check-enabled

是否啟動一個執行緒檢查每個任務正使用的物理記憶體量，如果任務超出分配值，則直接將其殺掉，默認是true，

<property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
</property>

12>.yarn.nodemanager,vmem-check-enabled

是否啟動一個執行緒檢查每個任務正使用的虛擬記憶體量，如果任務超出分配值，則直接將其殺掉，默認是true，

 <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
 </property>

2.遇見問題及解決方法

這里配置完成后，在啟動yarn時出現了只有nodemanager而沒有啟動resourcemanager的情況，通過修改容器中

/opt/software/hadoop-2.8.5/sbin

路徑下的腳本可以解決

vim yarn-daemon.sh

找到下面的陳述句

nohup nice -n Y A R N N I C E N E S S " YARN_NICENESS " YARNN?ICENESS"HADOOP_YARN_HOME"/bin/yarn --config $YARN_CONF_DIR c o m m a n d " command " command"@" > “$log” 2>&1 < /dev/null &

將陳述句前的

nohup

刪去即可

在這里插入圖片描述
這時再次啟動yarn可以發現能夠正常拉起resourcemanager行程
在這里插入圖片描述

三、spark搭建程序（By 哎呀）

1、安裝Spark3.0.0

1.首先下載Spark安裝檔案：
訪問Spark官方下載地址（以下操作均在主節點上進行）

2.下載如下名稱檔案：

spark-3.0.0-bin-without-hadoop.taz

3.以下裝配操作需要環境如下：
JAVA JDK 1.8
Hadoop 2.8.5及以上的集群環境

4.下載完畢后，用以下命令解壓安裝包并修改目錄權限：

sudo tar –zxf ~/downloads/spark-3.0.0-bin-without-hadoop.taz -C/usr/local

~/downloads………taz 為壓縮檔案的路徑及檔案名，/usr/local為壓縮到的路徑

cd /usr/local
sudo mv ./spark-3.0.0-bin-without-hadoop/ ./spark

賦予權限，其中hadoop為用戶名

sudo chown –R hadoop ./spark

2、修改組態檔

1.修改bashrc
在節點主機終端執行如下命令：

vim ~/.bashrc

在.bashrc中添加如下配置

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME=/opt/moudle/jdk1.8.0_192
export JRE_HOME=${JAVA_HOME}/jre

保存并退出后運行source命令，使修改生效

source ~/.bashrc

2.修改slaves組態檔

cd /usr/local/spark/
cp ./conf/slaves.template ./conf/slaves

把默認內容localhost換成以下內容

hadoop01
hadoop02

以上分別為兩個從節點的主機名
3．配置spark-env.sh檔案

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

編輯spark-env.sh，添加以下內容

export SPARK_DIST_CLASSPATH=$(/opt/software/hadoop-2.8.5/bin/hadoop classpath)

括號內為hadoop路徑

export HADOOP_CONF_DIR=/opt/software/hadoop-2.8.5/etc/hadoop
export SPARK_MASTER_IP=10.249.45.223

等號后為主節點IP

4．發送檔案夾到從節點
在主節點上執行如下命令：

cd /usr/local
tar –zcf ~/spark.master.tar.gz ./spark
cd ~
scp ./spark.master.tar.gz hadoop02:/home/usr/local
scp ./spark.master.tar.gz hadoop03:/home/usr/local

以下操作分別在兩個從節點上執行：

sudo rm –rf /usr/local/spark/
sudo tar-zxf ~/spark.master.tar.gz –C /usr/local
sudo chown –R hadoop /usr/local/spark

3、啟動spark集群

  1. 首先啟動hadoop集群
  2. 啟動master節點
    在Master節點上運行如下命令

cd /usr/local/spark/
sbin/start-master.sh

  1. 啟動從節點
    在Master節點上運行如下命令

cd /usr/local/spark/
sbin/start-slaves.sh

  1. 查看spark啟動后的集群資訊
    在Master主機上打開瀏覽器，訪問http：//master:8080

  2. 節點的關閉

sbin/stop-master.sh
sbin/stop-slaves.sh

再關閉hadoop集群

Spark的webui界面：

在這里插入圖片描述

4、提供一個測驗代碼

from pyspark import SparkConf,SparkContext
conf = SparkConf().setMaster("yarn").setAppName("My App")
sc = SparkContext(conf = conf)
logFile = "hdfs://hadoop01:9000/a1/a1"
logData = sc.textFile(logFile,2).cache()
numAs = logData.filter(lambda line:'a' in line).count()
print('Lines with a:%s'%(numAs))

四、hdfs、spark、spark搭建程序的改進與整合（By 儺儺）

1、改進思路：

1、將等的安裝都寫入dockerfile內，再根據dockerfile構建一個包含hdfs、yarn、spark、java，但沒有組態檔的鏡像，
2、將寫好的組態檔存在宿主機內，然后在根據鏡像創建容器時，通過docker run的-v命令將宿主機內的組態檔掛載到容器內，這樣就免去了每次創建容器時都要重新組態檔的麻煩，
3、將容器內的一些重要檔案如元資料、datanode存盤的檔案等也通過docker run的-v命令映射到宿主機內，防止容器丟失或洗掉時里面這些檔案也隨之丟失，

2、撰寫含hdfs、yarn、spark、java在內的dockerfile：FROM centos:centos7

FROM centos:centos7
MAINTAINER “jbh1283432219@qq.com”
RUN yum -y install openssh-server openssh-clients sudo vim net-tools \
&& ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key \
&& ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key \
&& ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key \
RUN echo “root:root” | chpasswd
RUN mkdir /opt/software && mkdir /opt/moudle
ADD jdk-8u192-linux-x64.tar.gz /opt/moudle
ADD hadoop-2.8.5.tar.gz /opt/software
ADD spark-3.0.0-bin-without-hadoop.tgz /opt/software
ENV HADOOP_HOME /opt/software/hadoop-2.8.5
SPARK_HOME/opt/software/spark-3.0.0-bin-without-hadoop
JAVA_HOME /opt/moudle/jdk1.8.0_192
JRE_HOME ${JAVA_HOME}/jre
CLASSPATH J A V A H O M E / l i b : {JAVA_HOME}/lib: JAVAH?OME/lib:{JRE_HOME}/lib
PATH J A V A H O M E / b i n : {JAVA_HOME}/bin: JAVAH?OME/bin:{HADOOP_HOME}/bin: H A D O O P H O M E / s b i n : {HADOOP_HOME}/sbin: HADOOPH?OME/sbin:{SPARK_HOME}/bin: S P A R K H O M E / s b i n : {SPARK_HOME}/sbin: SPARKH?OME/sbin:PATH
WORKDIR /root
EXPOSE 22
CMD ["/usr/sbin/sshd", “-D”]

3、根據dockerfile創建鏡像

創建鏡像前要確認hadoop、spark、java的安裝包與dockerfile在同一目錄下
hadoop、spark、java的安裝命令：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
wget http://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-without-hadoop.tgz
wget https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz

創建鏡像（這里網路模式使用的是host，與宿主機共享ip）：

docker build --network=host -f dockerfile -t hadooop-spark:2.8.5

.

4、創建容器

1.

存放在宿主機的組態檔有如下幾個
在這里插入圖片描述其中
bashrc檔案配置：

在這里插入圖片描述
Profile檔案配置：
在這里插入圖片描述
hosts檔案配置：
在這里插入圖片描述hadoop檔案夾內的組態檔與上面配置hdfs時的

/opt/software/hadoop-2.8.5/etc/hadoop/

目錄下的組態檔一致

spark檔案夾（相對于上面配置spark時的配置有改動，主要是改變了spark的路徑）：
Spark-env.sh檔案：
在這里插入圖片描述
slaves檔案：
在這里插入圖片描述
dfs、checkpoint、tmp這三個檔案夾不是組態檔，是映射到宿主機、存放容器內重要資料的檔案，
dfs檔案夾內有namenode_data和datanode_data兩個檔案夾，分別存放主節點元資料和從節點存盤的檔案塊，
checkpoint存放有與checkpoint相關的資料檔案，
tmp存放有臨時資料檔案，

2.

根據鏡像創建容器，并用-v命令把存在宿主機里的組態檔掛載到容器內：

docker run -d --name hadoop1 --net host -P --privileged -v
/root/configurationfile/hadoop:/opt/software/hadoop-2.8.5/etc/hadoop
-v /root/configurationfile/hosts:/etc/hosts -v /root/configurationfile/dfs:/opt/software/hadoop-2.8.5/dfs -v
/root/configurationfile/tmp:/opt/software/hadoop-2.8.5/tmp -v
/root/configurationfile/checkpoint/dfs/cname:/opt/software/hadoop-2.8.5/checkpoint/dfs/cname
-v /root/configurationfile/spark/conf:/opt/software/spark-3.0.0-bin-without-hadoop/conf
-v /root/configurationfile/profile:/etc/profile -v /root/configurationfile/bashrc:/root/.bashrc a7621d9796e1
/usr/sbin/init

進入容器后配置ssh后便可使用

五、可能遇到的問題及解決方法（By 儺儺、Ninght）

一、運行Dockerfile構建鏡像程序中RUN yum出錯

解決方法：
1.可能是網路問題，檢查網路是否正常
2.若宿主機網路沒問題，可以嘗試在docker build命令時添加–net=host
3.可能是防火墻未關閉，關閉防火墻

二、ssh連接失敗

解決方法：
查看hosts檔案有沒有配置好主機名和ip的映射，有時候重啟容器后hosts檔案會自動復原

三、成功拉起hdfs、yarn、spark等服務后卻無法打開web ui界面

解決方法：
可能是防火墻未關閉，嘗試關閉防火墻

四、用start-dfs.sh啟動hdfs的時候沒有報錯，但查看從節點的jps卻沒有datanode

在執行檔案系統格式化時，會在namenode資料檔案夾（即組態檔中dfs.name.dir在本地系統的路徑）中保存一個current/VERSION檔案，記錄namespaceID，標識了所格式化的 namenode的版本，如果頻繁的格式化namenode，那么datanode中保存（即組態檔中dfs.data.dir在本地系統的路徑）的current/VERSION檔案只是保存著第一次格式化時的namenode ID，因此造成datanode與namenode之間的id不一致，導致datanode無法啟動
解決方法是洗掉current檔案夾，然后重新hdfs namenode -format進行初始化，

五、啟動yarn時只能拉起nodemanager而不能拉起resourcemanager

解決方法：
通過修改容器中

/opt/software/hadoop-2.8.5/sbin

路徑下的腳本可以解決

vim yarn-daemon.sh

找到下面的陳述句

nohup nice -n Y A R N N I C E N E S S " YARN_NICENESS " YARNN?ICENESS"HADOOP_YARN_HOME"/bin/yarn --config $YARN_CONF_DIR c o m m a n d " command " command"@" > “$log” 2>&1 < /dev/null &

將陳述句前的

nohup

刪去即可

在這里插入圖片描述
這時再次啟動yarn可以發現能夠正常拉起resourcemanager行程
在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/138624.html

標籤：其他

上一篇：阿里P8大牛力薦Java程式員進階必讀的書籍清單（附電子版）

下一篇：《離線和實時大資料開發實戰》（二）大資料平臺架構 & 技術概覽

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • vue移動端上拉加載

    可能做得過于簡單或者比較low，請各位大佬留情，一起探討技術 ......

    uj5u.com 2020-09-10 04:38:07 more
  • 優美網站首頁，頂部多層導航

    一個個人用的瀏覽器首頁，可以把一下常用的網站放在這里，平常打開會比較方便。 第一步，HTML代碼 <script src=https://www.cnblogs.com/szharf/p/"js/jquery-3.4.1.min.js"></script> <div id="navigate"> <ul> <li class="labels labels_1"> ......

    uj5u.com 2020-09-10 04:38:47 more
  • 頁面為要加<!DOCTYPE html>

    最近因為寫一個js函式，需要用到$(window).height(); 由于手寫demo的時候，過于自信，其實對前端方面的認識也不夠體系，用文本檔案直接敲出來的html代碼，第一行沒有加上<!DOCTYPE html> 導致了$(window).height();的結果直接是整個document的高 ......

    uj5u.com 2020-09-10 04:38:52 more
  • WordPress網站程式手動升級要做好資料備份

    WordPress博客網站程式在進行升級前，必須要做好網站資料的備份，這個問題良家佐言是遇見過的；在剛開始接觸WordPress博客程式的時候，因為升級問題和博客網站的修改的一些嘗試，良家佐言是吃盡了苦頭。因為購買的是西部數碼的空間和域名，每當佐言把自己的WordPress博客網站搞到一塌糊涂的時候 ......

    uj5u.com 2020-09-10 04:39:30 more
  • WordPress程式不能升級為5.4.2版本的原因

    WordPress是一款個人博客系統，受到英文博客愛好者和中文博客愛好者的追捧，并逐步演化成一款內容管理系統軟體；它是使用PHP語言和MySQL資料庫開發的,用戶可以在支持PHP和MySQL資料庫的服務器上使用自己的博客。每一次WordPress程式的更新，就會牽動無數WordPress愛好者的心， ......

    uj5u.com 2020-09-10 04:39:49 more
  • 使用CSS3的偽元素進行首字母下沉和首行改變樣式

    網頁中常見的一種效果，首字改變樣式或者首行改變樣式，效果如下圖。 代碼： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, ......

    uj5u.com 2020-09-10 04:40:09 more
  • 關于a標簽的講解

    什么是a標簽？ <a> 標簽定義超鏈接，用于從一個頁面鏈接到另一個頁面。 <a> 元素最重要的屬性是 href 屬性，它指定鏈接的目標。 a標簽的語法格式：<a href=https://www.cnblogs.com/summerxbc/p/"指定要跳轉的目標界面的鏈接">需要展示給用戶看見的內容</a> a標簽 在所有瀏覽器中，鏈接的默認外觀如下： 未被訪問的鏈接帶 ......

    uj5u.com 2020-09-10 04:40:11 more
  • 前端輪播圖

    在需要輪播的頁面是引入swiper.min.js和swiper.min.css swiper.min.js地址： 鏈接：https://pan.baidu.com/s/15Uh516YHa4CV3X-RyjEIWw 提取碼：4aks swiper.min.css地址 鏈接：https://pan.b ......

    uj5u.com 2020-09-10 04:40:13 more
  • 如何設定html中的背景圖片（全屏顯示，且不拉伸）

    1 <style>2 body{background-image:url(https://uploadbeta.com/api/pictures/random/?key=BingEverydayWallpaperPicture); 3 background-size:cover;background ......

    uj5u.com 2020-09-10 04:40:16 more
  • Java學習——HTML詳解（上）

    HTML詳解 初識HTML Hyper Text Markup Language（超文本標記語言） 1 <!--DOCTYPE:告訴瀏覽器我們要使用什么規范--> 2 <!DOCTYPE html> 3 <html lang="en"> 4 <head> 5 <!--meta 描述性的標簽，描述一些 ......

    uj5u.com 2020-09-10 04:40:33 more
最新发布
  • 我的第一個NPM包:panghu-planebattle-esm(胖虎飛機大戰)使用說明

    好家伙,我的包終于開發完啦 歡迎使用胖虎的飛機大戰包!! 為你的主頁添加色彩 這是一個有趣的網頁小游戲包,使用canvas和js開發 使用ES6模塊化開發 效果圖如下: (覺得圖片太sb的可以自己改) 代碼已開源!! Git: https://gitee.com/tang-and-han-dynas ......

    uj5u.com 2023-04-20 07:59:23 more
  • 生產事故-走近科學之消失的JWT

    入職多年，面對生產環境，盡管都是小心翼翼，慎之又慎，還是難免捅出簍子。輕則滿頭大汗，面紅耳赤。重則系統停擺，損失資金。每一個生產事故的背后，都是寶貴的經驗和教訓，都是專案成員的血淚史。為了更好地防范和遏制今后的各類事故，特開此專題，長期更新和記錄大大小小的各類事故。有些是親身經歷，有些是經人耳傳口授 ......

    uj5u.com 2023-04-18 07:55:04 more
  • 記錄--Canvas實作打飛字游戲

    這里給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 打開游戲界面，看到一個畫面簡潔、卻又富有挑戰性的游戲。螢屏上，有一個白色的矩形框，里面不斷下落著各種單詞，而我需要迅速地輸入這些單詞。如果我輸入的單詞與螢屏上的單詞匹配，那么我就可以獲得得分；如果我輸入的單詞錯誤或者時間過長，那么我就會輸 ......

    uj5u.com 2023-04-04 08:35:30 more
  • 了解 HTTP 看這一篇就夠

    在學習網路之前，了解它的歷史能夠幫助我們明白為何它會發展為如今這個樣子，引發探究網路的興趣。下面的這張圖片就展示了“互聯網”誕生至今的發展歷程。 ......

    uj5u.com 2023-03-16 11:00:15 more
  • 藍牙-低功耗中心設備

    //11.開啟藍牙配接器 openBluetoothAdapter //21.開始搜索藍牙設備 startBluetoothDevicesDiscovery //31.開啟監聽搜索藍牙設備 onBluetoothDeviceFound //30.停止監聽搜索藍牙設備 offBluetoothDevi ......

    uj5u.com 2023-03-15 09:06:45 more
  • canvas畫板（滑鼠和觸摸）

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>canves</title> <style> #canvas { cursor:url(../images/pen.png),crosshair; } #canvasdiv{ bo ......

    uj5u.com 2023-02-15 08:56:31 more
  • 手機端H5 實作自定義拍照界面

    手機端 H5 實作自定義拍照界面也可以使用 MediaDevices API 和 <video> 標簽來實作，和在桌面端做法基本一致。 首先，使用 MediaDevices.getUserMedia() 方法獲取攝像頭媒體流，并將其傳遞給 <video> 標簽進行渲染。 接著，使用 HTML 的 < ......

    uj5u.com 2023-01-12 07:58:22 more
  • 記錄--短視頻滑動播放在 H5 下的實作

    這里給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 短視頻已經無數不在了，但是主體還是使用 app 來承載的。本文講述 H5 如何實作 app 的視頻滑動體驗。 無聲勝有聲，一圖頂百辯，且看下圖： 網址鏈接（需在微信或者手Q中瀏覽） 從上圖可以看到，我們主要實作的功能也是本文要講解的有： ......

    uj5u.com 2023-01-04 07:29:05 more
  • 一文讀懂 HTTP/1 HTTP/2 HTTP/3

    從 1989 年萬維網（www）誕生，HTTP（HyperText Transfer Protocol）經歷了眾多版本迭代，WebSocket 也在期間萌芽。1991 年 HTTP0.9 被發明。1996 年出現了 HTTP1.0。2015 年 HTTP2 正式發布。2020 年 HTTP3 或能正... ......

    uj5u.com 2022-12-24 06:56:02 more
  • 【HTML基礎篇002】HTML之form表單超詳解

    ??一、form表單是什么

    ??二、form表單的屬性

    ??三、input中的各種Type屬性值

    ??四、標簽 ......

    uj5u.com 2022-12-18 07:17:06 more

Copyright © 2010-2020 有解無憂