Hadoop筆記（偽分布事搭建）-有解無憂

HDFS是進行存盤的，YARN是進行調度的

1.切換到hadoop下面的etc（組態檔都在etc下面）

2.在hadoop中配置core-site.xml

Vi core-site.xml
指定HDFS中namenode的地址，將命令放到configuration標簽中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop100:9820</value>
</property>

<!-- 指定Hadoop運行時產生檔案的存盤目錄 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>

3.在hadoop中配置hdfs-site.xml

命令：vi hdfs-site.xml
在configuration中指定HDFS的數量
<configuration>
<!-- 指定HDFS副本的數量 -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>

4.格式化NameNode（第一次啟動時格式化，以后就不要總格式化）

格式化命令：hdfs namenode –format

5.啟動namenode

命令：hdfs  - -daemon  start  namenode

6.啟動datanode

命令：hdfs  --daemon start datanode

7.配置yarn-site.xml

命令：vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
 <property>
  <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>

8.配置mapred-site.xml

命令：[root@hadoop100 hadoop]# vi mapred-site.xml

<configuration>
<!-- 指定MR運行在YARN上 -->
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>
</configuration>

9.啟動resourcemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start resourcemanager

10.啟動nodemanager

命令：[root@hadoop100 hadoop]# yarn --daemon start nodemanager

11.Jsp查看java行程

命令：jsp

12.在HDFS中創建檔案夾/user/input

命令：hdfs dfs -mkdir -p /user/input

13.將檔案上傳到HDFS

命令：hdfs  dfs  –put 要上傳的檔案名 上傳的地址
案例: hdfs  dfs  -put  wcinput/wc.input   /user/input/

14.查看hdfs的檔案目錄

命令：Hdfs dfs –ls 檔案路徑   
注意，這里面的根目錄不是linux的根目錄
案例：hdfs dfs -ls /user/input/

15.查看hdfs中檔案內容

命令：hdfs dfs –cat 檔案名
案例：hdfs dfs -cat /user/input/wc.input

16.執行檔案

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 執行的檔案位置 輸出的檔案位置
案例：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/input  /user/output

17.查看執行后的結果

命令：hdfs dfs -cat 輸出檔案路徑/*
案例：hdfs dfs -cat /user/output/*

18.停止行程hdfa-daemon stop namenode Hdfs維護了一個抽象的目錄

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/377004.html

標籤：其他

上一篇：Java資料結構Day14--冒泡排序優化

下一篇：hive關于一個表的操作