文章目錄
- 導學
- 大資料概述
- 初識Hadoop
- 概述
- 核心組件
- HDFS分布式檔案系統
- 資源調度系統YARN
- MapReduce
- 優勢
- 發展史
- 生態系統
- 發行版本選擇
- 企業應用案例
- 第3章 分布式檔案系統HDFS
- 設計分布式檔案系統
- 架構
- 副本機制
- 環境搭建
- Mac上的仿xshell
- CDH版-hadoop
- jdk
- ssh免密登錄
- 解決ifconfig命令失效
- 解決ssh報錯
- hadoop
- hdfs配置偽分布式1個節點
- 啟動hdfs
- 停止hdfs
- HDFS 常用shell指令
- 配置hadoop/bin環境變數
- 指令幫助
- 前提環境-啟動hdfs
- 本地上傳檔案到hdfs
- HDFS創建遞回檔案夾-p
- 遞回查看檔案夾lsr
- HDFS檔案下載到本地 -get
- HDFS洗掉檔案，檔案夾
- 通過頁面瀏覽128M的分塊
- 配置Mac本地host映射
- Java-API操作HDFS檔案
- host映射
- 開發環境
- Java-API
- 解決角色不同，不可寫
- 解決由于hdfs安全模式無法操作
- HDFS-JavaAPI增刪改查
- HDFS讀寫流程
- 寫資料
- 讀資料
- HDFS優缺點
- 總結
- 第4章 分布式資源調度YARN
- 產生背景
- 概述
- 架構
- 執行流程
- 環境搭建
- 提交作業mr到yarn
- 總結
- 第5章 分布式計算框架MapReduce
- 概述
- WorldCount詞頻統計案例
- 編程模型
- map和reduce執行流程
- 架構
- 1.x
- 2.x
- Java寫WordCount
- JAVA代碼
- 手動洗掉
- java自動洗掉
- MapReduce編程之Combiner
- MapReduce之Partitioner
- MapReduce配置history
- 解決聚合沒有打開 log無法查看
- 第6章 Hadoop專案實戰
導學
開發環境
學做鏡像
生態圈
目錄
實戰
分析客戶端登錄日志
與spring結合使用
擴展及新技術
大資料概述
場景
足球預判分析人物特性
購物推薦
來源
4v特征
量大、種類多、價值密度低、速度快
技術
采集-存盤-分析-可視化
技術架構挑戰
量大，無法用結構化資料庫，關系型資料庫
經典資料庫沒有考慮資料多類別 比如json
實時性的技術挑戰
網路架構、資料中心、運維挑戰
其他挑戰
資料隱私
如何對大資料存盤和分析
谷歌可以支持pc機處理，成本低，但容錯要處理特別好，只有技術論文，沒有技術實作
hadoop技術實作
mr mr
bigtable hbase
gfs hdfs
學習
官網-英文-實戰-社區活動-動手練習-持續
初識Hadoop
概述
名字源于孩子玩具hadoop
官網
http://hadoop.apache.org/
開源、分布式存盤+計算、可擴展
核心組件
HDFS分布式檔案系統
擴展、容錯（副本）、海量存盤
128m資料塊
檔案-分塊-備份 （編號）
資源調度系統YARN
Hadoop1.x只支持rm，但Hadoop2.x通過Yarn支持其他（spark）
MapReduce
shuffing重新洗牌，把相同的key分到一個地方
優勢
發展史
infoq.com
https://www.infoq.cn/article/hadoop-ten-years-interpretation-and-development-forecast
谷歌
Apache hadoop開源 2006， 900節點1T 209秒 世界最快 2008 商業化公司 首Hadoop發行版 《權威指南》2009
Hbse、Pig、Hive、Zookeep脫離Hadoop成為Apache頂級專案
Spark逐漸代替MR成為Hadoop執行引擎 2014
IBM-基于hadoop資料分析軟體
移動-大云 研究hadoop
阿里-云梯 處理電子商務資料
Mapr公司 推出mapr和分布式檔案系統
現在Hadoop3.x
生態系統
有hadoop不夠，mr只能實作離線批處理，但如果還要實時計算還需要生態系統的其他玩家 spark
39.47
hive: sql->mr 適用離線檔案分析
R 統計分析
Mathout深度學習 往spark方向去了，底層mr不更新了
pig腳本->mr 適合離線分析
Oozie 依賴關系作業流
Zookeeper分布式協調管理多組件 （Hbase單點故障問題）
Flume分布式日志收集
Sqoop傳統資料庫和hadoop資料傳輸
Hbase結構化可伸縮的存盤資料庫 實時查詢資料 快查（s級別上）
發行版本選擇
解決jar包沖突
商業按照
CDH提供cm碼，瀏覽器下一步安裝，檔案豐富，Spark合作，cm不開源可能有坑
https://archive.cloudera.com/cdh5/cdh/5/
選擇尾綴相同的tar.gz cdh
HDP安裝和升級，添加和洗掉節點比較費勁
CDH >HDP > Apache
企業應用案例
預測發貨 亞馬遜
構建購買人群模型，發郵件 懷孕
啤酒和尿布
第3章 分布式檔案系統HDFS
設計分布式檔案系統
每個檔案128M存入前分塊，解決并行處理提升效率，多副本存盤負載均衡，
架構
運行在Linux上HDFS由Java撰寫
副本機制
分塊-副本不同節點上
hdfs不支持多并發寫，
副本存放策略
先同機架，后不同機架，為了安全應該最少一個機架
副本掛掉之后可以到另一個機架獲取
環境搭建
hadoop
java-jdk
mysql
### 關閉防火墻
設定防火墻
查看防火墻狀態
systemctl status firewalld.service
停止firewall
systemctl stop firewalld.service
禁止firewall開機啟動
systemctl disable firewalld.service
Mac上的仿xshell
https://bennyrhys.blog.csdn.net/article/details/108904326
CDH版-hadoop
cdh版本的hadoop和其他第三方具有穩定性
https://archive.cloudera.com/cdh5/cdh/5/
hadoop需要配合java環境和ssh使用
java環境
ssh
先搭建偽分布式
jdk
// 解壓
tar -zxvf 待解壓檔案
-C 指定目錄解壓
// 配置
vi /etc/profile
export JAVA_HOME=/root/software/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
// 重繪
source /etc/profile
// 驗證
java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
tar -zxvf 檔案 -C 解壓路徑
配置環境變數
驗證生效
source /etc/pro // 也可以這樣
ssh免密登錄
如果提示沒有可用的軟體包，是本機安裝的時候就自動安裝了
sudo yum install ssh
沒有可用軟體包 ssh，
錯誤：無須任何處理
[root@hadoop01 jdk1.8.0_91]# ssh-keygen -t rsa
// 連續回車
// 存盤
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
// 進入存盤 .sh查
[root@hadoop01 ~]# ls -al
.開頭目錄默認隱藏
ls -al // 展示.開頭檔案進入目錄
拷貝檔案
[root@hadoop01 .ssh]# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[root@hadoop01 .ssh]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDcNTPFpbnrmR3TAp+3Hw8aFpr7uGp88vzCJi3BCn6EIInEIWp0LMgDglDnUx3OJ8/fg2bNKfrukWmcKQUcpLXrXlw0cFsSHM9Jwh1weNgq3JBsS3dfQ8Vu5OdNkOL85PwbL3/K9BdkZcJhtCKEYGuyK20XMgrD+8WHGxtvTXX6G3WstvbuzLU/ex+K1zopjb12z9gJ1tpUZyCShllnU/NbSQMeMPSOKyb2Z18YGF+ienOf1lfklzE9zj4LGgxG5gQQtgmSWrI85sOrBKqCgzBBVYxA2Rh97XKqbJlD9DdOoc0F4kBBBz6i1pJA4jDg8shEpfz/jD8oKunS7UQLQxEt
root@hadoop01
// 驗證登錄
[root@hadoop01 .ssh]# ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is 84:7e:3a:83:2a:8e:26:e3:ba:15:72:36:4b:05:45:d6.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Last login: Thu Oct 1 12:13:45 2020 from 192.168.210.1
[root@hadoop01 ~]# exit
登出
// 解決ssh hadoop01 找不到名稱
[root@hadoop01 ~]# ssh hadoop01
The authenticity of host 'hadoop01 (::1)' can't be established.
ECDSA key fingerprint is 84:7e:3a:83:2a:8e:26:e3:ba:15:72:36:4b:05:45:d6.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop01' (ECDSA) to the list of known hosts.
Last login: Sun Oct 4 02:22:22 2020 from 192.168.210.1
[root@hadoop01 ~]# exit
登出
Connection to hadoop01 closed.
[root@hadoop01 ~]# ssh hadoop01
Last login: Sun Oct 4 02:22:32 2020 from localhost
[root@hadoop01 ~]# exit
登出
Connection to hadoop01 closed.
驗證是否配置成功
解決ifconfig命令失效
沒有安裝ifconfig等命令，運行ifconfig命令就會出錯，
解決方法：
yum search ifconfig
yum install net-tools.x86_64
解決ssh報錯
Linux-SSH報錯：Could not resolve hostname node1: Name or service not know
#vi /etc/hosts
127.0.0.1 localhost hadoop01 localhost4 localhost4.localdomain4
::1 localhost hadoop01 localhost6 localhost6.localdomain6
// 重啟
reboot
hadoop
bin檔案
客戶端
洗掉所有cmd檔案，這是windows上使用的
[root@hadoop01 hadoop-2.6.0-cdh5.7.0]# cd bin
[root@hadoop01 bin]# ll
總用量 84
-rwxr-xr-x. 1 1106 4001 5509 3月 24 2016 hadoop
-rwxr-xr-x. 1 1106 4001 8298 3月 24 2016 hadoop.cmd
-rwxr-xr-x. 1 1106 4001 12175 3月 24 2016 hdfs
-rwxr-xr-x. 1 1106 4001 6915 3月 24 2016 hdfs.cmd
-rwxr-xr-x. 1 1106 4001 5463 3月 24 2016 mapred
-rwxr-xr-x. 1 1106 4001 5949 3月 24 2016 mapred.cmd
-rwxr-xr-x. 1 1106 4001 1776 3月 24 2016 rcc
-rwxr-xr-x. 1 1106 4001 12176 3月 24 2016 yarn
-rwxr-xr-x. 1 1106 4001 10895 3月 24 2016 yarn.cmd
[root@hadoop01 bin]# rm *.cmd
rm：是否洗掉普通檔案 "hadoop.cmd"？
rm：是否洗掉普通檔案 "hdfs.cmd"？
rm：是否洗掉普通檔案 "mapred.cmd"？
rm：是否洗掉普通檔案 "yarn.cmd"
etc/hadoop
組態檔
sbin
啟動集群的
hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
案例使用
hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
hadoop組態檔的修改
etc/hadoop
// 獲取java位置
[root@hadoop01 ~]# echo $JAVA_HOME
/root/software/jdk1.8.0_91
//修改檔案
hadoop]# vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/root/software/jdk1.8.0_91
hdfs配置偽分布式1個節點
etc/hadoop/core-site.xml:
// hdfs生成目錄
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:8020</value>
</property>
// 解決：臨時目錄變指定目錄hdfs位置(注意創建目錄)
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
etc/hadoop/hdfs-site.xml:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
// 集群slave，1個nameNode和多個dateNode
有多少個dateNode，直接把hostname寫到slaves中
vi slaves
hadoop01
[root@hadoop01 ~]# mkdir hadoop
[root@hadoop01 ~]# cd hadoop/
[root@hadoop01 hadoop]# mkdir tmp
[root@hadoop01 hadoop]# cd tmp/
[root@hadoop01 tmp]# ll
總用量 0
[root@hadoop01 tmp]# pwd
/root/hadoop/tmp
啟動hdfs
1格式化檔案系統
// hdfs格式化啟動（一次啟動，不可多次啟動）
$ bin/hdfs namenode -format
// 過時hadoop改用hdfs
DEPRECATED: Use of this script to execute hdfs command is deprecated.
bin]# ./hadoop namenode -format
2啟動hdfs
Start NameNode daemon and DataNode daemon:
$ sbin/start-dfs.sh
sbin]# ./start-dfs.sh
yes
// 驗證1 jps
[root@hadoop01 sbin]# jps
2599 DataNode
2521 NameNode
2778 SecondaryNameNode
2890 Jps
// 假設出現問題追蹤日志 out->log 啟動時有路徑
sbin]# cat /root/software/hadoop-2.6.0-cdh5.7.0/logs/hadoop-root-namenode-hadoop01.log
// 驗證2 網頁
http://192.168.210.121:50070/
頁面可以查看當前活躍節點
存活的節點資訊
日志目錄輸出 data name namesecondary
[root@hadoop01 ~]# cd /root/hadoop/tmp/
[root@hadoop01 tmp]# ll
總用量 0
drwxr-xr-x. 5 root root 48 10月 4 06:36 dfs
[root@hadoop01 tmp]# cd dfs/
[root@hadoop01 dfs]# ll
總用量 0
drwx------. 3 root root 38 10月 4 06:36 data
drwxr-xr-x. 3 root root 38 10月 4 06:36 name
drwxr-xr-x. 3 root root 38 10月 4 06:38 namesecondary
停止hdfs
[root@hadoop01 sbin]# ./stop-dfs.sh
[root@hadoop01 sbin]# jps
3243 Jps
HDFS 常用shell指令
配置hadoop/bin環境變數
vi /etc/profile
export HADOOP_HOME=/root/software/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile
指令幫助
測驗查看指令幫助
hdfs
Usage: hdfs [--config confdir] COMMAND
where COMMAND is one of:
dfs run a filesystem command on the file systems supported in Hadoop.
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
journalnode run the DFS journalnode
zkfc run the ZK Failover Controller daemon
datanode run a DFS datanode
dfsadmin run a DFS admin client
haadmin run a DFS HA admin client
fsck run a DFS filesystem checking utility
balancer run a cluster balancing utility
jmxget get JMX exported values from NameNode or DataNode.
mover run a utility to move block replicas across
storage types
oiv apply the offline fsimage viewer to an fsimage
oiv_legacy apply the offline fsimage viewer to an legacy fsimage
oev apply the offline edits viewer to an edits file
fetchdt fetch a delegation token from the NameNode
getconf get config values from configuration
groups get the groups which users belong to
snapshotDiff diff two snapshots of a directory or diff the
current directory contents with a snapshot
lsSnapshottableDir list all snapshottable dirs owned by the current user
Use -help to see options
portmap run a portmap service
nfs3 run an NFS version 3 gateway
cacheadmin configure the HDFS cache
crypto configure HDFS encryption zones
storagepolicies list/get/set block storage policies
version print the version
提示使用hadoop fs + 引數
[root@hadoop01 bin]# hdfs dfs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
前提環境-啟動hdfs
[root@hadoop01 sbin]# ./start-dfs.sh
[root@hadoop01 sbin]# jps
3665 DataNode
3555 NameNode
3925 Jps
3822 SecondaryNameNode
本地上傳檔案到hdfs
創建本地檔案/root/data
[root@hadoop01 ~]# mkdir data
[root@hadoop01 ~]# cd data/
[root@hadoop01 data]# vi hello.txt
hello world
hello hadoop
hello hdfs
上傳檔案
[root@hadoop01 ~]# cd /root/data/
[root@hadoop01 data]# hadoop fs -ls /
20/10/04 07:29:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@hadoop01 data]# hadoop fs -put hello.txt /
20/10/04 07:29:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@hadoop01 data]# hadoop fs -ls /
20/10/04 07:29:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:29 /hello.txt
[root@hadoop01 data]# hadoop fs -cat /hello.txt
20/10/04 07:30:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hello world
hello hadoop
hello hdfs
法2copy
[root@hadoop01 data]# hadoop fs -copyFromLocal hello.txt /hello/a/b/h.txt
20/10/04 07:39:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@hadoop01 data]# hadoop fs -lsr /
lsr: DEPRECATED: Please use 'ls -R' instead.
20/10/04 07:39:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a
drwxr-xr-x - root supergroup 0 2020-10-04 07:39 /hello/a/b
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:39 /hello/a/b/h.txt
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:29 /hello.txt
[root@hadoop01 data]# hadoop fs -cat /hello/a/b/h.txt
20/10/04 07:39:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hello world
hello hadoop
hello hdfs
HDFS創建遞回檔案夾-p
// mkdir -p 遞回創建hdfs上的檔案夾
[root@hadoop01 data]# hadoop fs -mkdir -p /hello/a/b
20/10/04 07:32:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@hadoop01 data]# hadoop fs -ls /
20/10/04 07:33:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:29 /hello.txt
[root@hadoop01 data]# hadoop fs -ls /hello
20/10/04 07:34:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a
[root@hadoop01 data]# hadoop fs -ls /hello/a
20/10/04 07:34:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a/b
遞回查看檔案夾lsr
過期建議使用-R
[root@hadoop01 data]# hadoop fs -lsr /
lsr: DEPRECATED: Please use 'ls -R' instead.
20/10/04 07:35:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a/b
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:29 /hello.txt
HDFS檔案下載到本地 -get
[root@hadoop01 data]# ls
hello.txt
[root@hadoop01 data]# hadoop fs -get /hello/a/b/h.txt
20/10/04 07:41:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[root@hadoop01 data]# ls
hello.txt h.txt
HDFS洗掉檔案，檔案夾
// 洗掉檔案rm
[root@hadoop01 data]# hadoop fs -rm /hello
20/10/04 07:43:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
rm: `/hello': Is a directory
[root@hadoop01 data]# hadoop fs -rm /hello.txt
20/10/04 07:44:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Deleted /hello.txt
[root@hadoop01 data]# hadoop fs -ls -R /
20/10/04 07:44:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello
drwxr-xr-x - root supergroup 0 2020-10-04 07:32 /hello/a
drwxr-xr-x - root supergroup 0 2020-10-04 07:39 /hello/a/b
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:39 /hello/a/b/h.txt
// 洗掉檔案夾必須遞回 -R
[root@hadoop01 data]# hadoop fs -rm -R /hello
20/10/04 07:45:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Deleted /hello
[root@hadoop01 data]# hadoop fs -ls -R /
通過頁面瀏覽128M的分塊
http://192.168.210.121:50070/
上傳檔案小于128，和大于128的情況
// h可以展示暫用空間
[root@hadoop01 software]# ls -lh
總用量 472M
drwxr-xr-x. 15 1106 4001 4.0K 10月 4 06:35 hadoop-2.6.0-cdh5.7.0
-rw-r--r--. 1 root root 298M 10月 1 12:28 hadoop-2.6.0-cdh5.7.0.tar.gz
drwxr-xr-x. 8 10 143 4.0K 4月 1 2016 jdk1.8.0_91
-rw-r--r--. 1 root root 173M 10月 1 12:29 jdk-8u91-linux-x64.tar.gz
-rw-r--r--. 1 root root 961K 10月 1 12:28 mysql-connector-java-5.1.38.jar
[root@hadoop01 software]# hadoop fs -put hadoop-2.6.0-cdh5.7.0.tar.gz /
小于128，1塊
大于128，298，分成3塊
配置Mac本地host映射
bennyrhys$ sudo vim /etc/hosts
# 大資料hadoop測驗
192.168.210.121 hadoop01
192.168.210.122 hadoop02
192.168.210.123 hadoop03
Java-API操作HDFS檔案
host映射
本地映射
bennyrhys$ vim /etc/hosts
# 大資料hadoop測驗
192.168.210.121 hadoop01
192.168.210.122 hadoop02
192.168.210.123 hadoop03
centos映射
Centos7和別的版本有點區別
uname -n ：查看host對應的域名
1 先在/etc/hostname 配置想要的域名 默認localhost.localdomain修改hadoop101
2 在/etc/hosts 配置ip和域名映射 192.168.31.101 hadoop101
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.210.121 hadoop01
192.168.210.122 hadoop02
192.168.210.123 hadoop03
開發環境
創建本地maven專案
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
<hadoop.version>2.7.3</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
指定cdh的本地倉庫和url地址（默認沒有cdh的包）
https://repository.cloudera.com/
cdh版本安裝
https://repository.cloudera.com/cloudera/webapp/#/home
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
<hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
</properties>
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
</dependencies>
Java-API
注意匯入的包
虛擬機組態檔
[root@hadoop01 hadoop]# vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.210.121:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
Java代碼
package com.bennyrhys.hadoop.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.net.URI;
/**
* HADDOP HDFS API 操作
* @Author bennyrhys
* @Date 2020-10-04 13:34
*/
public class HDFSApp {
public static final String HDFS_PATH = "hdfs://hadoop01:9000";
FileSystem fileSystem = null;
Configuration configuration = null;
/**
* 創建目錄
* @throws Exception
*/
@Test
public void mkdir() throws Exception{
/*System.setProperty("HADOOP_USER_NAME","root");
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
conf.set("dfs.replication", "1");
FileSystem fs = FileSystem.get(conf);
fs.mkdirs(new Path("/hdfsapi1/test"));*/
fileSystem.mkdirs(new Path("/hdfsapi2/test"));
}
@Before
public void setUp() throws Exception {
System.out.println("HDFS.setUp");
configuration = new Configuration();
fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
}
@After
public void tearDown() throws Exception {
configuration = null;
fileSystem = null;
System.out.println("HDFS.tearDown");
}
}
驗證虛擬機生成檔案
[root@hadoop01 hadoop]# hadoop fs -ls -R /
20/10/04 12:28:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r-- 1 root supergroup 311585484 2020-10-04 07:52 /hadoop-2.6.0-cdh5.7.0.tar.gz
drwxr-xr-x - root supergroup 0 2020-10-04 12:14 /hdfsapi
drwxr-xr-x - root supergroup 0 2020-10-04 12:14 /hdfsapi/test
-rw-r--r-- 1 root supergroup 37 2020-10-04 07:47 /hello.txt
解決角色不同，不可寫
fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
解決由于hdfs安全模式無法操作
關閉安全模式
hdfs dfsadmin -safemode leave
HDFS-JavaAPI增刪改查
package com.bennyrhys.hadoop.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;
/**
* HADDOP HDFS API 操作
* @Author bennyrhys
* @Date 2020-10-04 13:34
*/
public class HDFSApp {
public static final String HDFS_PATH = "hdfs://hadoop01:9000";
FileSystem fileSystem = null;
Configuration configuration = null;
/**
* 創建目錄
* @throws Exception
*/
@Test
public void mkdir() throws Exception{
/*System.setProperty("HADOOP_USER_NAME","root");
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
conf.set("dfs.replication", "1");
FileSystem fs = FileSystem.get(conf);
fs.mkdirs(new Path("/hdfsapi1/test"));*/
fileSystem.mkdirs(new Path("/hdfsapi2/test"));
}
/**
* 創建一個檔案
* @throws Exception
*/
@Test
public void create() throws Exception{
FSDataOutputStream output = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
output.write("hello world".getBytes());
output.flush();
output.close();
}
/**
* 查看檔案
*/
@Test
public void cat() throws Exception{
FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/a.txt"));
IOUtils.copyBytes(in, System.out, 1024);
in.close();
}
/**
* 檔案重命名
*/
@Test
public void rename() throws Exception{
Path oldPath = new Path("/hdfsapi/test/a.txt");
Path newPath = new Path("/hdfsapi/test/b.txt");
fileSystem.rename(oldPath, newPath);
}
/**
* 本地上傳小檔案
*/
@Test
public void copyFromLocalFile()throws Exception{
Path localPath = new Path("/Users/bennyrhys/Desktop/hello.txt");
Path targetPath = new Path("/hdfsapi/test/");
fileSystem.copyFromLocalFile(localPath,targetPath);
}
/**
* 本地上傳大檔案
* io流操作
*/
@Test
public void copyFromLocalFileWithProgess()throws Exception{
/*Path localPath = new Path("/Users/bennyrhys/Desktop/hadoop/hadoop-2.6.0-cdh5.7.0.tar.gz");
Path targetPath = new Path("/hdfsapi/test/");
fileSystem.copyFromLocalFile(localPath,targetPath);*/
//297M ls -lh
// io 輸入
InputStream in = new BufferedInputStream(
new FileInputStream(
new File("/Users/bennyrhys/Desktop/hadoop/hadoop-2.6.0-cdh5.7.0.tar.gz")));
// 輸出 進度顯示
FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/hadoop-2.6.0.tar.gz"),
new Progressable() {
@Override
public void progress() {
System.out.println("."); // 帶進度提醒資訊
}
});
IOUtils.copyBytes(in, out, 4096);
}
/**
* hdfs下載到本地
* @throws Exception
*/
@Test
public void copyToLocalFile() throws Exception{
Path hdfsPath = new Path("/hdfsapi/test/b.txt");
Path localPath = new Path("/Users/bennyrhys/Desktop/temp.txt");
fileSystem.copyToLocalFile(hdfsPath, localPath);
}
/**
* hdfs指定路徑的檔案資訊
* @throws Exception
*/
@Test
public void listStatus() throws Exception {
FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));
for (FileStatus fileStatus : fileStatuses) {
String isDir = fileStatus.isDirectory() ? "檔案夾" : "檔案";
short replication = fileStatus.getReplication(); // 副本數量（hdfs上傳有副本預設1，本地沒有預設顯示3）
long len = fileStatus.getLen();
Path path = fileStatus.getPath();
System.out.println(isDir + "\t" + replication + "\t" + len + "\t" + path);
}
}
/**
* 洗掉目錄下的檔案
* @throws Exception
*/
@Test
public void delete() throws Exception{
fileSystem.delete(new Path("/hdfsapi/test/"), true); // 默認遞回洗掉
}
@Before
public void setUp() throws Exception {
System.out.println("HDFS.setUp");
configuration = new Configuration();
fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
}
@After
public void tearDown() throws Exception {
configuration = null;
fileSystem = null;
System.out.println("HDFS.tearDown");
}
}
HDFS讀寫流程
寫資料
NameNode(全域把控，唯一)
DataNode（資料存盤，多個）
客戶端請求（默認配置128M的塊，3個副本）
創建副本（流水線串聯副本創建）
客戶端 分塊12M/塊
NameNode 記住每個塊，所對應的DataNode存在哪幾個副本節點
DataNode 存盤并回傳NameNode成功存盤
讀資料
客戶端 提供名字
NameNode 提供名字對應的（多個被拆分的塊id，及對應的副本DataNode位置）
客戶端-DataNode獲取最近資料
HDFS優缺點
讀寫資料有完善的容錯機制
流式資料，一次寫入多次讀取
適合大檔案存盤
構建在廉價機器上
缺
低延遲資料訪問
小檔案（會暫用記憶體，NameNode壓力也就變大）
總結
HDFS架構
1 Master(NameNode/NN) 帶 N個Slaves(DataNode/DN)
HDFS/YARN/HBase
1個檔案會被拆分成多個Block
blocksize：128M
130M ==> 2個Block： 128M 和 2M
NN：
1）負責客戶端請求的回應
2）負責元資料（檔案的名稱、副本系數、Block存放的DN）的管理
DN：
1）存盤用戶的檔案對應的資料塊(Block)
2）要定期向NN發送心跳資訊，匯報本身及其所有的block資訊，健康狀況
A typical deployment has a dedicated machine that runs only the NameNode software.
Each of the other machines in the cluster runs one instance of the DataNode software.
The architecture does not preclude running multiple DataNodes on the same machine
but in a real deployment that is rarely the case.
NameNode + N個DataNode
建議：NN和DN是部署在不同的節點上
replication factor：副本系數、副本因子
All blocks in a file except the last block are the same size
Hadoop偽分布式安裝步驟
1）jdk安裝
解壓：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app
添加到系統環境變數： ~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
使得環境變數生效： source ~/.bash_profile
驗證java是否配置成功： java -v
2）安裝ssh
sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3）下載并解壓hadoop
下載：直接去cdh網站下載
解壓：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app
4）hadoop組態檔的修改(hadoop_home/etc/hadoop)
hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
slaves
5）啟動hdfs
格式化檔案系統（僅第一次執行即可，不要重復執行）：hdfs/hadoop namenode -format
啟動hdfs: sbin/start-dfs.sh
驗證是否啟動成功：
jps
DataNode
SecondaryNameNode
NameNode
瀏覽器訪問方式： http://hadoop000:50070
6）停止hdfs
sbin/stop-dfs.sh
Hadoop shell的基本使用
hdfs dfs
hadoop fs
Java API操作HDFS檔案
檔案 1 311585484 hdfs://hadoop000:8020/hadoop-2.6.0-cdh5.7.0.tar.gz
檔案夾 0 0 hdfs://hadoop000:8020/hdfsapi
檔案 1 49 hdfs://hadoop000:8020/hello.txt
檔案 1 40762 hdfs://hadoop000:8020/install.log
問題：我們已經在hdfs-site.xml中設定了副本系數為1，為什么此時查詢檔案看到的3呢？
如果你是通過hdfs shell的方式put的上去的那么，才采用默認的副本系數1
如果我們是java api上傳上去的，在本地我們并沒有手工設定副本系數，所以否則采用的是hadoop自己的副本系數
第4章 分布式資源調度YARN
產生背景
概述
架構
執行流程
環境搭建
官網配置
告訴mr是跑在yarn上
https://hadoop.apache.org/
https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
啟動
$ sbin/start-yarn.sh
檢驗
http://localhost:8088/
jps
ResourceManager
NodeManager
停止
$ sbin/stop-yarn.sh
提交作業mr到yarn
[root@hadoop01 mapreduce]# pwd
/root/software/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
[root@hadoop01 mapreduce]# ll
總用量 4876
-rw-r--r--. 1 1106 4001 523960 3月 24 2016 hadoop-mapreduce-client-app-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 753831 3月 24 2016 hadoop-mapreduce-client-common-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 1542374 3月 24 2016 hadoop-mapreduce-client-core-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 171256 3月 24 2016 hadoop-mapreduce-client-hs-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 10467 3月 24 2016 hadoop-mapreduce-client-hs-plugins-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 43777 3月 24 2016 hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 1499926 3月 24 2016 hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0-tests.jar
-rw-r--r--. 1 1106 4001 91087 3月 24 2016 hadoop-mapreduce-client-nativetask-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 50818 3月 24 2016 hadoop-mapreduce-client-shuffle-2.6.0-cdh5.7.0.jar
-rw-r--r--. 1 1106 4001 276202 3月 24 2016 hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
drwxr-xr-x. 2 1106 4001 4096 3月 24 2016 lib
drwxr-xr-x. 2 1106 4001 29 3月 24 2016 lib-examples
drwxr-xr-x. 2 1106 4001 4096 3月 24 2016 sources
[root@hadoop01 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3
hadoop jar 包名.jar 方法 引數
總結
Hadoop1.x時：
MapReduce：Master/Slave架構，1個JobTracker帶多個TaskTracker
JobTracker： 負責資源管理和作業調度
TaskTracker：
定期向JT匯報本節點的健康狀況、資源使用情況、作業執行情況；
接收來自JT的命令：啟動任務/殺死任務
YARN：不同計算框架可以共享同一個HDFS集群上的資料，享受整體的資源調度
XXX on YARN的好處：
與其他計算框架共享集群資源，按資源需要分配，進而提高集群資源的利用率
XXX: Spark/MapReduce/Storm/Flink
YARN架構：
1）ResourceManager: RM
整個集群同一時間提供服務的RM只有一個，負責集群資源的統一管理和調度
處理客戶端的請求： 提交一個作業、殺死一個作業
監控我們的NM，一旦某個NM掛了，那么該NM上運行的任務需要告訴我們的AM來如何進行處理
2) NodeManager: NM
整個集群中有多個，負責自己本身節點資源管理和使用
定時向RM匯報本節點的資源使用情況
接收并處理來自RM的各種命令：啟動Container
處理來自AM的命令
單個節點的資源管理
3) ApplicationMaster: AM
每個應用程式對應一個：MR、Spark，負責應用程式的管理
為應用程式向RM申請資源（core、memory），分配給內部task
需要與NM通信：啟動/停止task，task是運行在container里面，AM也是運行在container里面
4) Container
封裝了CPU、Memory等資源的一個容器
是一個任務運行環境的抽象
5) Client
提交作業
查詢作業的運行進度
殺死作業
YARN環境搭建
1）mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2）yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3) 啟動YARN相關的行程
sbin/start-yarn.sh
4）驗證
jps
ResourceManager
NodeManager
http://hadoop000:8088
5）停止YARN相關的行程
sbin/stop-yarn.sh
提交mr作業到YARN上運行：
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
hadoop jar
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3
第5章 分布式計算框架MapReduce
概述
前置條件 haddop的安裝并運行（hdfs\yarn）
WorldCount詞頻統計案例
編程模型
map和reduce執行流程
序列化、比較 介面
整個程序就是kv形式，記錄偏移量 長度
Format
拆分split，默認和block128M是對應的
記錄讀取器，讀取每一行
架構
1.x
MapReduce1.x的架構
1）JobTracker: JT
作業的管理者 管理的
將作業分解成一堆的任務：Task（MapTask和ReduceTask）
將任務分派給TaskTracker運行
作業的監控、容錯處理（task作業掛了，重啟task的機制）
在一定的時間間隔內，JT沒有收到TT的心跳資訊，TT可能是掛了，TT上運行的任務會被指派到其他TT上去執行
2）TaskTracker: TT
任務的執行者 干活的
在TT上執行我們的Task（MapTask和ReduceTask）
會與JT進行互動：執行/啟動/停止作業，發送心跳資訊給JT
3）MapTask
自己開發的map任務交由該Task出來
決議每條記錄的資料，交給自己的map方法處理
將map的輸出結果寫到本地磁盤（有些作業只僅有map沒有reduce==>HDFS）
4）ReduceTask
將Map Task輸出的資料進行讀取
按照資料進行分組傳給我們自己撰寫的reduce方法處理
輸出結果寫到HDFS
2.x
申請Node資源,獲取資訊，啟動指定Node的Container
方便擴充第三方的spark
Java寫WordCount
選擇新版本的Mapper
JAVA代碼
package com.bennyrhys.hadoop.mapreduce;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* @Author bennyrhys
* @Date 2020-10-09 23:39
* 使用MapReduce開發WordCount
*/
public class WordCount {
/**
* Map:輸入檔案
* Text當成Java中的字串
*/
public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
LongWritable one = new LongWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
// 接收一行指定資料
String line = value.toString();
// 根據指定字符進行分割
String[] words = line.split(" ");
for (String word : words) {
// 通過背景關系，將分割的map賦值v=1，處理結果輸出
context.write(new Text(word), one);
}
}
}
public static class MyReduce extends Reducer<Text, LongWritable, Text, LongWritable> {
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
long sum = 0;
for (LongWritable value : values) {
// LongWritable -> java型別 .get
// 求key出現次數的總和
sum += value.get();
}
// 求最后統計結果的輸出
context.write(key, new LongWritable(sum));
}
}
/**
* Driver: 封裝MapReduce
*/
public static void main(String[] args) throws Exception {
// 創建 hadoop 的configuration
Configuration configuration = new Configuration();
// 創建 job
Job job = Job.getInstance(configuration, "wordcount");
// 設定job的處理類
job.setJarByClass(WordCount.class);
// 設定作業處理的輸入路徑
FileInputFormat.setInputPaths(job, new Path(args[0]));
// 設定map引數
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
// 設定reduce引數
job.setReducerClass(MyReduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
// 設定作業處理的輸出路徑
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
本地打jar包
clean-》package，在target里面找到
本地上傳到服務器
scp hdfs-api-1.0-SNAPSHOT.jar root@hadoop01:~/lib
確保hello.txt檔案在hdfs上
[root@hadoop01 data]# hadoop fs -cat /hello.txt
20/10/05 14:54:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hello world
hello hadoop
hello hdfs
啟動
[root@hadoop01 data]# hadoop jar /root/data/hdfs-api-1.0-SNAPSHOT.jar com.bennyrhys.hadoop.mapreduce.WordCount hdfs://hadoop01:9000/hello.txt hdfs://hadoop01:9000/output/wc
檢驗輸出wc在hdfs上
[root@hadoop01 data]# hadoop fs -lsr /output/wc
lsr: DEPRECATED: Please use 'ls -R' instead.
20/10/05 15:00:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r-- 1 root supergroup 0 2020-10-05 14:57 /output/wc/_SUCCESS
-rw-r--r-- 1 root supergroup 35 2020-10-05 14:57 /output/wc/part-r-00000
[root@hadoop01 data]# hadoop fs -cat /output/wc/part-r-00000
20/10/05 15:00:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1
hadoop 1
hdfs 1
hello 3
world 1
手動洗掉
防止重復執行檔案，形成重復輸出的報錯
寫腳本，先洗掉輸出檔案在執行
// 改變執行權限 -rw-r--r--. 變成 -rwxr--r--
chmod u+x wc_rm.sh
./wc_rm.sh
java自動洗掉
MapReduce編程之Combiner
場景
Combiner
hadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.CombinerApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc
使用場景：
求和、次數 +
平均數 X
驗證生效
運行的螢屏輸出
MapReduce之Partitioner
檢驗四個partation
MapReduce配置history
重啟yarn
啟動jobhistory
jps可以驗證
hdfs輸出檔案驗證
解決聚合沒有打開 log無法查看
yarn開啟聚合 修改組態檔
其中包含了生成hdfs的保存的路徑
wordcount: 統計檔案中每個單詞出現的次數
需求：求wc
1) 檔案內容小：shell
2）檔案內容很大： TB GB ???? 如何解決大資料量的統計分析
==> url TOPN <== wc的延伸
作業中很多場景的開發都是wc的基礎上進行改造的
借助于分布式計算框架來解決了： mapreduce
分而治之
(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)
核心概念
Split：交由MapReduce作業來處理的資料塊，是MapReduce中最小的計算單元
HDFS：blocksize 是HDFS中最小的存盤單元 128M
默認情況下：他們兩是一一對應的，當然我們也可以手工設定他們之間的關系（不建議）
InputFormat：
將我們的輸入資料進行分片(split): InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;
TextInputFormat: 處理文本格式的資料
OutputFormat: 輸出
MapReduce1.x的架構
1）JobTracker: JT
作業的管理者 管理的
將作業分解成一堆的任務：Task（MapTask和ReduceTask）
將任務分派給TaskTracker運行
作業的監控、容錯處理（task作業掛了，重啟task的機制）
在一定的時間間隔內，JT沒有收到TT的心跳資訊，TT可能是掛了，TT上運行的任務會被指派到其他TT上去執行
2）TaskTracker: TT
任務的執行者 干活的
在TT上執行我們的Task（MapTask和ReduceTask）
會與JT進行互動：執行/啟動/停止作業，發送心跳資訊給JT
3）MapTask
自己開發的map任務交由該Task出來
決議每條記錄的資料，交給自己的map方法處理
將map的輸出結果寫到本地磁盤（有些作業只僅有map沒有reduce==>HDFS）
4）ReduceTask
將Map Task輸出的資料進行讀取
按照資料進行分組傳給我們自己撰寫的reduce方法處理
輸出結果寫到HDFS
使用IDEA+Maven開發wc：
1）開發
2）編譯：mvn clean package -DskipTests
3）上傳到服務器：scp target/hadoop-train-1.0.jar hadoop@hadoop000:~/lib
4）運行
hadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.WordCountApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc
相同的代碼和腳本再次執行，會報錯
security.UserGroupInformation:
PriviledgedActionException as:hadoop (auth:SIMPLE) cause:
org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory hdfs://hadoop000:8020/output/wc already exists
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory hdfs://hadoop000:8020/output/wc already exists
在MR中，輸出檔案是不能事先存在的
1）先手工通過shell的方式將輸出檔案夾先洗掉
hadoop fs -rm -r /output/wc
2) 在代碼中完成自動洗掉功能: 推薦大家使用這種方式
Path outputPath = new Path(args[1]);
FileSystem fileSystem = FileSystem.get(configuration);
if(fileSystem.exists(outputPath)){
fileSystem.delete(outputPath, true);
System.out.println("output file exists, but is has deleted");
}
Combiner
hadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.CombinerApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc
使用場景：
求和、次數 +
平均數 X
Partitioner
hadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.ParititonerApp hdfs://hadoop000:8020/partitioner hdfs://hadoop000:8020/output/partitioner
第6章 Hadoop專案實戰
【大資料】Hadoop專案實戰-用戶行為日志
瑞 新
CSDN認證博客專家
分布式
Java
架構
CSDN認證博客專家
分布式
Java
架構
求職中 ? Java全堆疊養成計劃公眾號 ? 讓我遇見相似的靈魂回復領取：競賽 書籍 專案 面試左手代碼，右手吉他，這就是天下:如果有一天我遇見相似的靈魂 那它肯定是步履艱難 不被理解 喜黑怕光的，如果可以的話 讓我觸摸一下吧 它也一樣孤獨得太久， 不一樣的文藝青年，不一樣的程式猿，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/249454.html
標籤：其他
上一篇：Nginx發布靜態資源
下一篇：C語言編程＞第十六周 ④ 請補充fun函式，該函式的功能是將字串str中的小寫字母都改為對應的大寫字母，其它字符不變。