系列文章目錄
集群安裝搭建賽題決議
構建資料倉庫賽題決議???????
目錄
“紅亞杯”-大資料環境搭建與資料采集技能線上專題賽賽題
前言
在此鳴謝
資料鏈接
一、 集群安裝搭建（70 / 70分）
1.比賽框架
2.比賽內容
3.版本說明
core-site.xml引數配置詳情
hdfs-site.xml引數配置詳情
yarn-site.xml引數配置詳情
mapred-site.xml引數配置詳情
二、構建資料倉庫（30 / 30分）
1.比賽框架
2.比賽內容
3.版本說明
“紅亞杯”-大資料環境搭建與資料采集技能線上專題賽賽題
前言
根據“紅亞杯”-大資料環境搭建與資料采集技能線上專題賽以及鈴音.博主文章結合整理，附上資料鏈接，
在此鳴謝
鈴音.
資料鏈接
鏈接：https://pan.baidu.com/s/1ytGL3cLGQxGltl5bHrSBQQ
提取碼：yikm
一、 集群安裝搭建（70 / 70分）
1.比賽框架
本次比賽為分布式集群搭建，共三臺節點，其中master作為主節點，slave1、salve2為從節點；
2.比賽內容
- 基礎配置：修改主機名、主機映射、時區修改、時間同步、定時任務、免密訪問；
- JDK安裝：環境變數；
- Zookeeper部署：環境變數、組態檔zoo.cfg、myid；
- Hadoop部署：環境變數、組態檔修改、設定節點檔案、格式化、開啟集群；
- Hive部署：Mysql資料庫配置、服務器端配置、客戶端配置，
3.版本說明
| 內置安裝/依賴包（/usr/package） | 已安裝服務 | 系統版本 |
|---|---|---|
| hadoop-2.7.3.tar.gz | ntp | CentOS Linux release 7.3.1611 (Core) |
| zookeeper-3.4.10.tar.gz | mysql-community-server | |
| apache-hive-2.1.1-bin.tar.gz | ||
| jdk-8u171-linux-x64.tar.gz | ||
| mysql-connector-java-5.1.47-bin.jar |
core-site.xml引數配置詳情
官方檔案：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
core-default.xml與core-site.xml的功能是一樣的，如果在core-site.xml里沒有配置的屬性，則會自動會獲取core-default.xml里的相同屬性的值
| 屬性 | 值 | 說明 |
|---|---|---|
| fs.default.name | hdfs://???? | 定義master的URI和埠 |
| hadoop.tmp.dir | /???? | 臨時檔案夾，指定后需將使用到的所有子級檔案夾都要手動創建出來，否則無法正常啟動服務， |
hdfs-site.xml引數配置詳情
| 屬性 | 值 | 說明 |
|---|---|---|
| dfs.replication | ??? | hdfs資料塊的復制份數，默認3，理論上份數越多跑數速度越快，但是需要的存盤空間也更多， |
| dfs.namenode.name.dir | file:/usr/hadoop/hadoop-2.7.3/hdfs/???? | NN所使用的元資料保存 |
| dfs.datanode.data.dir | file:/usr/hadoop/hadoop-2.7.3/hdfs/???? | 真正的datanode資料保存路徑，可以寫多塊硬碟，逗號分隔 |
yarn-site.xml引數配置詳情
| 屬性 | 值 | 說明 |
|---|---|---|
| yarn.resourcemanager.admin.address | ${yarn.resourcemanager.hostname}:18141 | ResourceManager 對管理員暴露的訪問地址，管理員通過該地址向RM發送管理命令等， |
| yarn.nodemanager.aux-services | mapreduce_shuffle | NodeManager上運行的附屬服務，需配置成mapreduce_shuffle，才可運行MapReduce程式 |
mapred-site.xml引數配置詳情
| 屬性 | 值 | 說明 |
|---|---|---|
| mapreduce.framework.name | yarn | 指定MR運行框架，默認為local |
二、構建資料倉庫（30 / 30分）
1.比賽框架
本次比賽為分布式集群搭建，共三臺節點，其中master作為主節點，slave1、salve2為從節點；
2.比賽內容
- 基礎配置：修改主機名、主機映射、時區修改、時間同步、定時任務、免密訪問；
- JDK安裝：環境變數；
- Zookeeper部署：環境變數、組態檔zoo.cfg、myid；
- Hadoop部署：環境變數、組態檔修改、設定節點檔案、格式化、開啟集群；
- Hive部署：Mysql資料庫配置、服務器端配置、客戶端配置，
3.版本說明
| 內置安裝/依賴包（/usr/package） | 已安裝服務 | 系統版本 |
|---|---|---|
| hadoop-2.7.3.tar.gz | ntp | CentOS Linux release 7.3.1611 (Core) |
| zookeeper-3.4.10.tar.gz | mysql-community-server | |
| apache-hive-2.1.1-bin.tar.gz | ||
| jdk-8u171-linux-x64.tar.gz | ||
| mysql-connector-java-5.1.47-bin.jar |
4.資料倉庫架構說明
集群中使用遠程模式，使用外部資料庫MySQL用于存盤元資料，使用client/thrift server的連接方式進行訪問，其中slave2節mysql資料庫，slave1作為hive服務器端，master作為hive客戶端，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/324290.html
標籤：其他
上一篇：繪制lambda函式