大資料概論

大資料概念

大資料（Big Data）：指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模型才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產， 主要解決，海量資料的存盤和海量資料的分析計算問題，

大資料特點（4V）

1、Volume（大量）
截至目前，人類生產的所有印刷材料的資料量是200PB，而歷史上人類總共說過的話的資料量大約是5EB，當前，典型個人計算機硬碟的容量為TB量級，而一些大企業的資料量已經接近EB量級，

2、Velocity（高速）
這是大資料區別于傳統資料挖掘的最顯著特征，根據IDC的“數字宇宙”的報告，預計到2025年，全球資料使用量將達到163ZB，在如此海量的資料面前，處理資料的效率就是企業的生命，

3、Variety（多樣）
這種型別的多樣性也讓資料被分為結構化資料和非結構化資料，相對于以往便于存盤的以資料庫/文本為主的結構化資料，非結構化資料越來越多，包括網路日志、音頻、視頻、圖片、地理位置資訊等，這些多型別的資料對資料的處理能力提出了更高要求，

4、value(低價值密度)
價值密度的的高低與資料總量的大小成反比，

##大資料應用場景
1、物流倉儲：大資料分析系統助力商家精細化經營、提高銷量、節約成本，

2、零售：分析用戶消費習慣，為用戶購買商品提供方便，從而提升商品銷量，經典案例：尿布+啤酒

3、旅游：深度結合大資料能力與旅游行業需求，共建旅游創業智慧管理、智慧服務和智慧營銷的未來，

4、商品廣告推薦

5、保險：海量資料挖掘及風險預測，助理保險行業精準營銷，提升精細化定價能力，

6、金融：多維度體現用戶特征，幫助金融機構推薦優質客戶，防范欺詐風險，

7，人工智能

大資料部門組織結構

從Hadoop框架套路大資料生態

##Hadoop是什么

1、Hadoop是一個由Apache基金會所開發的分布式系統基礎架構
2、主要解決海量資料的存盤和海量資料的分析計算問題，
3、廣義上來說，Hadoop通常是指一個更廣泛的概念——Hadoop生態圈，

Hadoop發展歷史

1、Lucene框架是Doug Cutting開創的開源軟體，用Java書寫代碼，實作與Google Docs類似的全文搜索功能，它提供了全文檢索引擎，包括完整的查詢引擎和索引引擎，

2、2001年年底，Lucene成為Apache基金會的一個子專案，

3、對于海量資料的場景，Lucene面對與Google同樣的困難：存盤資料困難、檢索速度慢，
4、學習和模仿Google解決這些問題的辦法：微型版Nutch，

5、可以說Google是Hadoop的思想之源：
GFS --> HDFS
MapReduce --> MR
BigTable --> HBase

6、2003-2004年，Google公開了部分GFS和MapReduce思想的細節，以此為基礎Doug cutting等人用了2年業余時間實作了DFS和MapReduce機制，是Nutch性能飆升

7、2005年Hadoop 作為Lucene的子專案Nutch的一部分正式引入Apache基金會，

8、 2006年3月份，Map-Reduce和Nutch Distributed File System (NDFS)分別被納入到Hadoop專案中，Hadoop就此正式誕生，標志著大資料時代來臨，

9、名字來源于Doug Cutting兒子的玩具大象

Hadoop三大發行版本

Hadoop三大發行版本：Apache、Cloudera、Hortonworks，
Apache版本最原始（最基礎）的版本，對于入門學習最好，

Cloudera內部集成了很多大資料框架，對應產品CDH，
Hortonworks檔案較好，對應產品HDP，

1、Apache Hadoop
官網地址：http://hadoop.apache.org/releases.html
下載地址：https://archive.apache.org/dist/hadoop/common/

2、Cloudera Hadoop
官網地址：https://www.cloudera.com/downloads/cdh/5-10-0.html
下載地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
（1）2008年成立的Cloudera是最早將Hadoop商用的公司，為合作伙伴提供Hadoop的商用解決方案，主要是包括支持、咨詢服務、培訓，
（2）2009年Hadoop的創始人Doug Cutting也加盟Cloudera公司，Cloudera產品主要為CDH，Cloudera Manager，Cloudera Support
（3）CDH是Cloudera的Hadoop發行版，完全開源，比Apache Hadoop在兼容性，安全性，穩定性上有所增強，Cloudera的標價為每年每個節點10000美元，
（4）Cloudera Manager是集群的軟體分發及管理監控平臺，可以在幾個小時內部署好一個Hadoop集群，并對集群的節點及服務進行實時監控，

3、Hortonworks Hadoop
官網地址：https://hortonworks.com/products/data-center/hdp/
下載地址：https://hortonworks.com/downloads/#data-platform
（1）2011年成立的Hortonworks是雅虎與硅谷風投公司Benchmark Capital合資組建，
（2）公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師，上述工程師均在2005年開始協助雅虎開發Hadoop，貢獻了Hadoop80%的代碼，
（3）Hortonworks的主打產品是Hortonworks Data Platform（HDP），也同樣是100%開源的產品，HDP除常見的專案外還包括了Ambari，一款開源的安裝和管理系統，
（4）Hortonworks目前已經被Cloudera公司收購，

Hadoop的優勢（4高）

1、高可靠性: Hadoop底層維護多個資料副本，所以即使Hadoop某個計算元素或存盤出現故障，也不會導致資料的丟失，

2、高擴展性:在集群間分配任務資料，可方便的擴展數以千計的節點，

3、高效性:在MapReduce的思想下，Hadoop是并行作業的，以加快任務處理速度，

4、高容錯性:能夠自動將失敗的任務重新分配，

Hadoop組成

Hadoop1.x和Hadoop2.x區別

在Hadoop1.x時代，Hadoop中的MapReduce同時處理業務邏輯運算和資源的調度，耦合性較大，在Hadoop2.x時代，增加了Yarn ，Yarn只負責資源的調度MapReduce只負責運算，

HDFS架構概述

1、NameNode（nm）：存盤檔案袋元資料，如檔案名，檔案目錄結構，檔案屬性（生成時間、副本數、檔案權限），以及每個檔案的塊串列和塊所在的DataNode等，

2、DataNode（dn）：在本地檔案系統存盤檔案塊資料，以及塊資料的校驗和，

3、Secondary NameNode（2nn）：每隔一段時間對NameNode元資料備份，

YARN 架構概述

MapReduce架構概述

MapReduce將計算程序分為兩個階段：Map和Reduce

1. Map階段并行處理輸入資料
2. Reduce階段對Map結果進行匯總

大資料技術生態體系

圖中涉及的技術名詞解釋如下：
1）Sqoop：Sqoop是一款開源的工具，主要用于在Hadoop、Hive與傳統的資料庫（MySql）間進行資料的傳遞，可以將一個關系型資料庫（例如 ：MySQL，Oracle 等）中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關系型資料庫中，
2）Flume：Flume是一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類資料發送方，用于收集資料；
3）Kafka：Kafka是一種高吞吐量的分布式發布訂閱訊息系統；
4）Storm：Storm用于“連續計算”，對資料流做連續查詢，在計算時就將結果以流的形式輸出給用戶，
5）Spark：Spark是當前最流行的開源大資料記憶體計算框架，可以基于Hadoop上存盤的大資料進行計算，
6）Flink：Flink是當前最流行的開源大資料記憶體計算框架，用于實時計算的場景較多，
7）Oozie：Oozie是一個管理Hdoop作業（job）的作業流程調度管理系統，
8）Hbase：HBase是一個分布式的、面向列的開源資料庫，HBase不同于一般的關系資料庫，它是一個適合于非結構化資料存盤的資料庫，
9）Hive：Hive是基于Hadoop的一個資料倉庫工具，可以將結構化的資料檔案映射為一張資料庫表，并提供簡單的SQL查詢功能，可以將SQL陳述句轉換為MapReduce任務進行運行， 其優點是學習成本低，可以通過類SQL陳述句快速實作簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析，
10）ZooKeeper：它是一個針對大型分布式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分布式同步、組服務等，

推薦系統框架圖