一，什么是大資料？
大資料(BigData) :指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產，
主要解決，海量資料的存盤和海量資料的分析計算問題，
順序給出所有資料存盤單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
1Byte = 8bit 1K = 1024Byte
1MB = 1024K 1G = 1024M
1T = 1024G 1P = 1024T
二，大資料三大類公司和大資料業務
大資料公司三大分類
專業第三方資料公司：收集資料，分析資料，賣分析后的資料，如，友盟（了解玩家的消費環節）
海量資料處理型公司：淘寶、上億用戶發資料，由于資料量大，處理一個指標也是上億的資料，就要用到hadoop架構
企業內部：資料不是海量的，但是指標多種多樣的，
大資料業務分類
報表
預測分析
資料監控
三，大資料的應用領域
四 、大資料業部門組織結構
五，大資料技術生態體系
圖中涉及的技術名詞解釋如下：
1）Sqoop：Sqoop是一款開源的工具，主要用于在Hadoop、Hive與傳統的資料庫（MySql）間進行資料的傳遞，可以將一個關系型資料庫（例如 ：MySQL，Oracle 等）中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關系型資料庫中，
2）Flume：Flume是一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類資料發送方，用于收集資料；
3）Kafka：Kafka是一種高吞吐量的分布式發布訂閱訊息系統；
4）Spark：Spark是當前最流行的開源大資料記憶體計算框架，可以基于Hadoop上存盤的大資料進行計算，
5）Flink：Flink是當前最流行的開源大資料記憶體計算框架，用于實時計算的場景較多，
6）Oozie：Oozie是一個管理Hdoop作業（job）的作業流程調度管理系統，
7）Hbase：HBase是一個分布式的、面向列的開源資料庫，HBase不同于一般的關系資料庫，它是一個適合于非結構化資料存盤的資料庫，
8）Hive：Hive是基于Hadoop的一個資料倉庫工具，可以將結構化的資料檔案映射為一張資料庫表，并提供簡單的SQL查詢功能，可以將SQL陳述句轉換為MapReduce任務進行運行， 其優點是學習成本低，可以通過類SQL陳述句快速實作簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析，
9）ZooKeeper：它是一個針對大型分布式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、分布式同步、組服務等，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/302200.html
標籤：其他