(1)大資料和應用場景介紹
(2)大資料技術綜述總結
(3)Hadoop原理和應用背景介紹
1.大資料基本特征
(1)傳統資料與大資料的區別：
-
Volume ：從資料量上來說，傳統資料規模相對較小，最大維持在GB-TB，而大資料領域中我們需要處理的資料集規模基本都是在TB、乃至PB級別以上；
-
Variety ：速度方面，從兩個方面來說，第一、從資料的增長速度來說，隨著互聯網以及物理網的帶動，資料量增長非常迅猛；第二、從資料的處理速度上來說，現實場景中我們需要更低延時的高效分析，例如一些秒級別、毫秒級別的實時分析，
-
Velocity ：多樣化，在資料型別上，除了傳統的結構化資料，大資料場景下非結構化資料占比會大很多，其實非結構化資料在傳統的架構當中也會有存在，但是因為受限于傳統模式下技術較差、他的價值密度較低，資料存盤下來無法帶來更多的價值，所以傳統方式僅僅只是把它存盤下來、或者考慮到存盤的成本都有可能不去存盤，而如今在大資料架構當中，首先資料存盤的成本非常之低，其次目前有很多專門針對于非結構化資料的處理技術支持，對于非結構化資料我們可以對其進行做更加深度的分析挖掘，得出更加有價值的內容，
-
Value ：價值，大資料可以做的不僅僅只是一些統計報表，更可以去做資料挖掘，因為要做資料挖掘，首先得有足夠多的資料，另一方面大資料領域有很多相關的技術的支持，性能相比于傳統的架構會非常的好，
簡而言之，大資料基本特征4V：
Volume 資料規模巨大、
Variety 資料型別多樣、
Velocity 生成和處理速度極快、
Value 價格巨大但密度較低，
在真實生產環境中，
大資料不僅僅指資料本身，還包括其衍生的資料處理技術(
存盤+處理)，
2.大資料應用場景
(1)
資料倉庫
傳統的架構中也會有資料倉庫，但是傳統架構中
，
資料流轉大概是從業務系統產生資料存盤到資料庫中、然后跑批處理做一些加工處理、生成資料到倉庫中，然后再做一些分析，結果最終展示，
而大資料場景下，首先資料源這部分來源更加豐富，例如：網路爬蟲、傳感器等等種類更多，并且資料量也更大，資料產生接入過來，存盤在分布式的集群當中，然后再通過
MapReduce（或者替換其他的計算框架）計算，存盤以及計算都是一些分布式架構，
分布式的優勢：①當現有集群規模滿足不了的情況下，可以動態添加增點從而提高資料存盤容量、提高計算的性能，②對比于傳統場景往往都是單機方式，存盤容量以及性能上都不能提供好的支持、并且也沒有靈活低成本的動態機制支持，
(2)實時流處理
傳統場景也有實時流處理，
它是通過實時庫來解決，價格非常昂貴，而且比較單一，
大資料場景下，
往往通過kafka來收集資料，①kafka構建起來成本會低很多，并且對于各種不同來源資料接入都沒有太多問題，包括資料的高可用性、讀寫性能支持都非常好，②資料收集之后，通過像開源Storm、SparkStreaming以及我們的SlipStream進行實施分析，最終結果以圖形化方式展示，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/295116.html
標籤：其他
上一篇：Dubbo