文章目錄
- 前言
- 一、大資料概述
前言
大資料導論期末考試內容以林子雨老師的《大資料技術原理與應用》為主，這里整理一下林子雨老師慕課上的習題的知識點，幫助和大家進行復習，
一、大資料概述
- 第一次資訊化浪潮標志是個人計算機、第二次是互聯網，第三次資訊化浪潮的標志是：云計算、大資料、物聯網技術的普及，
- 1Byte(位元組) = 8bit；
1KB（Kilobyte，千位元組）= 1024 Byte;
1MB（Megabyte，兆位元組）= 1024 KB;
1GB（Gigabyte，吉位元組）= 1024 MB;
1TB（Terabyte，太位元組）= 1024 GB;
1PB（Petabyte，拍位元組）= 1024 TB;
1EB（Exabyte，艾位元組）= 1024 PB;
1ZB（Zettabyte，澤位元組）= 1024 EB， - 大資料、云計算和物聯網的區別
· 大資料側重于海量資料的存盤、處理與分析，從海量資料中發現價值，服務于生產和生活；
· 云計算本質上旨在整合和優化各種IT資源，并通過網路以服務的方式廉價提供給用戶；
· 物聯網的發展目標是實作物物相連，應用創新是物聯網發展的核心， - 大資料、云計算和物聯網的聯系
· 云計算為大資料提供了技識訓礎，大資料為云計算提供用武之地；
· 物聯網是大資料的重要來源，大資料技術為物聯網資料分析提供支持；
· 云計算為物聯網提供了海量資料存盤能力，物聯網為云技術提供了廣闊的應用空間； - 大資料計算模式
· 批處理計算（針對大規模資料的批量處理）：MapReduce、Spark等，
· 流計算（針對流資料的實時計算）：Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流資料處理平臺等，
· 圖計算（針對大規模圖結構資料的處理）：Pregel、GraphX、Giraph、PowerGraph、Hama、Golden Orb等，
· 查詢分析計算（大規模資料的存盤管理和查詢分析）：Dremel、Hive、Cassandra、Impala等， - 資料產生方式經歷的三個階段
· 1.運營式系統階段；2.用戶原創內容階段；3.感知式系統階段 - 大資料發展的三個重要階段
· 1.萌芽期；2.成熟期；3.大規模應用期 - 大資料的特性（4V）
· 資料量大（Volume）
· 資料型別繁多（Variety）
· 處理速度快（Velocity）
· 價值密度低（Value) - 人類自古以來在科學研究上先后歷經了實驗科學、理論科學、計算科學、資料密集型科學4種范式，
- 大資料帶來思維方式的三個轉變是
· 1.全樣而非抽樣；2.效率而非精確；3.相關而非因果 - 云計算的三種典型服務模式
· 1.基礎設施即服務（IaaS）；2.平臺即服務（PaaS）；3.軟體即服務（SaaS）
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/385398.html
標籤：其他