云計算相關知識點
文章名稱：云計算相關知識點
文章內容：云計算相關知識和相關技術里面涉及大資料據技術、虛擬化技術、資料中心的相關內容并行計算與集群技術和云存盤技術，上述知識點會將大體內容進行描述，
文章作者：愛劃水的瀟灑哥
提示：以下內容為個人學習的總結，更多詳細資料需您自行查閱，
目錄
云計算相關知識點
云計算與大資料技術
虛擬化技術
資料中心相關內容
并行計算與集群技術
云存盤技術
-
云計算與大資料技術
-
虛擬化技術
-
資料中心相關內容
-
并行計算與集群技術
-
云存盤技術
云計算與大資料技術
“隨著計算機技術融入生活，資訊開始了爆發式的增長，這些資料產出了‘大資料’這一概念”
大資料（BigData）：又稱為巨量資料，指的是傳統資料處理應用軟體不足以處理它們、大或復制的資料集，
資料分為：
-
結構化資料：關系型資料模型，表形式管理資料
-
半結構化資料：非關系型資料模型，有基本固定結構模型的資料（json檔案、日志、xml、html等）
-
非結構化資料：沒有基本固定模型的資料（pdf、word、圖片、視頻等）
云計算與大資料關系： 云計算的核心是業務模式，本質是處理資料的技術，資料是資產，云計算為資料資產提供了存盤，訪問的場所和計算能力，云計算更偏重大資料的存盤和計算，以及提供云計算服務，運行云應用，
大資料的4V：
-
Variety（多樣性）
-
Volume（規模性）
-
value（價值密度低）
-
velocity（高速性）
科學的第四范式是：資料 （實驗---->理論---->計算---->資料）
大資料計算架構
Hadoop------開源計算框架
處理大規模分布式資料的能力,但處理是高延遲的
Spark------基于記憶體的大資料計算框架
提高了在大資料環境下資料處理的實時性,保證了高容錯性和高伸縮性
Strom------基于拓撲的流資料實時計算框架
資料完全實時,一條一條處理資料
(后面會較為詳細描述三個框架)
大資料價值鏈三大構成: 資料 技術 思維
虛擬化技術
什么是虛擬化技術?
是將一臺計算機虛擬化為多臺邏輯計算機,每個邏輯計算機可以獨立運行而且互不影響,從而提高作業效率.
為什么要用虛擬化技術?
虛擬化技術為企業降低了運營成本,提高硬體使用率提高系統安全性和可靠性,實作了靈活運營.
虛擬化物件:
計算資源虛擬化
網路虛擬化
存盤虛擬化
桌面虛擬化
應用虛擬化
虛擬化實作方式
全虛擬化
半虛擬化
硬體輔助虛擬化
虛擬化架構
寄居虛擬化 (寄居虛擬化就是在宿主機作業系統之上安裝虛擬化應用程式)
裸金屬虛擬化 (硬體層上部署虛擬化平臺軟體)
虛擬化技術分類
用戶體驗虛擬化
應用程式虛擬化
桌面虛擬化
服務虛擬化
作業系統虛擬化
存盤虛擬化
網路虛擬化
(具體技術應用需您自行查找)
虛擬化技術優勢
-
減少物理資源的投入,節約成本
-
提高物流資源的使用率
-
易于自動化的操作與投入,減少維護成本
-
虛擬化資料移植方便
-
操作更加獨立,便捷,資料安全更有保障
-
環保,節能
虛擬化技術的劣勢
-
業界沒有統一的標準與平臺
-
沒有對資料備份,存在一定風險
-
虛擬資料中心遷移,對在線服務的遷移,對用戶的影響巨大
虛擬化技術的特點: 磁區 封裝 隔離 硬體獨立
磁區: 強大的硬體可以為多個獨立的服務器使用;一個獨立的物理系統可以運行多個虛擬的作業系統和應用;計算資源放在資源池中,能夠有效利用
封裝: 虛擬單元放在單獨的檔案,保證了一個虛擬系統對應一個檔案
隔離: 每個虛擬機互相獨立運行,互不干擾,提供理想化的物理機
硬體獨立: 可在其他服務器上不加修改運行虛擬機,有著較強的運行能力
常見的虛擬化技術解決方案
OpenStack
KVM
Hyper-V
VMware
Xen
(本人對上面的解決方案不是很了解,還需自行查閱)
虛擬化技術與云計算關系
云計算提供服務,虛擬化技術提供技術支持,通過虛擬化技術可以將程式和資料不同層次以不同方式的展現給用戶,為云計算使用者和開發者提供便利
資料中心相關內容
資料中心的組成
-
基礎設施
-
硬體設施
-
基礎軟體
-
管理支撐軟體
建設原則
-
規范化
-
網路化
-
實用性
-
安全性
-
可擴展性
PUE= 資料中心總消/IT能源消耗 (pue越接近1,效能越高)
資料中心的主要節能措施
服務器虛擬化
采用現代化冷卻系統
升級資料中心設備
提高冷卻溫度
重組資料中心
云計算兩個要點: 存盤力 計算力
并行計算與集群技術
并行計算 基本思想是利用多個處理器來協同求解同一問題,即將求解的問題分成若干部分,各個部分又由一個獨立的處理機來并行計算. (把一個復雜的問題,拆成許多個能同時處理的小問題來處理)
補充: 并行:將一個大任務,拆成多個小任務同時運行,并行.(不搶占資源) 并發:多個任務在同一個處理器中輪換進行(來回交替)
并行:一次傳送一個字長的資料 串行:一位一位地依次傳輸
執行緒: 修改 打開 操作 行程: 運行一個軟體
并行計算的目的: 提高求解速度,通過擴大問題求解規模,解決大而復雜的計算問題.
并行計算強調時效性和海量資料處理 各個任務之間獨立性弱,而且關系密切,每個節點之間的任務時間要同步,各個任務互相影響較大.
分布式計算是相對集中式計算來說,分布式計算的任務包相互間有獨立性,上個任務包結果出現錯誤,或者處理未完成,對下一個任務處理幾乎不影響,實時性要求不高
集群技術是當前大資料領域的主流架構,集群技術是支撐云計算與大資料系統的重要技術 (一組獨立計算機(結點)的集合體,結點間通過高性能的網路連接,各結點除了作為一個單一的計算資源給用戶使用,也可協同作業,并表示為一個單一的,集中的計算資源,供并行計算任務使用.)
集群系統的分類
-
高可用性集群系統
-
負載均衡集群系統
-
高性能集群系統
-
虛擬化集群系統
云存盤技術
云存盤概念 云存盤是一種網上在線存盤的模式,即把資料存放在第三方托管的多臺虛擬服務器中,而非專屬的服務器上. (以大化小,化整為零的思想是云存盤技術的設計思想)
從功能需求來看,云存盤系統相比于傳統單一的存盤來說功能更加開放和多元化;從資料管理上看,云存盤需要處理的資料型別更多,資料量更大.
云存盤系統結構
-
訪問層
-
應用介面層------最靈活多變的部分
-
基礎管理層------最核心
-
存盤層------最基礎
云存盤實作基礎
寬帶網路
Web 2.0技術
應用存盤
集群技術和分布式檔案系統
CDN.P2P技術 資料壓縮 加密技術
存盤虛擬技術 存盤網路化管理技術
云存盤的特性
可靠性
安全性
管理方便
可擴展性
個人級存盤: 網盤 檔案在線編輯 網路游戲
企業級云存盤: 云存盤空間租賃服務 企業級遠程資料備份 視頻監控系統
總結
以上就是個人對于云計算相關知識點粗略總結，里面涉及一些詳細的知識點和具體架構還需您自行參考其他文獻，本次的總結大多參考了《云計算與大資料技術應用》安俊秀 靳宇倡等編著 這本書，這本書總結的十分詳細，大家可以自行參考，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/403921.html
標籤：其他