前言：基于人大的《資料科學概論》第十一章，主要內容為云計算的概念與特點、云計算與大資料處理的關系、云計算型別與典型系統、虛擬化技術與資料中心、主流產品與特點、OpenStack開源虛擬化平臺、主流廠商的云計算產品，
一、云計算的概念與特點
（1）云計算的概念
根據維基百科，云計算也稱為按需計算，它是提供對可配置的、共享的計算資源池的按需存取的一種計算模型，這里的資源包括計算、存盤、網路等硬體資源，
云計算并不是一種全新的計算模型，它是并行計算、分布式計算、以及網路計算發展的新階段，
（2）云計算的特點
- 虛擬化
- 彈性
- 成本低廉
- 高度容錯性和高度可靠性
（3）云計算與并行計算、分布式計算、集群計算、網格計算的區別和聯系
- 并行計算是相對于串行計算來講的，可以分為時間上的并行和空間上的并行
- 分布式計算通過把整個計算任務，分解成一系列的小任務，分布到各個節點（計算機）上分別執行，最后把結果合并，獲得最終結果，分布式計算的側重點，在于任務的劃分，
- 集群計算，通過高速網路把一組本來松散聯系的節點（計算機），通過軟體緊密聯系起來，協作完成計算作業，
- 我們把網格計算作為集群計算的一種型別，也可以看作是一類分布式計算，網路計算把大量異構計算節點的資源（CPU計算資源、磁盤存盤資源）組織起來，構成一臺虛擬的、大的計算機，為解決大規模的計算（包括資料處理）問題，提供計算平臺的支持，
云計算是上述技術發展的新階段，其底層的核心技術是虛擬化，即把計算、存盤、網路等硬體都進行虛擬化，在硬體資源基礎之上，利用虛擬化技術，提供不同層次的對外服務，包括基礎設施作為服務、平臺作為服務、以及軟體作為服務，
二、云計算與大資料處理的關系
大資料具有資料規模大、資料型別多樣、資料生成速度快等幾個主要的特點，
- 把大資料分布到大量的節點上，通過各個節點的并行處理，才能實作大資料的快速有效處理，這是一種橫向擴展的方式，
- 云計算以其動態擴展能力、高度的容錯性能和可靠性，成為大資料處理的理想平臺，
三、云計算型別與典型系統
按照服務型別，云計算可以分為三類
- 基礎設施作為服務（Infrastructure as a Service，簡稱 laaS）
- 平臺作為服務（Platform as a Service，簡稱PaaS）
- 軟體作為服務（Software as a Service，簡稱SaaS）
云計算與Hadoop、Spark是什么關系？
- 一些大資料處理系統，可以安裝到云計算平臺的虛擬節點（或者虛擬集群上），以PaaS的形式提供對外服務，
- 在此，我們認為把物理節點通過虛擬化技術，對外提供laaS服務，可以稱為云計算，
- 但是Hadoop或者Spark軟體本身，不能稱為云計算，他們是支持大資料處理的分布式軟體系統，這些軟體如果安裝在物理機構成的集群上，那么就不能稱為云計算了，
四、虛擬化技術與資料中心
云計算的核心技術是虛擬化技術
（1）服務器虛擬化
服務器虛擬化，指的是把一臺物理服務器虛擬成若干個獨立的邏輯服務器，各個邏輯服務器擁有自己的CPU、記憶體、以及I/O設備，服務器虛擬化可以采用兩種形式，分別是寄居虛擬化以及裸機虛擬化，
（2）存盤虛擬化
- 存盤虛擬化，其目的是把分散的，異構的存盤設備，想辦法映射成一個統一的、連續編址的邏輯存盤空間，
- 存盤虛擬化有三種不同的實作方式，分別是基于主機的存盤虛擬化、基于存盤設備的存盤虛擬化、以及基于網路的存盤虛擬化，
（3）網路虛擬化
網路虛擬化在不改變資料中心網路的物理拓撲和布線的情況下，可以虛擬出各層網路，并且實作互聯，形成統一的交換架構，
網路虛擬化，包括核心層、接入層、以及虛擬機網路虛擬化三個層次，
（4）資料中心
- 資料中心首先由Google、Facebook、Amazon等大型互聯網公司，為適應其業務發展的需要而建設，大型的資料中心，可以集中超過10萬臺服務器，
- 資料中心的主要特點和優勢是，通過服務器虛擬化、存盤虛擬化、網路虛擬化、應用虛擬化等技術，資料中心把各種硬體資源進行整合，對外提供服務，提高設備的利用率，
- 資料中心一般采取了冗余、容錯、容災的設計，提供不間斷的服務，滿足業務連續性的要求
五、主流產品及其特點
- VMWare
- Hyper-V
- KVM
- XEN
六、OpenStack開源虛擬化平臺
Openstack是一款開源的虛擬化平臺軟體
- OpenStack Dashboard(Horizon)，這是Openstack的Web用戶管理界面
- Openstack Compute(Nova)，Nova是虛擬機創建和管理模塊
- Openstack Image Management(Glance)，Glance是Openstack的虛擬機影像(Image)管理模塊
- Openstack Object Store(Swift)，Swift是物件存盤管理器
- Openstack Block Storage(Cinder)，Cinder是Openstack的磁盤塊設備(Block Device)虛擬化軟體模塊
- Openstack Network(Quantum)，Quantum提供了“網路連接作為服務”(Network Connectivity as a Service)的功能
- Openstack Identity Service(Keystone)，Keystone模塊負責管理用戶，對用戶進行身份認證(Authentication)和授權(Authorization)
七、主流廠商的云計算產品和服務
（1）Amazon
- Dynamo
- EC2
- S3
- SimpleDB
- RDS
- SQS
- Amazon EMR
（2）微軟
- Windows Azure
- SQL Azure
- Azure App Fabric
（3）Google
- GFS
- MapReduce
- Big Table
- percolator
- Pregel
- …
（4）阿里云
-
彈性計算服務
-
資料存盤服務
-
存盤與CDN服務
-
大規模計算服務
-
MapReduce
-
Big Table
-
percolator
-
Pregel
-
…
（4）阿里云
- 彈性計算服務
- 資料存盤服務
- 存盤與CDN服務
- 大規模計算服務
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/244249.html
標籤：其他
下一篇：復試安排