1.云存盤概述
云存盤是一種網上在線存盤（英語：Cloud storage）的模式，即把資料存放在通常由第三方托管的多臺虛擬服務器，而非專屬的服務器上。托管（hosting）公司運營大型的資料中心，需要資料存盤托管的人，則透過向其購買或租賃存盤空間的方式，來滿足資料存盤的需求。資料中心營運商根據客戶的需求，在后端準備存盤虛擬化的資源，并將其以存盤資源池（storage pool）的方式提供，客戶便可自行使用此存盤資源池來存放檔案或物件。實際上，這些資源可能被分布在眾多的服務器主機上。
云存盤這項服務乃透過Web服務應用程式介面（API）, 或是透過Web化的用戶界面來訪問。
存盤歷史:
存盤技術是計算機的核心技術之一，計算機的存盤技術（如硬碟、網路存盤、虛擬化存盤等技術）的總體趨勢是存盤容量和I/O速度不斷增加。隨著資訊技術的發展，存盤行業涌現出新的存盤技術。重要歷史如下:
第一臺硬碟存盤器。
世界上第一臺硬碟存盤器IBM 350RAMAC誕生，當時它的總容量只有5MB，但總共用了50個直徑為24英寸的磁盤。
RAID技術出現。
SAN技術出現。
2.存盤的分類
根據服務器型別可以將存盤分為封閉系統的存盤和開放系統的存盤，開放系統的存盤又分為內置存盤和外掛存盤。其中，外掛存盤可以分為直連式存盤（DAS）和網路存盤(FAS)。根據組網形式不同，當前3種主流存盤技識訓存盤解決方案為直連式存盤(DAS)、存盤區域網路(SAN)、網路接入存盤(NAS)。
下面對DAS、NAS、SAN的比較:
直接連接存盤是指將存盤設備通過SCSI介面直接連接到一臺服務器上使用。存盤介質直接掛接在內部總線上，資料存盤是整個服務器結構的一部分。
DAS的優點
安裝簡單，存盤設備便宜。
DAS的缺點
不具備災備能力，僅適合小規模(家用，小企業使用)。
不適合對性能要求高的場景。
NAS設備本質就是將本地主機的檔案系統遷移到IP網路的設備上，多個用戶節點可以共用一個NAS上的同一個檔案系統。
NAS其實是一個網路上的瘦服務器,對用戶提供檔案系統訪問的能力，管理存盤介質和負責資料備份。平常我們在x86的服務器上開啟samba服務，然后在windows上映射一個盤符到samba服務器上就可以像使用本地存盤一樣使用服務器上的存盤，這時，這臺服務器也可以看做是一臺NAS服務器。
FTP服務器算不算NAS？不算， 因為客戶訪問FTP服務器上的檔案，還需要先將完整檔案下載到本地的檔案系統目錄里面。而NAS上的網路檔案系統是可以不依賴本地檔案系統，直接掛載使用的(例如目前常用的NFS, CIFS檔案系統)。
SAN是通過專用高速網將一個或多個網路存盤設備和服務器連接起來的專用存盤系統。可以把SAN理解成一個網路，這個網路里包含著各種各樣的元素，比如磁盤陣列，FC交換機。
SAN的型別劃分
SAN可以分為FC_SAN和IP_SAN兩種型別。
FC_SAN
SAN原本只有FC-SAN一種，一般說的SAN默認就是指FC_SAN。它使用光纖通道傳輸資料，其采用的是SCSI協議。
IP_SAN
IP_SAN是FC_SAN后產生的，它采用通過IP網路傳輸資料，采用iSCSI傳輸標準傳輸SCSI協議資料。FC_SAN與IP_SAN的對比
FC_SAN優勢：
傳輸帶寬高，目前有1,2,4和8Gb/s四種標準，主流的是4和8Gb/s
性能穩定可靠，技術成熟，是關鍵應用領域和大規模存盤網路的不二選擇。
FC_SAN缺點：
成本極其高昂，需要光纖交換機和大量的光纖布線；
維護及配置復雜，需要培訓完全不同于LAN管理員的專業FC網路管理員。
IP_SAN優勢：
成本低廉，購買的網線和交換機都是用以太網，甚至可以利用現有網路組建SAN；
部署簡單，管理難度低；
萬兆以太網的出現使得IP SAN在與FC SAN競爭時不再遜色于傳輸帶寬；
基于IP網路的天生優勢使得IP SAN很容易實作異地存盤、遠程容災等穿越WAN才能時間的技術。
IP_SAN缺點：
IP_SAN在性能各方面FC_SAN還是有差別的。專有領域還是FC_SAN的天下。
DAS里，作業系統，檔案系統，存盤是一個整體。
NAS里，把檔案系統和存盤給分離出去了。
在SAN里， 僅僅把存盤給獨立出去，檔案系統依然在訪問端。
3.RAID
Raid0模式 總容量=磁盤數量*磁盤容量
優點：在raid0狀態下，存盤資料被分割成兩部分，分別存盤在兩 硬碟上，此時移動硬碟的理論存盤速度是單塊硬碟的2倍，實際容量等于兩塊硬碟中最小的一塊的2倍。
缺點：任何一塊硬碟發生故障，整個raid上的資料將不可恢復。備注：存盤高清電影比較適合。
raid1模式 總容量=(磁盤數量/2）*磁盤容量
優點：此模式下，兩塊硬碟互為鏡像。當一個硬碟受損時，換上一塊全新的硬碟（大于或者等于原來硬碟容量）替代原硬碟即可自動恢復資料和繼續使用，移動硬碟的實際容量等于較小一塊硬碟的容量，存盤速度與單塊硬碟相同。raid 1的優勢在于任何一塊硬碟出現故障時，所存盤的資料都不會丟失。
缺點 ：該模式可使用的硬碟實際容量比較小，僅僅為兩顆硬碟中最小硬碟的容量。
備注：非常重要的資料，如資料庫，個人資料，是萬無一失的存盤方案
raid 3 總容量=(磁盤數量—1）*磁盤容量
它同RAID 2非常類似，都是將資料條塊化分布于不同的硬碟上，區別在于RAID 3使用簡單的奇偶校驗，并用單塊磁盤存放奇偶校驗資訊。如果一塊磁盤失效，奇偶盤及其他資料盤可以重新產生資料；如果奇偶盤失效則不影響資料使用。RAID 3對于大量的連續資料可提供很好的傳輸率，但對于隨機資料來說，奇偶盤會成為寫操作的瓶頸。
raid 5模式 總容量=(磁盤數量—1）*磁盤容量
raid5不對存盤的資料進行備份，而是把資料和相對應的奇偶校驗資訊存盤到raid5的各個磁盤上，并且奇偶校驗資訊和相對應的資料分別存盤于不同的磁盤上。當raid5的一個磁盤資料發生損壞后，利用剩下的資料和相對應的奇偶校驗資訊去恢復被損壞的資料。
raid 6 總容量=(磁盤數量—2）*磁盤容量
RAID 6與RAID 5相比，RAID 6增加了第二個獨立的奇偶校驗資訊塊。兩個獨立的奇偶系統使用不同的演算法，資料的可靠性非常高，即使兩塊磁盤同時失效也不會影響資料的使用。但RAID 6需要分配給奇偶校驗資訊更大的磁盤空間，相對于RAID 5有更大的“寫損失”，因此“寫性能”非常差。較差的性能和復雜的實施方式使得RAID 6很少得到實際應用。
raid 10 總容量=(磁盤數量/2）*磁盤容量
raid10至少需要塊硬碟才能完成。把兩塊硬碟組成一個raid1，然后兩組raid1組成一個raid0。雖然raid10方案造成50%的磁盤浪費，但是它提供了200%的速度和單磁盤損壞的資料安全性。
raid 50 總容量=(磁盤數量—1）*磁盤容量
RAID50是RAID5與RAID0的結合。此配置在RAID5的子磁盤組的每個磁盤上進行包括奇偶資訊在內的資料的剝離。每個RAID5子磁盤組要求三個硬碟。RAID50具備更高的容錯能力，因為它允許某個組內有一個磁盤出現故障，而不會造成資料丟失。而且因為奇偶位分部于RAID5子磁盤組上，故重建速度有很大提高。優勢：更高的容錯能力，具備更快資料讀取速率的潛力。需要注意的是：磁盤故障會影響吞吐量。故障后重建資訊的時間比鏡像配置情況下要長。
4.磁盤熱備原理
那個熱備盤相當于幫Raid陣列多做多個備份，如果Raid陳列里其中一個盤壞了，這個熱備盤就會頂替Raid里的那個壞盤，同時利用異或校驗演算法，把壞盤上面的資料原樣做出來并存盤在熱備盤中。這樣一來就等于Raid沒受到損壞，然后你再找個一個同樣的盤把壞盤替換掉，Raid和熱備盤的狀態又正常了！
5.資料分級存盤的概念
資料分級存盤即把資料存放在不同類別的存盤設備中，通過分級存盤管理軟體實作資料物體在存盤設備之間的自動遷移；根據資料的訪問頻率、保留時間、容量、性能要求等因素確定最佳存盤策略，從而控制資料遷移的規則。分級存盤的優點:
1）最大限度地滿足用戶需求。
2）減少總體存盤成本。
3）性能優化。
4）改善資料可用性。
5）資料遷移對應用透明
資料存盤一般分為線(on-line)存盤、近線(near-line)存盤和離線(off-line)存盤三種存盤方式。
6.云存盤的概念與技術原理
目前業界普遍認同云存盤的兩種主流技術解決方案:分布式存盤和存盤虛擬化。
分布式存盤主要包括分布式塊存盤、分布式檔案存盤、分布式物件存盤和分布式表存盤4種型別。
分布式塊存盤。簡單來說就是提供了塊設備存盤的介面。用戶需要把塊存盤卷附加到虛擬機(或者裸機)上后才可以與其互動。這些卷都是持久的，它們可以被從運行實體上 解除或者重新附加而資料保持完整不變。
特點:簡單。
應用場景:用來提高I/O技能
分布式檔案存盤。專為企業級應用定制的分布式檔案存盤系統，采用分布式架構實作，整體系統無單點，無性能瓶頸，支持靈活彈性擴容，支持目錄級配額管理，智能化運維界面。
為企業各類應用提供替代傳統NAS、FTP、POSIX新一代檔案存盤解決方案。有效為企業資料存盤提升性能，提高可用性，降低運維成本。
分布式物件存盤。采用分布式集群架構實作，為企業級海量非結構化資料提供資料存盤解決方案。提供Amazon S3、OpenStack Swift標準物件存盤協議，標準HTTP負載做到無單點，無瓶頸的高性能、彈性擴容、高可用的物件存盤方案。可廣泛用于企業網盤、影像資料、互聯網應用、資料備份等各種非結構化資料存盤場景。物件維護自己的屬性，簡化了存盤系統的管理任務，增加了靈活性。
物件存盤系統的組成部分
1）物件:物件存盤的基本單元。
2）物件存盤設備:物件存盤系統的核心。
3）檔案系統:對用戶的檔案操作進行解釋，并在元資料服務器和物件存盤設備間通信，完成所請求的操作。
4）元資料服務器:為客戶端提供元資料。
5）網路連接:物件存盤系統的重要組成部分。
分布式表存盤。是阿里云自研的NoSQL多模型資料庫，提供海量結構化資料存盤以及快速的查詢和分析服務。表格存盤的分布式存盤和強大的索引引擎能夠支持PB級存盤、千萬TPS以及毫秒級延遲的服務能力。
7.物件存盤技術
首先解釋物件存盤中的物件一詞，它是一個資料存盤單位，就像磁盤中的塊一樣。一個物件中不僅包含存盤的資料本身，還包含描述資料的資訊，也叫元資料，以及由存盤資料和元資料生成的唯一 ID。物件存盤技術通常用于存盤非結構化的資料，比如音視頻、圖片和二進制構件等，其實也就是不適用于用資料庫存盤的資料。因為物件存盤中的元資料可以自定義，所以用戶可以使用自定義的元資料來描述這些不包含文本欄位的、非結構化的資料。物件存盤技術可以在硬體層面實作，比如物件存盤設備，與磁盤不同，它的存盤單元是物件而不是塊。也可以在軟體層面實作，即基于塊設備的物件存盤系統。
物件存盤系統的組成
物件(Object)
包含了檔案資料以及相關的屬性資訊，可以進行自我管理
OSD（Object-based Storage Device)
一個智能設備，是Object的集合
檔案系統
檔案系統運行在客戶端上，將應用程式的檔案系統請求傳輸到MDS和OSD上
元資料服務器(Metadata Server，MDS)
系統提供元資料、Cache一致性等服務
網路連接
1. 物件(Object)
物件存盤的基本單元。每個Object是資料和資料屬性集的綜合體。資料屬性可以根據應用的需求進行設定，包括資料分布、服務質量等。在傳統的存盤中，塊設備要記錄每個存盤資料塊在設備上的位置。Object維護自己的屬性，從而簡化了存盤系統的管理任務，增加了靈活性。Object的大小可以不同，可以包含整個資料結構，如檔案、資料庫表項等。
2、OSD（Object-based Storage Device)
每個OSD都是一個智能設備，具有自己的存盤介質、處理器、記憶體以及網路系統等，負責管理本地的Object，是物件存盤系統的核心。OSD同塊設備的不同不在于存盤介質，而在于兩者提供的訪問介面。
OSD的主要功能
資料存盤和安全訪問
OSD使用Object對所保存的資料進行管理。它將資料存放到磁盤的磁道和扇區，將若干磁道和扇區組合起來構成Object，并且通過此Object向外界提供對資料的訪問。每個Object同傳統的檔案相似，使用同檔案類似的訪問介面，包括Open、Read、Write等。但是兩者并不相同，每個Object可能包括若干個檔案，也可能是某個檔案的一部分，且是獨立于作業系統的。除了具體的用戶資料外，OSD還記錄了每個Object的屬性資訊，主要是物理視圖資訊。將這些資訊放到OSD上，大大減輕了元資料服務器的負擔，增強了整個存盤系統的并行訪問性能和可擴展性。
3、檔案系統
檔案系統對用戶的檔案操作進行解釋，并在元資料服務器和OSD間通信，完成所請求的操作。
現有的應用對資料的訪問大部分都是通過POSIX檔案方式進行的，物件存盤系統提供給用戶的也是標準的POSIX檔案訪問介面。
介面具有和通用檔案系統相同的訪問方式，同時為了提高性能，也具有對資料的Cache功能和檔案的條帶功能。同時，檔案系統必須維護不同客戶端上Cache的一致性，保證檔案系統的資料一致
檔案系統讀訪問實體：
客戶端應用發出讀請求;
檔案系統向元資料服務器發送請求，獲取要讀取的資料所在的OSD;
然后直接向每個OSD發送資料讀取請求；
OSD得到請求以后，判斷要讀取的Object，并根據此Object要求的認證方式，對客戶端進行認證，如果此客戶端得到授權，則將Object的資料回傳給客戶端；
檔案系統收到OSD回傳的資料以后，讀操作完成。
4.元資料服務器 (Metadata Server)
為客戶端提供元資料，主要是檔案的邏輯視圖，包括檔案與目錄的組織關系、每個檔案所對應的OSD等。
在傳統的檔案系統中，元資料由本機或者檔案服務器負責維護，每次對資料塊的操作都要獲取元資料。
在物件存盤系統中，由于每次操作只有一次對元資料的訪問，具體的資料傳輸都由OSD和客戶端通過直接連接進行，大大減少了元資料的操作，降低了元資料服務器的負擔，從而為系統的擴展提供了可能性。
特點
客戶端采用Cache來快取資料
當多個客戶端同時訪問某些資料時，MDS提供分布的鎖機制來確保Cache的一致性。
5. 網路連接
為客戶端提供認證
為了增強系統的安全性，MDS為客戶端提供認證方式。OSD將依據MDS的認證來決定是否為客戶端提供服務。
網路連接是物件存盤系統的重要組成部分。它將客戶端、MDS和OSD連接起來，構成了一個完整的系統。
8.存盤技術的發展趨勢
存盤虛擬化最早提出是1959-1960年
固態硬碟(SSD)。SSD與傳統磁盤不同，它是一種電子器件而非物理機械裝置，具有體積小、能耗小、抗干擾能力強、尋址時間小、IOPS高、I/O性能高等特點。
重復資料洗掉
SOHO存盤。SOHO存盤即家庭或個人存盤。
ROBO存盤
語意化檢索。資料檢索主要分為兩類，一是基于檔案名，二是基于檔案內容
存盤智能化。人工智能是計算機的發展方向，這是一個理想而艱巨的目標。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/20567.html
標籤：網絡
上一篇：第十章 云存盤技術