物件存盤概念及特性
在介紹 QingStor??物件存盤內部的的架構和設計原理之前，我們首先來了解一下物件存盤的概念，也就是從外部視角看，物件存盤有什么特性，我們應該如何使用，
物件存盤本質上是一款存盤產品，與其他的存盤，如檔案存盤、塊存盤，功能是類似的，主要的功能都是資料的讀和寫，最大的不同在于物件存盤是把資料作為物件進行管理，這是它最主要的特征，所有的資料在這里面都當做一個物件處理，
物件存盤有一些非常鮮明的特點：
-
它的結構是扁平的，不像檔案存盤那樣有目錄層級，在讀寫資料時不需要對目錄進行層層查找和打開，
-
物件存盤具備海量資料存盤的能力，這里的海量指的是不僅僅是幾百 GB 的量，而是說幾百 T 甚至上 PB 的級別，
-
物件存盤適用于非結構化資料的存盤，非結構化具體指的是不對資料的型別和格式做任何假設，不管是簡單的文本，還是圖片、視頻、音頻都可以存在物件存盤里，當做物件來處理，
-
物件存盤通過 Restful 介面對外提供服務，也就是 HTTP 協議，這使得物件存盤的訪問非常方便，隨時隨地可以進行資料的上傳和下載，
QingStor??物件存盤核心優勢
上圖是 QingStor??物件存盤的全域資料模型，可以理解成一個邏輯上的視圖，
這包括幾個主要概念：Global 是全域的意思，Global 由多個 Zone 組成，Zone 是區域的意思，可以把它理解成資料中心，例如在北京區域部署了一套物件存盤，同時在上海資料中心也部署了一套，這兩套物件存盤屬于同一個 Global，
QingStor??物件存盤在 Zone 級別和 Global 級別都有相應的管理服務，
Zone 由很多個 Bucket（存盤桶）組成，在使用物件存盤時，必須要先申請一個存盤桶，然后才能向存盤桶中上傳物件資料，以存盤桶為單位來存盤和管理物件資料，
在同一個 Zone 下面可以有很多個存盤桶，存盤桶里有各種各樣的物件資料，物件資料對型別大小沒有限制，單個存盤桶中物件的數量也沒有限制，可以無限量上傳物件資料，
QingStor??物件存盤架構決議
這是 QingStor??物件存盤的后臺系統架構，這個架構圖經過了一些簡化和抽象，
首先是接入子系統，物件存盤提供的是在線服務，通過 Restful 進行訪問，本質上相當于在線服務的后臺，需要有接入子系統來完成接收請求、決議協議等作業，
在接入子系統下是索引子系統，索引子系統用來存盤和管理物件的元資料，元資料指的是物件的 Meta 資訊，包括 Object 型別、大小、寫入時間之類的資訊，由索引子系統管理，
存盤子系統負責存盤和管理資料物體本身，保證資料的可靠持久化存盤，
事件子系統主要作業是異步事件處理和分布式任務調度，它是生命周期管理等功能的底層機制，
圖中幾條實線箭頭顯示了資料的流向或者說是請求處理流程，請求從接入子系統下來，接入子系統會和索引子系統及存盤子系統互動，獲取元資料以及資料物體，這是核心的讀寫流程，
虛線表示在開啟了一些功能的情況下，可能會產生事件發送到事件子系統，這里有兩個虛線箭頭，一是讀寫流程中會觸發一些事件，會將事件發送至子系統；二是用戶可以主動提交一些事件，經過接入子系統進入事件子系統，
這幾個子系統構成了 QingStor??物件存盤后臺的主要模塊，
從這個架構圖來看，其內部實作并不是特別復雜，
QingStor??物件存盤是一款存盤產品，其核心功能是做資料的讀寫，邏輯上必然不能太復雜，
但是要把這個系統做好并不是那么容易，因為物件存盤主要應對的是海量資料的場景，在這個場景下有很多架構設計上的挑戰，
首先，資料都要做可靠的存盤、可靠的持久化，防止任何資料丟失；
第二，在訪問量很大的情況下，需要保證系統的持續服務能力；
第三，系統需要有良好的擴展性以應對不斷增加的資料量和請求量，
此外，QingStor??物件存盤是一個分布式系統，由多個節點共同協調提供服務，這種情況下，單個節點的故障是常有的，我們需要做到單個節點故障的情況下，保證服務的可用性以及資料的可靠存盤，這些都是在設計架構時需要重點考慮的問題，
接下來，依次來解讀這幾個子系統是如何實作的，
QingStor??物件存盤子系統實作
在接入子系統中最重要是 Gateway 服務，Gateway 服務本質上是在后臺運行的 Server，它運行在網關節點上，
Gateway 服務的主要功能是接收上游發下來的請求，做協議決議以及資料處理與資料讀寫，物件存盤中最重要的資料讀寫功能基本在這里完成，
Gateway 服務本身是無狀態的，也就是請求被哪一個 Gateway 是服務處理都是一樣的，因此 Gateway 可以非常輕松進行擴展，也就是服務實體的增加與減少，
從整體的鏈路上看一下接入層是如何保證高可用的，
用戶開始訪問物件存盤之前，會先訪問 DNS 服務器，通過物件存盤服務的域名拿到一個虛擬 IP 地址，這個虛擬 IP 會指向某一臺網關節點，如果這個節點故障了，虛擬 IP 會自動遷移到另外存活的節點上，
也就是 QingStor??物件存盤可以保證用獲取到的 IP 永遠指向一個存活的節點，業務永遠是可用的，
在請求到達節點后，物件存盤會進一步做負載均衡，把請求分到多個節點的 Gateway 服務上，
當請求轉到一個 Gateway 上，發現這個 Gateway 出了問題，系統自動會將這個請求重新轉發，這是請求級別的Failover，
通過這兩個機制，QingStor??物件存盤可以保證訪問請求都可以得到回應，
此外，將 Gateway 實作為無狀態服務，可以非常方便地進行水平擴展，通過增加 Gateway 服務實體個數來頂住高并發的訪問量，保證服務可用，
接下來談談索引子系統的架構，索引子系統的主要功能是存盤和管理物件資料的元資料，元資料包括物件的型別、大小、寫入時間與存盤位置等資訊，
這些資訊是非常重要的，如果元資料丟失，資料本身就無法讀取，因此要保證元資料絕對安全可靠的存盤，
另一方面，海量資料的場景需要支撐海量資料的索引，索引子系統必須要能夠處理資料量不斷增大的情況，在此基礎之上還要盡可能提升系統的處理性能，
QingStor??物件存盤是如何做到的？
首先通過資料分片的方式來應對海量資料，把資料按切片存盤，切片的意思是按照物件名稱字母序進行切片，比如第一個節點存 A-F 物件，第二個節點存 U-Z 物件，每一個節點會負責一個區間的資料，然后使用一個協調服務記錄節點及其所負責的區域對應關系，
通過這種方式，可以很方便地橫向擴展，如果 A-F 的物件資料太多，系統會把它拆成兩個，增加一個節點進來，將 A-F 拆分為 A-D，A-D 保留在原有的節點，D-F 放在新的節點，通過這種方式可以處理更多的資料，也提升了處理讀寫的能力，
添加新的節點通過協調服務進行，資料的拆分和再平衡程序是完全自動進行的，
QingStor??物件存盤的 Gateway 服務實時跟協調服務保持連接，可以獲取最新的資料分布情況，通過這種分片存盤機制，保證了海量資料情況下可以通過增加節點的方式來提升存盤能力，
在資料安全可靠方面，QingStor??物件存盤采用副本機制，每一份元資料都采用三副本方式進行存盤，如果有一個副本所在的機器發生故障，可以從其他的副本上讀取資料，在訪問的時候保證永遠可用，
如果資料所在節點發生變化，Gateway 會立即通過協調服務知道應該訪問哪個節點得到資料，此外，三副本都進行了持久化存盤，保證資料是安全可靠的，
QingStor??物件存盤在單個節點上存盤元資料時使用 KV 存盤引擎，KV 存盤引擎的索引結構是 LSM，LSM 索引結構最大的優勢是寫入非常快，可以提升系統的整體寫入性能，
除此之外，LSM 還有一個特點，它底層的資料在磁盤上存盤時是有序的，也就是一個個 sst 檔案，可以提供高效的按順序查詢，
QingStor??物件存盤在處理列出存盤桶中物件的查詢介面時，可以很好的應用這個存盤特性，高效地將資料按字母序列出來，因為它本身是有序存盤，所以讀取速度非常快，介面處理非常高效，這是采用 KV 存盤的優勢，
總體來看，QingStor??物件存盤的索引子系統通過分片加協調服務的方式使其有很好的擴展性，同時通過副本保障資料的安全，
此外，在單個節點上采用 KV 存盤引擎提升寫入效率，同時支持 list 介面的高效查詢，
存盤子系統存的是物件資料本身，物件存盤應對的是海量場景，資料量非常大，而且會持續增加，訪問量也會非常大，而且有增加的可能性，因此架構的設計要保障系統可以不斷提升性能，此外，還需要保證資料的安全性和集群的穩定性，
QingStor??物件存盤在統一命名存盤空間下將存盤分成一個個存盤組，每個存盤組由各自的分布式檔案系統組成，
采用存盤組設計的優勢主要包括三方面：
一是區分冷熱資料，也就是存盤分級，QingStor??物件存盤提供兩種存盤級別：低頻存盤和標準存盤，
標準存盤相對于低頻存盤來講，其訪問量高一些，資料量可能會少一些，
低頻存盤的資料量大，但訪問量會低一些，
針對兩種不同的存盤需求可以使用不同的存盤組，組和組之間是沒有關系的，因此不同的存盤組可以采用異構的硬體設備，對于低頻存盤，可以使用大容量的磁盤和低一點CPU的配置，進一步優化成本，
第二，采用存盤組可以使得集群擴展起來更加靈活方便，比如系統要進行擴容，如何做？
加一個存盤組即可，可以直接把新資料寫到新的存盤組中，不需要對歷史資料做移動和遷移等復雜操作，
QingStor??物件存盤同時支持另一種擴容方式，將既有資料遷移一部分到新存盤組上，使得整個集群比較均衡，
第三，采用存盤組具有故障隔離的效果，如果存盤組 1 出現節點的故障或者整個存盤組壞掉，對其他存盤組沒有影響，其他存盤組可以正常處理資料，具有故障隔離的效果，
在單個存盤組內，應用 QingStor??檔案存盤的核心技術，采用三副本進行存盤，每次寫入資料，等到三副本寫入全部完成才會回傳寫入成功，保證資料的強一致性和安全性，
本地檔案系統直接和底層的塊設備打交道，省去了 Linux 本地檔案系統，使得 IO 處理在性能上的得到提升，
QingStor??物件存盤的資料傳輸采用 RDMA 高效傳輸協議，RDMA 是一種在不同的節點之間傳輸資料的機制，它不需要經過 CPU，直接通過硬體控制將資料從一個節點拷貝到另一個節點，和 CPU 的執行是并行的，是一種高效傳輸資料的方式，
事件子系統在 QingStor??物件存盤的架構中，不處于資料讀寫的核心流程上，但它提供了很多非常重要的功能，生命周期管理、跨區域復制以及自定義回呼都是基于事件子系統來進行設計的，
事件子系統的基本邏輯比較簡單，產生事件和處理事件，這里事件可以理解成訊息系統，
產生訊息有兩條鏈路，一條鏈路在做資料讀寫時，當你完成一條資料的讀、寫入、洗掉或者更新，索引子系統會產生事件，發送到事件子系統中；還有一條鏈路是用戶直接通過接入子系統提交一個事件，可以進入事件子系統中，
事件子系統有很多預置的消費者行程，消費者會處理事件，這些事件是通過分布式訊息佇列保存的，消費者按照預設的邏輯讀取事件并對其進行處理，比如有一個消費者專門處理生命周期的功能，有一個消費者專門處理自定義回呼的功能，
QingStor??物件存盤海量小檔案優化實踐
接下來談談 QingStor??物件存盤對海量小檔案場景的優化，
為什么需要對海量小檔案進行優化呢？
海量小檔案是很多存盤產品中都是比較難以應對的問題，其難點主要體現在幾個方面：
第一，小檔案非常多的時候，會導致很多隨機讀寫，相比于順序讀寫，隨機讀寫的性能會差很多，
第二，小檔案在底層資源利用率比較低，如何理解？小檔案最終存盤時落到磁盤上，大多數時候底層都是采用檔案系統存盤，每一個小檔案都會對應一個檔案，檔案系統會單獨使用一個結構，也就是 inode，來記錄每一個小檔案的元資訊，包括執行權限、用戶組等資訊，但是這些資訊對用戶來說往往是無意義的，
這導致在海量的場景下，可能出現一個情況：檔案本身的資料不是那么多，但是不必要的元資料卻非常多，占用大量存盤空間，就會造成底層資源利用率較低，
針對這個問題，QingStor??物件存盤做了一些優化，主要分為兩方面：
在提升存盤利用率方面，QingStor??物件存盤把很多小檔案合并成一個大檔案，
如上圖所示，這里有一個合并檔案，里面包括很多小檔案，包括x、a、b、c，它們都是單個 Object 小檔案，都會寫到同一個檔案中，通過這種方式減少額外的元資料存盤，提升資源利用率，
在使用這種方式時，如果需要洗掉前面的小檔案，QingStor??物件存盤只做一個標記，后臺會有行程，實時、定期對合并檔案進行壓縮，將洗掉的資源進行釋放，
在提升寫入性能方面，QingStor??物件存盤在寫入一個小檔案時，只把它向合并檔案的尾部進行追加寫入，不會在打開檔案后對指定的 Offset 進行寫入，也就是不做隨機寫，保證寫入全是順序寫，大大提升寫入性能，
此外，如果有并發的寫入請求，比如 a、b、c三個都是小檔案，有一個寫入請求到了 Gateway，Gateway 會把這三個請求打包成一個，本來需要寫三次，這里直接合并成一次，
把三次 IO 減到一次 IO，能做這樣的合并是因為底層是采用合并方式的存盤，并發 IO 的合并進一步提升 QingStor??物件存盤的寫入性能，
在讀取時，QingStor??物件存盤通過合并檔案的 Path 加上小檔案中的 Offset，找到這個檔案的資料進行讀取，
舉個例子，現在同時要讀 x 和 a、b、c，在讀完 x，打開檔案句柄是可以重復利用的，不需要每一次讀都打開檔案，這種方式使得 QingStor??物件存盤的小檔案讀取性能得到提升，
QingStor??物件存盤重點功能介紹
QingStor??物件存盤支持兩種部署方式：一種是標準部署，集群由網關節點和存盤節點組成，
接入與索引與事件子系統會部署在網關節點上，存盤節點只部署存盤服務，把計算和存盤分離，支持最小是六個節點規模的部署，這種方式比較適合資料量比較大，請求量也比較大的場景，網關節點與存盤節點都可以進行獨立擴容，
第二種是融合部署，集群由全能節點組成，把所有服務部署在全能節點上，這種方式是適合規模比較小，資料量比較小，訪問量也不大的場景，如果資料量增長，可以非常方便以單個節點的方式進行存盤與索引服務的擴容，
首先是生命周期管理功能，生命周期可以對存盤的資料預設一些邏輯，過一段時間后自動對資料進行處理，
生命周期有一些典型的應用場景，例如對過期日志的處理，很多時候存盤的日志是為了滿足政策的要求，過幾個月后就可以洗掉了，
生命周期管理可以設定自動規則，到期后自動洗掉過期的日志資料，此外，生命周期管理功能還能進行冷熱資料分離，舉個例子，業務只需要對近兩個月的資料進行分析，更久遠的資料就不需要，
但是為了合規需要，更久遠的資料也需要保存，不能丟失，這時候生命周期管理功能可以做冷熱資料的區分，自動設定資料經過一段時間后轉移到更低成本的低頻存盤中，
QingStor??物件存盤的生命周期功能是以存盤桶為單位來進行，其核心是事件子系統進行訊息的處理和分發，
用戶寫入一個物件后會產生一個事件，事件子系統會分析這個事件要怎么處理，比如經過一周、一個月進行洗掉，或者轉移到低頻，從而對資料進行相應的處理，
如果在開啟生命周期功能管理之前，系統已經有一些歷史資料，事件子系統會主動拉取這些歷史資料，對它進行分析和處理，
QingStor??物件存盤另一個重要的功能是跨區域復制，適用于資料的備份與容災場景，
跨區域復制的應用場景主要包括：
備份和容災：為了保證資料安全性，在本地有一份之外，需要在另一個機房做備份，本地機房的資料丟失了，可以用遠端的資料來恢復，
就近訪問：如果業務的用戶分布在不同的區域，每個用戶在訪問其圖片、視瞥澩時，希望更快地獲取資料，
QingStor??物件存盤可以按照地域來存盤資料，北京一份，上海一份，資料可以寫入到北京，跨區域復制到上海，滿足就近訪問的需求，
提升計算效率：如果有多個機器學習、資料挖掘的應用程式或業務程式要訪問同一份資料，這些業務程式可能部署在不同的地方，為了保證計算效率，QingStor??物件存盤可以通過跨區域復制，就近復制一份資料，
跨區域復制的功能核心仍然是事件子系統，用戶寫入一個物件后，就會產生一個事件，事件子系統會處理這個事件，將資料復制到遠端指定目標的存盤桶里，
如果在配置這個功能之前系統已經有一些歷史資料，在配置之后，事件子系統會主動拉取這些資料，將它復制到遠端的位置，
接下來重點介紹QingStor??物件存盤的資料處理功能，
用戶要對存盤在物件存盤中的資料進行處理，包括視頻轉碼、縮略圖、圖片加水印等，可以將要做的動作打包成一個任務進行提交，通過 Gateway 服務進入事件子系統，事件子系統將按照指定的動作將資料讀出來，進行處理與寫入目標位置，
做資料處理的前提是資料存放在物件存盤的存盤桶中，這是資料處理的流程，其核心依然是QingStor??物件存盤的事件子系統，
下面從用戶的角度來看 QingStor??物件存盤是否夠方便，是否容易上手，
QingStor??物件存盤的所有功能 API 都是開放的，可以進行調取和訪問，同時提供 8 種主流的SDK，涵蓋主流的編程語言，這些 SDK 代碼都是開源的，都在 GitHub 上，大家可以直接拿來使用，
此外，QingStor??物件存盤提供兩個高級命令列工具：
第一種是 qsctl，提供強大的類 Unix 命令，用于管理本地資料資源以及 QingStor??物件存盤中遠程的資料資源，可以非常方便地對資料進行操作，包括 RM、CP 等操作，提供一鍵同步，將你本地的資料與物件存盤中的資料進行同步，
第二種命令列工具是 qscamel，用于在不同物件存盤系統間進行高效的資料遷移，比如現在有資料在阿里云的 OSS 里，你想把它遷移到 QingStor 中，可以使用這個工具來完成，這個工具目前支持主流的物件存盤，包括 QingStor、AliyunOSS、AWSS3 以及 GoogleCloud Storage 等，可以在這些系統之間進行資料的遷移，
S3 是亞馬遜物件存盤服務訪問介面的標準，QingStor??物件存盤是對 S3 兼容得非常好，很多已經基于 S3 開發的應用程式、SDK 和第三方服務，都可以在不修改代碼的前提下非常容易地接入 QingStor??物件存盤，包括 Hadoop、Spark、ElasticSearch 以及 Docker 等，
QingStor??物件存盤交通行業最佳實踐
最后我們從智能交通平臺這個場景出發，看看如何在業務中使用 QingStor??物件存盤，智能交通平臺的主要應用是高速公路上的視頻監控，以及在收費站進行拍照、收費、車牌識別等業務，
這是一個典型的高并發訪問場景，高速攝像頭非常多，收費站也是非常多的，每一個攝像頭、每一個收費站都會產生海量圖片、視瞥澩，要發送 QingStor??物件存盤中，
資料是非常重要的，高速公路上的每一段視頻，事后可能要用于查看當時發生的情況，資料一定要做可靠的存盤，
另一方面，要求存盤系統可以與第三方業務應用無縫對接，例如在收費站拍了車輛照片，需要識別其車牌號，查詢從哪里開過來，這就要求 QingStor??物件存盤與其他業務系統進行對接，
QingStor??物件存盤的接入服務可以通過擴展的方式支持高并發場景，采用多副本提供可靠的強一致存盤，
資料寫入后，QingStor??物件存盤會產生事件，這個事件會到事件子系統，按照預設的邏輯進行資料處理，用戶可以自定義第三方介面，比如做一個車牌識別，或者做扣費邏輯，都可以通過自定義介面與業務系統進行關聯，
此外，QingStor??物件存盤的資料沉淀，后期可以支持業務的大資料分析和決策，
最后做個總結，QingStor??物件存盤是一款面向海量非結構化資料的企業級通用資料存盤平臺，具備無限擴容與跨地域的服務能力，可完美支撐各類互聯網應用、大資料分析、音視頻影像、備份系統等企業級應用場景下的存盤需求，幫您構建面向未來、賦能業務的資料存盤平臺，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/5318.html
標籤：其他