以“數實融合，綻放新機”為主題，聚焦產業趨勢與技術前沿，打造產業互聯網頂級盛會的2021騰訊數字生態大會日前在武漢舉辦，騰訊云資料庫技術負責人程彬進行了《云原生時代的資料庫技術實踐》的主題演講，分別從云原生時代資料庫技術何去何從，新時代下如何構建TDSQL-C資料庫產品和TDSQL-C在云上實踐經驗等三個方面進行分享，
（以下是通程序彬現場演講全文整理）
時來云轉
云時代的資料庫應云而生、依云而建
當云計算這個詞還熱度未減時，云原生的時代卻已悄然而至，也因此用戶使用云的方式發生了極大的變化，從之前用戶會把自己的IT架構或業務系統從自建的IDC搬遷到云上，到如今上云的用戶不再直接搬遷，而是根據云上的基礎設施IaaS或者PaaS的特點，進行自己IT架構的升級或者業務系統的升級，用戶的用云方式改變，也對云資料庫帶來極大的挑戰，舉個例子，在云上面用戶購買虛擬機和部署自己的資料庫，而虛擬機提供的可靠的存盤副本數本身就是三份，而同時在資料庫上層再做架構的冗余，整個資料庫存盤副本數就會放大很多倍，
這問題要怎么解決呢？我想先簡單回顧下資料庫技術演進的歷程，資料庫從技術的角度來講，它是利用計算、存盤、網路的能力對用戶的資料進行存盤和加工處理，資料庫技術的演進也離不開基礎設施和資料特征的變化，所以發展到今天可以劃分為4個階段，
第一階段（1970s）傳統IT時代，以大型機和專用網路為主的商業資料庫，用于國防、科研或者大型商業公司，這個階段，無論計算機場景和用戶數都不多，資料量規模也不是很大，但資料價值卻非常高，催生出了以Oracle或者IBM為代表的商業級資料庫，這個時期的商業級資料庫的特點就是貴，但卻實作了很大突破：1）實作二維表為代表的資料模型，能夠把客觀資料放在資料庫系統里保存下來；2）出現SQL語言資料庫，使得資料庫產品得以廣泛的應用；3）實作了事務處理能力，讓資料庫能真正的應用到一些關鍵的業務場景里，實作資料庫存盤，
第二階段（2000s）互聯網時代，隨著計算機和Intel等技術進一步的發展，資料庫全面進入了互聯網時代，并催生出了以谷歌為代表的互聯網企業，這時，資料庫遇到一個新的挑戰就是成本，互聯網時代用戶資料急劇增長帶來的成本的挑戰，主要體現在軟體和硬體設備貴，解決軟體成本通過開源共建方式去降低整個軟體的成本，針對硬體通過集群和分布式的技術來提高系統可用性和性能，為此以開源和分布式為基礎的互聯網技術體系就應運而生，同樣的，互聯網的資料庫也是基于這個體系來去構建的，
第三階段（2010s）云計算時代，隨著互聯網普及和行業融入，互聯網+和移動應用拉起了云計算時代的帷幕，彼時資料庫管理規模的增大非常明顯，因此引發兩大挑戰：1）如何讓云上數以萬計風格各異技術公司都能很好的應用云資料庫；2）大規模管理下如何提高管理效率，資料庫即服務就應運而生，這個時候，大家都想方設法的通過服務的方式規避在使用上的瓶頸，進而提升整體資源的利用率，
第四階段（現在）云原生時代，隨著數字經濟的普及，這時又遇到了全新的問題，這里從騰訊云資料庫看出，客戶數整體持續增長，客戶結構繁盛變化，業務場景也是變化萬千，更多的創業企業上云，成本變得更加敏感，同時獨角獸或上市公司上云等對資料庫的彈性要求越來越高，此外傳統線下企業(包括銀行、政府等)上云對穩定性要求更高，
基于以上原因，我們重審了現有基于分布式跟開源架構下的資料庫，發現它確有的一些先天不足，比如計算、存盤資源耦合度極強，導致整個資源利用率偏低，這樣也會導致成本偏高；彈性能力受限于資源的緊耦合也做不到極致等；此外，我們還發現云上面的IaaS、PaaS的承受度會變得越來越高，基于種種問題，我們改變思路基于云上面的基礎設施，嘗試著去研發出一款全新的云原生資料庫TDSQL-C，應云而生，依云而建，兼具商用的性能和穩定性和開源靈活和低成本，做到云原生的極致彈性，
云上生長
騰訊云原生資料庫TDSQL-C助力企業降本增效
首先從架構上，把單體架構升級為更可控的彈性架構，設計理念是把計算層和存盤層進行解耦，做分層處理，分層過后通過池化讓計算、存盤的能力變得無限大，做到極致彈性；同時基于云上IaaS跟PaaS來進行重新設計，復用之前的非常成熟的資料庫內核、計算等技術以及EB級規模存盤的平臺，提高資料庫的穩定性，基于這樣的平臺，云原生資料庫TDSQL-C打造六大核心能力，
1.可計算存盤能力，踐行log is database設計理念，把計算節點做到無狀態，
2.超大計算/存盤力，單個實體可以做到千核級別的計算能力，達到PB級的存盤能力，
3.極致彈性能力，秒級擴展，
4.自動伸縮能力，
5.serverless形態和多級存盤，降低資料庫成本，
6.一體化服務，簡化用戶開發門檻，讓架構變得簡單，在一個資料庫里盡量能處理多種場景，
7.
解決計算存盤分離的網路洪峰，極致IO卸載，傳統共享存盤架構，全量IO，邏輯兼容，計算層無需額外適配，但會占用過多網路帶寬，計算層消耗額外CPU/記憶體在存盤上，經典BP刷臟問題可能加劇，云原生資料庫TDSQL-C使用log is database方案，把一部分資料庫計算邏輯下沉到存盤層完成， 實作網路資料傳輸減少90%+，計算層資源更聚焦于SQL處理，提升系統性能，分布式刷臟基本上規避BP刷臟的影響，加快了系統啟動速度，
用戶核心系統上云，讀寫壓力大，業務吞吐量高；歷史賬單業務資料量高達PB；移動互聯網業務快速增長，日增資料高達TB，TDSQL-C最大支持15個只讀節點，物理復制降低主備延遲，頁面多版本滿足多備機讀頁面的版本請求，通過修改資料庫本身的核心邏輯把資料做分布式的打散，實作千核計算力和PB存盤力，
1.千核計算輸出：單實體極致192核15RO讀集群，支持千核輸出，從容應對高吞吐讀業務；
2.PB存盤：擴展表空間管理，可管理海量云存盤資料，最大支持單集群PB+存盤，
在可用性上，云原生資料庫 TDSQL-C改變了通知用戶配合升級的傳統方式，通過Zero-Downtime Patching能力，把它做到資料庫內核里面，實作秒級升級切換，現實業務中存在大量更新后查詢的一致性要求，如電商的訂單查詢、銀行轉賬、余額查詢、游戲賬戶充值、消費記錄查詢等，TDSQL-C關鍵技術支持全域一致性、會話一致性、滿足業務對讀一致性的要求，
云上有許多中長尾客戶，一天可能就訪問幾個小時，怎么進一步降低這一部分開發者的成本呢？通過TDSQL-C Serverless形態，當智能監控發現這個實體已經持續一定時間沒有進行任何的處理，資料庫會把它的計算資源進行釋放，通過采集實際CPU的使用率，打破傳統固定規格產品形態：根據負載自動伸縮、按實際使用計費、不使用不計費，要做到這種能力，對技術上的挑戰非常大，無論是資料庫的計算層還是存盤層，都要通過一系列的技術聯合才能做到這一點，這是計算上面的優化，
在資料庫里面，并不是所有資料庫的熱度、訪問都那么高，有很多資料隨著時間的變化，被訪問的頻度會降低，針對這個情況，TDSQL-C 做了智能存盤分層，存盤分層除了通常大家做的熱資料、溫資料、冷資料之外，TDSQL-C在溫資料里面還通過了一個新的技術，打破了資料庫存盤里面通過副本的方式來保證可靠性，可以用更小的資料冗余度和副本，提供同樣的可靠性來滿足用戶的要求，降低存盤成本，
越來越多用戶，特別是在新型應用上，比如直播帶貨，也有新的變化，一邊在生產訂單，同時需要根據訂單的情況及時調整線上的折扣的策略，這需要對海量訂單進行實時的資料分析，
TDSQL-C提出了HTAP一體解決方案，主要有四個方面的技術:
1.在存盤引擎上，做行列混存，通過列存來加速查詢能力，
2.在優化器上面，把以前面向行的優化器進行優化，讓它自適應能夠進行分析場景演算法的調整，
3.在執行引擎上，把單一的串行的執行引擎調成分布式的執行引擎，加大資料的查詢能力，
4.在記憶體計算上，把多個節點技術聯合起來做協同，通過NVM拓展記憶體，TPC—H查詢性能相比之前提高50倍的性能，
云上實踐
最好的資料庫是用出來的
騰訊云原生資料庫TDSQL-C Serverless 實作與微信生態互通，聯合微信小程式云開發，創造開發者使用資料庫新形態，已為接近50萬小程式開發者提供了一站式開發云服務，同時TDSQL-C Serverless也聯合Coding DevOps，無服務器函式SCF、輕量級服務器、物聯網平臺等為企業和開發者提供一鍵部署多端運行的全套解決方案，
過去18個月中，TDSQL-C實體數增長超過24倍，服務超過6000+外部用戶，落地電商、游戲、金融等場景，如團油APP，進行云原生架構升級，支撐單日超2.5億交易，累計服務車主超4億；bilibili內容平臺，超百萬QPS性能，承載人氣手游；FiT騰訊金融科技，單日新增TB核心資料，承載騰訊金融科技，云原生資料TDSQL-C同樣廣泛應用于騰訊內部業務，微信、騰訊視頻、騰訊翻譯君、財付通等，極致的彈性服務和AI自治服務，助力企業克服傳統資料庫性能、彈性及穩定性差等問題，
未來，各行各業越來越依賴大資料開展作業，資料量井噴式爆發，大并發業務繁多；5G網路商用落地，新興產業發展空間無限，面臨大規模應用場景挑戰，騰訊云原生資料庫便捷部署，為用戶提供高并發集群計算能力，高速的查詢效率，幫助用戶緩解業務壓力，挖掘資料價值，以低成本享受專業的資料庫服務，技術與場景相融合，攜手共創更大的商業價值，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/374426.html
標籤：其它