主頁 >  其他 > 資料庫領域正在發生巨變,從 TiDB 5.0 發布會看未來的資料庫發展趨勢

資料庫領域正在發生巨變,從 TiDB 5.0 發布會看未來的資料庫發展趨勢

2021-04-29 20:39:03 其他

前不久,PingCAP 剛剛度過六歲生日,對于資料庫這樣一個古老的行業,六年只是剛剛起步,TiDB 5.0 的發布就像一個慶祝成長的生日禮物,為 TiDB 帶來了一個具有里程碑意義的版本,通過引入 MPP (Massively Parallel Processing,大規模并行處理)架構,年輕的 TiDB 已經成為一款具備完整 HTAP 能力的分布式資料庫,

PingCAP 聯合創始人兼 CTO 黃東旭在 TiDB 5.0 發布會上進行了《What’s Next? 新一代資料庫的構想》的精彩演講,講述了 TiDB 作為一款企業級資料庫的成長史,并分享 PingCAP 對于企業級資料庫的思考與內外功修煉,

一個企業級資料庫的辛酸成長史

TiDB 從誕生的第一天起,就被設定了一個很高的目標——成為**一款面向核心系統的企業級資料庫,**也因為這個很高的目標,其發展歷程充滿著辛酸的故事,

5 年前,當帶著 TiDB 第一個版本見客戶時,還沒有人用過 TiDB ,而客戶的問題就是“有誰在用你的產品?” 很顯然這段對話的結果就是被拒絕,畢竟作為一款企業級資料庫,替換資料庫的動作就像動心臟手術一樣,客戶通常都非常謹慎,

TiDB 的第一次用戶嘗試就成為“救命”的產品

TiDB 的第一個用戶是一家游戲公司,當時的資料庫不能滿足其廣告投放系統的實時查詢,于是就抱著死馬當活馬醫的心態開始試用,結果 TiDB 成為救活這個公司的產品,說來也巧,這個廣告系統恰好是一個 HTAP 場景,似乎也預示了 TiDB 的救命能力與實時性資料處理密不可分,

一個小目標:開拓金融行業客戶

之后的幾年中,隨著在 Mobike 、今日頭條等互聯網創業企業中應用,TiDB 逐步成為互聯網行業在分布式資料庫領域的事實標準,也有了一些知名度,但熟悉的對話再次發生,客戶在與 PingCAP 交流中問 “你們現在有沒有金融行業的案例?”,當時 TiDB 還正處于 1.0 - 2.0 階段,并沒有金融行業案例,客戶認為這還不算真正的企業級資料庫,

到了 3.0 、4.0 版本時, TiDB 逐漸有了一些核心的金融行業客戶,具備了金融客戶使用案例,但客戶又問 “你們有大行核心系統的應用案例嗎?” “沒有” “那不好意思,告辭!”

這段歷史很辛酸,**每個人都有第一次,一個新產品也總得有第一個客戶,**但資料庫這種東西所有人都說必須得別人用過,自己才敢用,這就是做企業級資料庫的現狀,因為這個東西實在太過于重要,沒有人愿意當小白鼠,

從“救命” 到“省心放心” 企業級資料庫的成熟之路

TiDB 跨過最危險的開源鴻溝

TiDB 與很多資料庫相比,很特別的一點在于它是一個開源軟體,在業界,開源軟體有一個跨越鴻溝的理論,它描繪了一個新技術的發展階段:**一開始大家的預期都很高,逐漸有一些早期的用戶,市場也在不斷發出聲音,持續一段時間后會經歷一個高峰期,高峰過后就會進入一個很長時間沒有增長的階段,**很多開源專案死于這個死亡之谷,那是一段非常焦慮非常煎熬的時期,

上圖中,藍線代表 Kubernetes —— 目前全世界最流行的開源軟體,從圖中能明顯看到它也經歷過這樣一個曲線,另外一條綠線代表了 TiDB ,作為一個歷經六年的開源專案,也沒有逃出這個客觀規律,在中間長達兩年的時間里幾乎沒有增長,這段時間對于一個開源資料庫是最難熬的日子,從 4.0 版本發布至今,TiDB 終于跨過了這個最危險的開源鴻溝,根據開源的歷史規律,TiDB 與 PingCAP 將會迎來一段高速的增長,現在已經是一個“死不了”的產品,在基礎軟體行業,一個死不了的開源軟體已經很不容易了,

這個規律的背后說明了什么?**一個真正好用的基礎軟體,一款真正好用的企業級資料庫,并不是幾個天才工程師寫出來的,而是被人“用”出來的,**中間那段長達兩年的,其實并不是沒有增長,它只是在不停地進化,不斷地在各種各樣的場景中打磨產品,

回到 “什么是企業級資料庫” 這個問題,有很多用戶是通過資料庫的用戶案例來判斷是否企業級,有的認為貴的軟體收費就是企業級,也有很多人甚至覺得開源就不是企業級,每個人心中都有著不同的答案,

做“省心,放心,不擔心”的企業級資料庫

PingCAP 認為,一個真正的企業級資料庫廠商應該把自己放在用戶的角度去思考,無論是一個企業去購買資料庫應對數字化挑戰,還是一個工程師去面對數百臺的資料庫集群維護,他們需要的就是“省心、放心、不擔心“,

**第一,省心,**省心其實主要是易用性問題,很多時候,人們認為易用性是一個有關用戶體驗的事情,這里有一個特別簡單的標準,如果它帶來的問題要小于它解決的問題,這就是易用,如果你發現用一個新東西的時間和精力比它解決問題所花費的時間還多,那就是不省心,

**第二,放心,**資料不會錯、不會丟、性能無抖動是對于一個資料庫最基礎的要求,其實在使用資料庫的程序里,并不在于它有多少功能、多高性能,而是萬一出現問題,有沒有人提供背后的企業級服務,一個 DBA 作業中可能有 50-60% 的時間在部署、安裝、備份、維護資料庫,如果這個資料庫他不會運維,不知道怎么調優,就無法讓人放心,PingCAP 背后有一支專業的服務團隊,比起其他沒有生態的資料庫軟體更能讓人放心,維護不愁人,

**第三,不擔心,**用戶到底在擔心什么?是業務的增長嗎?是資料量變大嗎?是擔心這家資料庫公司倒閉嗎?其實在資料庫領域里,從用戶的視角來看,真正的敵人是系統的復雜性,這個系統越復雜,在應對業務高速增長、快速變化時,應對的動作就會越遲緩,這個復雜性是各種各樣的技術架構、各種各樣的軟體組合在一起,產生了很多的資料對接,以及維護各種各樣的技術堆疊,

關于不擔心,在 TiDB 里有一個真實的故事:

https://v.qq.com/x/page/k3242wd985n.html

在傳統的資料處理與大資料方案中,引入了各種各樣的復雜性,用戶的在線系統和離線大資料系統是完全割裂的兩個系統,使用 TiDB 后,大多數場景用一套系統就可以支撐,對于用戶來說,一個簡潔優雅的技術架構就是不用擔心的方案,

里程碑!TiDB 5.0 核心能力向企業級演進

TiDB 5.0 的內功:TiDB,堆疊穩了!

如果要給 TiDB 5.0 定義一個關鍵字的話,那就是“練內功”,現在整個行業對于 TiDB 的認知和需求已經進入一個深水區,過去大家認為這是一個創新型產品,會在一些創新型的業務上用,但從 4.0 開始至今,越來越多的金融機構或大型企業,開始把 TiDB 用在一些非常關鍵、非常核心的交易、支付場景里,很多人表面上看 5.0 似乎并沒有發布特別多新功能,其實在 5.0 這個版本能看到的顯性功能只是冰山一角,冰山下面更多看不見的是 TiDB 產研團隊、用戶和貢獻者對穩定性以及性能的持續優化,這些“內功”也是一個真正的企業級資料庫應該追求的能力,

**從 4.0 版本到 5.0 版,TiDB 做了大量優化,包括減少性能抖動、提升性能、提升安全性等,上圖中能看到這潭訓色曲線最終變成了紅色曲線,減少抖動將近 100 項,**對于一個企業級資料庫來說,內功其實是非常重要的一個壁壘,

真 HTAP 來了!TiDB 5.0 補全 HTAP 能力拼圖

回顧整個 TiDB 歷史,你可以看到 HTAP 是如何一步步變成今天這個形態的,TiDB 剛誕生的時候,出發點非常樸素,就是想做一個 MySQL 分庫分表的替代品,比 MySQL 分庫分表用起來更方便,解決 OLTP 規模化的問題,

4.0 版本已經實作初步的 HTAP 能力,第一次引入了 HTAP 的重要插件 —— 列式存盤 TiFlash 引擎,列存引擎在底層為 TiDB 打下一個基礎,與 OLAP 資料庫相比不再有天生的缺陷,

TiDB 5.0 最新版在 TiFlash 的基礎上引入了 MPP 架構,在功能上補全了 HTAP 最后一塊拼圖,**提供與存盤匹配的分布式計算引擎,進一步提升海量資料下的并行計算與分析能力,**這對于 TiDB 來說是一個里程碑,標志著 TiDB 成為一個擁有完整能力的 HTAP 分布式資料庫,但里程碑并不代表終點,對于一個企業級資料庫來說,TiDB 還有很長的路要走,前路漫漫,希望大家多多包容,多多呵護 TiDB 繼續成長壯大,

拋掉過去,重新出發——資料庫未來趨勢

如果從資料庫的發展歷史角度來看,上世紀六七十年代,IBM、Oracle 發明了關系型資料庫,2010 年前后,互聯網普及了 Shared Nothing 架構,分布式資料庫慢慢走向主流,現在基本一個成規模的互聯網公司或者資料量大一點的公司,大多都在用 Shared Nothing 的資料庫支撐,但從架構來說,我們也許需要新的思路來解決未來的問題,2021 年我們又站在了一個新十年時間視窗的開始,直覺告訴我們,接下來即將進入一個資料庫技術的全新時代,這個時代需要拋棄掉過去所有對于資料庫的假設,去面向這個時代的基礎設施重新設計,

首先,**規模效應會重新掌握一切,**早年間有一個預言說未來這個世界上只需要五臺計算機,現在來看應該不是五臺計算機,而是五朵云,云的基礎設施也許會變成新的基礎設施,未來的年輕一代工程師或許都不知道什么是 CPU、記憶體、磁盤,他們看到的基礎設施就是云廠商提供的 API 或服務介面,從 Snowflake 的實踐來看,新一代的基礎軟體只有基于云底層能力深度重構才能真正獲取彈性的能力,Snowflake 是第一個,但是肯定不會是最后一個,

未來可期,PingCAP 已經準備好重新出發!

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/281408.html

標籤:AI

上一篇:50歲的程式員該何去何從

下一篇:那些年UNIX教我們的事

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more