主頁 >  其他 > 云原生 Serverless Database 使用體驗

云原生 Serverless Database 使用體驗

2022-01-28 07:00:47 其他


作者 | 李欣

近十年來互聯網技術得到了飛速的發展,越來越多的行業加入到了互聯網的矩陣,由此帶來了更為豐富且復雜的業務場景需求,這對于資料應用系統的性能無疑是巨大的挑戰,?

關系型資料庫 MySQL 是應用系統中最廣泛使用的資料庫產品,擁有強大的資料查詢和強事務處理能力,在如今的云時代,應用系統逐漸演進到基于云原生 Serverless 架構去進行搭建,因為它具有低成本、高彈性的優勢,但基于 MySQL 的資料存盤在 Serverless 架構體系下仍存在一些明顯的不足:

  1. 彈性擴展能力差,Serverless 場景中一個重要特點是應用負載具有顯著的波峰波谷,當面臨流量洪峰時,DBA 又需要手動對集群進行擴容以避免集群被打爆;而適逢流量低谷時,則需要對集群進行縮容以節省成本,
  2. 運維復雜度高,MySQL 搭建需要進行購置集群、安裝服務、管理連接,業務上線后還要關注資料安全、服務可用性、回應時間等等,用于集群運維的時間占比會變高,無法把更多的精力專注于業務研發上,
  3. 成本高,通常 DBA 需要預估業務規模來事先設定資料庫初始容量,當業務請求量未達到預估值時,集群中的資源會一直處于閑置狀態,造成資源浪費,?

Serverless DataBase

?

MySQL 支持的關系模型和其強事務的特性,使其在應用系統中有非常重要的位置,是目前不可完全替代的存盤組件之一,但若一味地依賴 MySQL 又會使得應用系統無法完全 Serverless 化,不能享受 Serverless 帶來的極致彈性,
?

在阿里內部我們有一些新的架構實踐,那些需要強事務處理的資料仍舊使用關系表存盤,而對于非強事務表資料存盤,我們則設計出了一款擁有極致彈性的 Serverless 表存盤,

關于 Serverless 資料庫產品,我們的設計要求是必須具備以下幾個特征:
?

  • 完全彈性,可根據應用負載自動彈性擴縮容,這一特性可為用戶帶來更經濟的計費模式和更絲滑的體驗,
  • 按量計費,Serverless 資料庫的使用成本主要來自于計算成本和存盤成本,用戶只需為業務實際產生的存盤單元和回應單元付費,節省成本,
  • 零運維,即開即用,無需管理容量、水位、軟體升級、內核優化等運維事項,真正讓研發專注于業務開發,

?

Serverless 架構在諸多業務場景中都有廣泛的應用實踐,例如世紀聯華集團在其核心的電商業務中,針對自建 IDC 機房遇到的資源難以預算、系統部署困難等痛點問題,將業務實作全面上云并逐步改造為全 Serverless 架構的中臺模式,

世紀聯華集團采用了函式計算+ API 網關+ Tablestore 方案,輕松支撐起了 6.18、雙 11 等大促活動,其中,表格存盤 Tablestore 作為世紀聯華電商系統的云上 Serverlesss 架構中的核心存盤,具備極致彈性、免運維、成本低等優勢,

表格存盤 Tablestore 簡介

?

表格存盤 Tablestore 于 2009 年阿里云成立之初便立項研發,基于底層飛天平臺從零開始構建,是一款多模型、多引擎的 Serverless 表存盤,在公共云上輸出了國內外 30 多個區域,擁有 1.5 萬服務器規模和 200PB 存盤規模,是阿里云眾多商業化產品的底層核心存盤,
?

同時在線下已輸出到金融、能源、電力、物流、醫療、政企等行業,服務于公共云 1000+ 企業客戶和 500+ 線下專案,
?

表格存盤 Tablestore 具備 HBase 和 ElasticSearch 的融合功能,擁有極致彈性體驗、免運維、即開即用的特性,支持 GB 到 PB 的彈性存盤和 十萬級 TPS 服務能力的無感知擴展,支撐海量的表資料的同時,提供豐富的資料檢索與分析能力,是集存盤、搜索和分析多功能一體的一站式結構化資料存盤平臺,
?

表格存盤 Tablestore 的整體架構如下圖所示:


Tablestore 架構圖

表格存盤提供了多種資料模型,主要包括寬表模型(Widecolumn)、訊息模型(Timeline)和時序模型(Timeseries),

  • 寬表模型主要承載表結構資料存盤,例如電商訂單資料,
  • 訊息模型主要承載訊息資料存盤,例如 IM/Feeds 訊息,
  • 時序模型主要承載時序資料存盤,例如物聯網設備時序資料,

下面我們將以電商訂單場景為例子,帶大家體驗基于 Tablestore 的寬表模型構建一個 Serverless 的訂單存盤系統,?

Tablestore 體驗

1、準備作業

?

在體驗 Tablestore 帶來的極致彈性之前,需要準備如下幾個步驟:
?

(1)創建一個阿里云賬號,并獲取到阿里云賬號的 AK,(云賬號 AK 是訪問所有云服務包括 Tablestore 的密鑰,后續需要通過 AK 來訪問 Tablestore 服務),

?

(2)下載并啟動 Tablestore 提供的命令列工具 Tablestore CLI,命令列工具提供一些簡單的指令來管理表格存盤服務,
?

首先通過 config 命令配置連接密鑰并通過 enable_service 命令開通 Tablestore 服務:
?

config --id accessKeyID --key accessKeySecretenable_service
?

(3)通過 create_instance 命令創建一個實體:

?

create_instance -d "order storage" -n serverless-db -r cn-hangzhou
?

實體相當于 MySQL 資料庫的概念,實體創建后無需思慮實體所在物理機集群的水位,只需專注開發業務邏輯即可,同時實體上的讀寫和存盤均為按量計費,若無讀寫無存盤,實際則不會產生任何費用,

至此,一個能夠支持 GB 到 PB 存盤的、無并發限制、零運維、完全彈性的 Serverless DataBase 就創建完成了,
?

2、創建表

?

寬表模型是(Widecolumn) 是 Schema-free 的一種資料表,與關系型資料庫 MySQL 不同的是,創建一張表 Widecolumn 模型的資料表僅需要定義主鍵結構,并不需要定義屬性列結構,
?

例如一張訂單表 order 的表結構如下圖表格所示:

|

| id(PrimaryKey) | cName | pType | sId | total_Price | ...... |
| --- | --- | --- | --- | --- | --- | --- |
| 資料型別 | STRING | STRING | STRING | STRING | DOUBLE | ...... |
| 業務含義 | 訂單ID | 消費者姓名 | 訂單商品型別 | 售貨員ID | 訂單總金額 | ...... |

創建一張寬表模型的訂單表,屬性列資訊無需定義,只需定義訂單表主鍵 id ,命令如下:

?

create_instance -d "order storage" -n serverless-db -r cn-hangzhou
?

執行 create 命令后成功創建一張訂單寬表,剛創建的訂單寬表會被初始化 1 個資料磁區,

隨著訂單資料量的增加或訪問量的增加,寬表模型會根據第一主鍵的分布范圍_(上述資料模型中即是訂單ID)分裂擴展成多個資料磁區平均分布到多臺物理機上以支持更大的資料規模(TB 甚至 PB)和讀寫吞吐(十萬 TPS 以上)_,整個擴展程序完全由服務端自動完成,無需人工干預,
?

3、資料匯入

?

模擬生成了 100 萬條樣例訂單資料,并通過 import 命令批量匯入到 order 表中,單資料磁區的寫入速度可以達到幾萬行/s,隨著磁區擴展,寫入吞吐還可以進一步提高,

import -i orderDataFile -l 1000000
Current speed is: 10000 rows/s. Total succeed count 10000, failed count 0.Current speed is: 12600 rows/s. Total succeed count 22600, failed count 0.......Current speed is: 9200 rows/s. Total succeed count 1000000, failed count 0.Import finished, total count is 1000000, failed 0 rows.

4、訂單查詢

使用 get 命令按照訂單號(id)單行查詢寬表模型,得到一條訂單資料,get 命令只能夠基于 rowKey 來進行單行查詢,
?

查詢一條訂單示例:
id = "0000005be2b43dd134eae18ebe079774"

get --pk '["0000005be2b43dd134eae18ebe079774"]'
+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+--------+---------+-------+-------+--------+------------+| order_id | cId | cName | hasPaid | oId | orderTime | pBrand | pCount | pId | pName | pPrice | pType | sId | sName | totalPrice |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+--------+---------+-------+-------+--------+------------+| 0000005be2b43dd134eae18ebe079774 | c0015 | 消周五 | false | o0035062633 | 1507519847532 | 小米 | 3 | p0005003 | 小米 6 | 2299.21 | 手機 | s0017 | 售鄭七 | 6897.63 |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+--------+---------+-------+-------+--------+------------+

5、訂單檢索與統計

?

訂單場景中經常會出現依賴多條件組合篩選,這種情況下需要依賴 Tablestore 的多元索引特性,多元索引是 Tablestore 提供的類似 Elasticsearch 的表資料索引,支持豐富的查詢方式和資料聚合能力,可在多個列上分別建立索引,和 MySQL 中的聯合索引不同的是,多元索引可根據任意欄位組合查詢,不會按照多列的最左前綴來匹配,

例如我們在 id、pName、totalPrice 等欄位上分別建立索引,采用倒排索引、分詞、BKDTree 等資料結構,提供了精確查詢、全文檢索、范圍查詢等查詢能力,另外,多元索引也支持按欄位分組、多欄位排序以及統計聚合能力,

使用 create_search_index 命令在寬表上建立多元索引,起到查詢加速的作用,

create_search_index -t order -n order_index{ "IndexSetting": null, "FieldSchemas": [{ "FieldName": "id", "FieldType": "KEYWORD", "Index": true, "EnableSortAndAgg": true, "Store": true },{ "FieldName": "pName", "FieldType": "TEXT", "Index": true, "EnableSortAndAgg": false, "Store": true },{ "FieldName": "totalPrice", "FieldType": "DOUBLE", "Index": true, "EnableSortAndAgg": true, "Store": true } ...//其他欄位 ] }?

Tablestore 支持 SQL 查詢能力,兼容了 MySQL 的查詢語法,并且盡量保留了關系型資料庫的使用習慣,SQL 能夠自動選擇索引并進行查詢加速,通過多元索引的查詢加速,在百億資料規模下也具備了毫秒級延遲查詢的能力,
?

根據 sName、pBrand、pName 三個欄位條件進行訂單檢索:

select * from order where sName = "售周五" and pBrand = "小米" and pName like "紅米%"limit 3;
+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+---------+--------+-------+---------------+-------+--------+------------+| id | cId | cName | hasPaid | oId | orderTime | pBrand | pCount | pId | pName | pPrice | pType | payTime | sId | sName | totalPrice |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+---------+--------+-------+---------------+-------+--------+------------+| 00001c760c04126da067e90409467c4e | c0022 | 消趙一 | true | o0009999792 | 1494976931954 | 小米 | 3 | p0005004 | 紅米 5s | 499.01 | 手機 | 1494977189780 | s0005 | 售周五 | 1497.03 |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+---------+--------+-------+---------------+-------+--------+------------+| 0000d89f46952ac03da71a33c8e83eef | c0012 | 消錢二 | false | o0024862442 | 1502415559707 | 小米 | 2 | p0005004 | 紅米 5s | 499.01 | 手機 | null | s0015 | 售周五 | 998.02 |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+---------+--------+-------+---------------+-------+--------+------------+| 0000f560b62779285e86947f8e8d0e4c | c0008 | 消馮八 | false | o0000826505 | 1490386088808 | 小米 | 1 | p0005004 | 紅米 5s | 499.01 | 手機 | null | s0015 | 售周五 | 499.01 |+----------------------------------+-------+--------+---------+-------------+---------------+--------+--------+----------+---------+--------+-------+---------------+-------+--------+------------+

?

統計所有訂單中每個商品品牌的訂單數:

select pBrand,count() from order group bypBrand;
+--------+----------+| pBrand | count(
) |+--------+----------+| vivo | 162539 |+--------+----------+| 聯想 | 304252 |+--------+----------+| oppo | 242513 |+--------+----------+| 蘋果 | 96153 |+--------+----------+| 小米 | 194543 |+--------+----------+

總結
?

表格存盤 Tablestore 作為一款廣泛應用 Serverless DataBase,提供了經濟的計費模式,能大幅縮減業務成本,以上文訂單場景為例子,在一億訂單資料量級和平均 2000TPS 的讀寫量下,采用表格存盤 Tablestore 僅需不到 400元/月 的使用成本,與此同時,Tablestore 具備極致的彈性服務能力和完全零運維的特性,能夠給用戶帶來更絲滑的使用體驗,

如對本文中所述有疑問或者希望進一步了解表格存盤,可以釘釘搜索群號:“23307953”,群內提供免費的在線專家服務,歡迎加入,

更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),匯集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,用戶最佳實踐,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/421822.html

標籤:其他

上一篇:三角形的生命——英偉達的邏輯流水線

下一篇:Serverless 年終技術盤點 :工業、學術、社區遍地開花,國內廠商迅速卡位

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more