主頁 > 資料庫 > 2023 年十大戰略技術趨勢中哪一項最需要 HTAP ?

2023 年十大戰略技術趨勢中哪一項最需要 HTAP ?

2022-11-24 07:38:17 資料庫

前幾天,Gartner 發布了企業機構在2023年需要探索的十大戰略技術趨勢,

Gartner 杰出研究副總裁 Frances Karamouzis 表示:“為了在經濟動蕩時期增加企業機構的盈利,首席資訊官和IT高管必須在繼續加快數字化轉型的同時,將目光從節約成本轉向新的卓越運營方式,Gartner 2023年戰略技術趨勢圍繞優化、擴展和開拓這三大主題,這些技術能夠幫助企業機構優化韌性、運營或可信度、擴展垂直解決方案和產品交付并利用新的互動形式、更加快速地回應或機會進行開拓,”

Gartner 提出的 2023 年十大戰略技術趨勢按照順序分別是:

  1. 可持續性(Sustainability)
  2. 元宇宙(Metaverse)
  3. 超級應用(Superapps)
  4. 自適應AI(Adaptive AI)
  5. 數字免疫系統(Digital Immune System)
  6. 應用可觀測性(Applied Observability )
  7. AI信任、風險和安全管理(Trust, Risk and Security Management)
  8. 行業云平臺(Industry Cloud Platforms)
  9. 平臺工程(Platform Engineering)
  10. 無線價值實作(Wireless Value Realization)

那么這十大技術中哪一項最適合使用HTAP呢?

不賣關子了,答案就是自適應 AI(Adaptive AI)

**自適應 AI **本意是傳統的 AI 系統需要面對不斷變化的環境,具體要求為:一是模型訓練好以后,由于外部環境不斷改變,模型是否可以繼續應用到不斷變化的環境中;二是模型訓練好以后,需要添加更多的訓練資料迭代模型;三是希望模型最后在推理的時候產生一些個性化的結果,而非一般化的結果,這三個新的要求實際上對 AI 模型來說是希望模型訓練和推理逐漸走向在線訓練、在線推理,

"在線推理"比較好理解,各大短視頻或者電商 APP 會結合用戶興趣持續推薦可能感興趣的內容;"在線訓練”是指背后的 AI 模型需要實時更新,只有實時更新才能更好回應進一步輸入的作業,進而讓訓練和推理形成正向回圈,這個叫作“自適應 AI”,

簡單來說,自適應AI系統通過不斷反復訓練模型并在運行和開發環境中使用新的資料進行學習來迅速適應在最初開發程序中無法預見或獲得的現實世界情況變化,這些系統根據實時反饋動態調整它們的學習和目標,因此適合外部環境快速變化的運營或者因為企業目標不斷變化而需要優化回應速度的運營,

而在自適應AI的這個實時分析訓練的程序中,不可避免地要用到一些資料,這些資料并不是越大越好的,正如 AI 和 ML 領域國際上最權威的學者之一吳恩達教授在今年年初接受 IEEE Spectrum 所說的:AI 的下一個發展方向,正在從“大”資料轉向“小”資料

深度學習等方法通過“大”資料來訓練模型學習特征,使用的資料和算力都太大,雖然目前通過使用預訓練模型的方式在很大程度上解決了這個問題,但是依然不夠,能否通過小資料也訓練出很好的模型呢?解決的方法是讓小資料成為優質資料,許多學習方法都是監督學習的方式,需要對訓練資料的特征進行標注,如果能挑選出有效的資料,并且進行準確的標注,通過優質資料訓練出來的模型也有很好的泛化能力,設計一個有效甄別優質資料并能一致性標注的系統,以資料為中心的訓練,這也就是“以資料為中心”的 AI 的理念轉變,

可以看到,這個解讀與我們在《HTAP 的下一步,SoTP初探(上):從”大“資料到”小“而”寬“資料》這篇文章里提到的“小”資料與“寬”資料應用場景案例完全吻合,

當然,我們這里講的自適應AI,是屬于自適應自動系統的一部分,這個趨勢無疑與StoneDB后續要重點投入的方向是強相關的,我們后續就會加強StoneDB的實時分析處理能力,還要加上 Autopilot 功能(這個功能本身就可以視作是自適應AI或者自適應ML的一種),StoneDB Autopilot 將在許多重要且具有挑戰性的方面加入自動化處理能力,以實作大規模的高查詢性能——包括配置、資料加載、查詢執行和故障處理,它使用先進的技術對資料采樣,收集資料和查詢的統計資訊,并構建機器學習模型,對記憶體使用、網路負載和執行時間進行建模,StoneDB Autopilot 使我們 Tianmu 引擎的查詢優化器隨著執行更多查詢而變得越來越智能,從而隨著時間的推移不斷提高系統性能,

聽起來是不是很酷?當然,自適應 AI 還有很多可以應用的場景,這是 Gartner 在提出生成式 AI 后又力推的一個主流技術趨勢,仔細觀察最近的 AI 技術市場,MLOps 和 AIOps 的熱度都在不斷上升,而要給這些核心技術加速的話,HTAP 是必不可少的,而在 HTAP 資料庫中,特別針對“小”而“寬”資料的SoTP(Serving over TP)型資料庫將迎來更多的挑戰和機遇,

附:2023年重要戰略技術趨勢包括:

可持續性(Sustainability)

可持續性貫穿2023年的所有戰略技術趨勢,在 Gartner 最近的一項調查中,首席執行官們表示環境和社會變化已成為投資者的三大優先事項之一,僅次于利潤和收入,這意味著為了實作可持續性目標,高管必須加大對滿足ESG需求的創新解決方案的投資力度,為此,企業機構需要新的可持續技術框架來提高IT服務的能源和材料效率,通過可追溯性、分析、可再生能源和人工智能(AI)等技術實作企業的可持續發展,同時還要部署幫助客戶實作其可持續性目標的IT解決方案,

開 拓

元宇宙(Metaverse)

Gartner將元宇宙定義為一個由通過虛擬技術增強的物理和數字現實融合而成的集體虛擬共享空間,這個空間具有持久性,能夠提供增強沉浸式體驗,Gartner預計完整的元宇宙將獨立于設備并且不屬于任何一家廠商,它將產生一個由數字貨幣和非同質化通證(NFT)推動的虛擬經濟體系,Gartner預測,到2027年,全球超過40%的大型企業機構將在基于元宇宙的專案中使用Web3、增強現實(AR)云和數字孿生的組合來增加收入,

超級應用(Superapps)

超級應用是一個集應用、平臺和生態系統功能于一身的應用程式,它不僅有自己的一套功能,而且還為第三方提供了一個開發和發布他們自己的微應用的平臺,Gartner預測,到2027年,全球50%以上的人口將成為多個超級應用的榷訓躍用戶,

Karamouzis表示:“雖然大多數超級應用是移動應用,但這個概念也可以應用于Microsoft Teams、Slack等桌面客戶端應用,關鍵在于超級應用必須能夠整合并取代客戶或員工使用的多個應用,”

自適應AI(Adaptive AI)

自適應AI系統通過不斷反復訓練模型并在運行和開發環境中使用新的資料進行學習來迅速適應在最初開發程序中無法預見或獲得的現實世界情況變化,這些系統根據實時反饋動態調整它們的學習和目標,因此適合外部環境快速變化的運營或者因為企業目標不斷變化而需要優化回應速度的運營,

優 化

數字免疫系統(Digital Immune System)

76%負責數字產品的團隊現在還需要對營收負責,因此首席資訊官正在尋找新的實踐和方法,使其團隊能夠在實作高商業價值的同時,降低風險和提高客戶滿意度,數字免疫系統為他們提供了滿足這一要求的路線圖,

數字免疫系統通過結合資料驅動的運營洞察、自動化和極限測驗、自動化事件解決、IT運營中的軟體工程以及應用供應鏈中的安全性來提高系統的彈性和穩定性,Gartner預測,到2025年,投資建設數字免疫系統的企業機構將能夠減少多達80%的系統宕機時間,所減少的損失將直接轉化為更高的收入,

應用可觀測性(Applied Observability )

在任何相關方采取任何型別的行動時,都會產生包含了數字化特征的可觀測資料,如日志、痕跡、API呼叫、停留時間、下載和檔案傳輸等,應用可觀測性以一種高度統籌和整合的方式將這些可觀測的特征資料進行反饋,創造出一個決策回圈,從而提高組織決策的有效性,

Karamouzis表示:“可觀測行應用使企業機構能夠利用他們的資料特征來獲得競爭優勢,它能夠在正確的時間提高正確資料的戰略重要性,以便根據確認的相關方行動而不是意圖采取快速行動,因此是一種強大的工具,如果能夠在戰略中予以規劃并成功執行,可觀測性應用將成為資料驅動型決策的最強大來源,”

AI信任、風險和安全管理(Trust, Risk and Security Management)

許多企業機構未做好管理AI風險的充分準備,Gartner在美國、英國和德國開展的一項調查顯示,41%的企業機構曾經歷過AI隱私泄露或安全事件,但該調查也發現積極管理AI風險、隱私和安全的企業機構在AI專案中取得了更好的成果,與未積極管理這些功能的企業機構的AI專案相比,在這些企業機構中有更多的AI專案能夠從概念驗證階段進入到生產階段并實作更大的業務價值,

企業機構必須使用新的功能來保證模型的可靠性、可信度、安全性和資料保護,AI信任、風險和安全管理(TRiSM)需要來自不同業務部門的參與者共同實施新的措施,

擴 展

行業云平臺(Industry Cloud Platforms)

行業云平臺通過組合SaaS、平臺即服務(PaaS)和基礎設施即服務(IaaS)提供支持行業應用場景的行業模塊化能力,企業可以將行業云平臺的打包功能作為基礎模塊,組合成獨特、差異化的數字業務專案,在提高敏捷性、推動創新和縮短產品上市時間的同時避免單一廠商鎖定,

Gartner預測,到2027年,超過50%的企業將使用行業云平臺來加速他們的業務專案,

平臺工程(Platform Engineering)

平臺工程是一套用來構建和運營支持軟體交付和生命周期管理的自助式內部開發者平臺的機制和架構,平臺工程的目標是優化開發者體驗并加快產品團隊為客戶創造價值的速度,

Gartner預測,到2026年,80%的軟體工程組織將建立平臺團隊,其中75%將包含開發者自助服務門戶,

無線價值實作(Wireless Value Realization)

由于沒有一項技術能夠占據主導地位,企業將使用一系列無線解決方案來滿足辦公室Wi-Fi、移動設備服務、低功耗服務以及無線電連接等所有場景的需求,Gartner預測,到2025年,60%的企業將同時使用五種以上的無線技術,

網路的功能將不再僅限于純粹的連接,它們將使用內置的分析功能提供洞察,而其低功耗系統將直接從網路中獲取能量,這意味著網路將直接產生商業價值,
StoneDB 2.0 云原生分布式實時 HTAP 架構詳細設計以 RFC 形式持續進行,歡迎大家關注我們最新進展,更歡迎給我們開源協作的模式和方法提出改進意見,一起通過開源的方式共建 StoneDB ~

https://github.com/stoneatom/stonedb/issues/436

  • StoneDB 代碼已完全在 Github 開源:

https://github.com/stoneatom/stonedb

  • StoneDB 官網:

https://stonedb.io/

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/538226.html

標籤:其他

上一篇:開源共建 | 中國移動馮江濤:ChunJun(原FlinkX)在資料入湖中的應用

下一篇:openGauss DB4AI框架揭秘

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more