主頁 > 資料庫 > Apache DolphinScheduler 3.0.0 正式版發布！

Apache DolphinScheduler 3.0.0 正式版發布！

2022-08-11 13:30:00 資料庫

?  點亮 ?? Star · 照亮開源之路 GitHub:https://github.com/apache/dolphinscheduler   ?

版本發布 2022/8/10

2022 年 8 月 10 日，Apache DolphinScheduler 在經過 3.0.0 alpha、3.0.0-beta-1、3.0.0-beta-2 不斷驗證之后，終于迎來了社區期盼已久的第三個大版本！ 3.0.0 正式版本發生了自發版以來的最大幅度變動，新增了眾多全新功能和特性，旨在為用戶帶來全新的體驗和更多價值，   經過迭代的 3.0.0 正式版與此前 3.0.0 alpha 版本更新文中所描述的主要功能和特性更新、優化項和 Bug 修復大致一致，包括“更快、更強、更現代化、更易維護”這四個關鍵詞總結，   對于版本迭代后新增的功能和優化，本文將再做補充，   關鍵詞：更快、更強、更現代化、更易維護 3.0.0 的關鍵字不變，“更快、更強、更現代化、更易維護”的特點相信大家在使用中可以體驗到，
  • 更快：重構了 UI 界面，新 UI 不僅用戶回應速度提高數十倍，開發者構建速度提高數百倍；
  • 更強：帶來了許多振奮人心的新功能，如資料質量保證、自定義時區、新增多個任務支持和多個告警插件；
  • 更現代化：新 UI 除了更快外，大到頁面布局，細到圖示樣式都更加現代化；
  • 更易維護：后端服務拆分更加符合容器化和微服務化的發展趨勢，還能明確各個服務的職責，讓維護更加簡單，

 

新功能和新特性

前文已有詳細描述的新功能和新特性包括：    

 

3.0.0 最大的變化是引入了新的 UI，切換語言頁面無需重新加載，并且新增了深色主題，新 UI 使用了 Vue3，TSX，Vite 相關技術堆疊，對比舊版 UI，新 UI 不僅更加現代化，操作也更加人性化，前端的魯棒性也更強，使用戶在編譯時一旦發現代碼中的問題，可以對介面引數進行校驗，從而使前端代碼更加健壯， 此外，新架構和新技術堆疊不僅能讓用戶在操作 Apache DolphinScheduler 時回應速度有數十倍的提升，同時開發者本地編譯和啟動 UI 的速度有了數百倍的提升，這將大大縮短開發者除錯和打包代碼所需的時間，   新 UI 使用體驗： ?本地啟動耗時對比   ?專案管理頁面     ?作業流定義頁面     shell 任務頁面     ?   MySQL 資料源頁面  

 

AWS 支持

隨著 Apache DolphinScheduler 用戶群體越來越豐富，吸引了很多海外用戶，但在海外業務場景下，用戶在調研程序中發現有兩個影響用戶便捷體驗 Apache DolphinScheduler 的點，一個是時區問題，另一個則是對海外云廠商，尤其是對 AWS 的支持不足，此版本中，我們決定對 AWS 較為重要的組件進行支持，目前已經涵蓋 Amazon EMR 和 Amazon Redshift 兩個 AWS 的任務型別，以及實作了資源中心支持 Amazon S3 存盤，  
  • 針對 Amazon EMR，我們創建了一個新的任務型別，并提供了其 Run Job Flow 的功能，允許用戶向 Amazon EMR 提交多個 steps 作業，并指定使用的資源數量，
  詳情可見：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/task/emr.html   ? Amazon EMR 任務定義  
  • 對于 Amazon Redshift，我們目前在 SQL 任務型別中擴展了對 Amazon Redshift 資料源的支持，現在用戶可以在 SQL 任務中選擇 Redshift 資料源來運行 Amazon Redshift 任務，
  ?   Amazon Redshift 支持
  • 對于 Amazon S3，我們擴展了 Apache DolphinScheduler 的資源中心，使其不僅能支持本地資源、HDFS 資源存盤，同時支持 Amazon S3 作為資源中心的儲存，詳情可見：https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/resource.html 中的 `resource.storage.type`
后續我們將支持更多 AWS 任務，敬請期待，

 

服務拆分

全新的 UI 是 3.0.0 前端的最大變化，而后端最大的變化就是對服務進行拆分，考慮到容器和微服務的概念越來越火熱，Apache DolphinScheduler 開發者做出了重大決定：對后端服務進行拆分，按照職能，我們將服務拆分成了以下幾部分：
  • master-server: master服務
  • worker-server: worker服務
  • api-server: API服務
  • alert-server: 告警服務
  • standalone-server: standalone用于快速體驗 dolphinscheduler 功能
  • ui: UI資源
  • bin: 快速啟動腳本，主要是啟動各個服務的腳本
  • tools: 工具相關腳本，主要包含資料庫創建，更新腳本
  所以的服務都可以通過 
`bin/dolphinscheduler-daemon.sh`
的方式進行啟動或者停止，  

資料質量保證

此版本中，用戶們從 2.0.0 開始就期待已久的資料質量保證應用功能上線，解決了從源頭同步的資料條數準確性，單表或多表周均、月均波動超過閾值告警等資料質量問題，Apache DolphinScheduler 此前版本解決了將任務以特定順序和時間運行的問題，但資料運行完之后對資料的質量一直沒有較為通用的衡量標準，用戶需要付出額外的開發成本，   現在，3.0.0 已經實作了資料質量原生支持，用戶可以直接通過配置的方式，輕松實作資料質量監控，在保證作業流運行的前提下，保證運行結果的準確性，   ?   ?  

任務組

任務組主要用于控制任務實體并發并明確組內優先級，用戶在新建任務定義時，可配置當前任務對應的任務組，并配置任務在任務組內運行的優先級，當任務配置了任務組后，任務的執行除了要滿足上游任務全部成功外，還需要滿足當前任務組正在運行的任務小于資源池的大小，當大于或者等于資源池大小時，任務會進入等待狀態等待下一次檢查，當任務組中多個任務同時進到待運行佇列中時，會先運行優先級高的任務， 詳見 鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/3.0.0/user_doc/guide/resource.html     ?

 

自定義時區

在 3.0.0 之前版本，Apache DolphinScheduler 默認的時間是 UTC+8 時區，但隨著用戶群體擴大，海外用戶和在海外開展跨時區業務的用戶在使用中經常被時區所困擾，3.0.0 支持時區切換后，失去問題迎刃而解，滿足海外用戶和出海業務伙伴的需求，例如，如當企業業務涉及的時區包含東八區和西五區，想要使用同一個 DolphinScheduler 集群時，可以分別創建多個用戶，每個用戶使用自己當地時區，對應 DolphinScheduler 物件顯示的時間均會切換為對應時區的當地時間，更加符合當地開發者的使用習慣，   詳見 鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/3.0.0/user_doc/guide/howto/general-setting.html ?

 

任務定義串列

使用 Apache DolphinScheduler 3.0.0 此前版本，用戶如果想要操作任務，需要先找到對應的作業流，并在作業流中定位到任務的位置之后才能編輯，然而，當作業流數量變多或單個作業流有較多的任務時，找到對應任務的程序將會變得非常痛苦，這不是 Apache DolphinScheduler 所追求的 easy to use 理念，所以，我們在 3.0.0 中增加了任務定義頁面，讓用戶可以通過任務名稱快速定位到任務，并對任務進行操作，輕松實作批量任務變更， 詳見 鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/3.0.0/user_doc/guide/project/task-instance.html   ?

 

新告警型別支持

在 3.0.0 中，告警型別也進行了擴展，我們增加了對 Telegram、Webexteams 告警型別的支持，   ?  

Python API 新功能

3.0.0 中，Python API 最大的變化是將對應的 PythonGatewayServer 集成到了 API-Server 服務, 并將其重命名 PythonGatewayService, 現在用戶在啟動 api-server 時會默認啟動 PythonGatewayService；如果不想要啟動 PythonGatewayService，可以將 application.yaml 中的 python-gateway.enabled 設定成 false，   此外, Python API 還增加了 CLI 和 configuration 模塊，Configuration 模塊允許用戶修改 Python API 默認的配置, 如修改作業流默認的用戶名、worker 分組等內容, 可以通過環境變數、直接修改檔案、Python 動態修改來改變值，   
# environment variable
export PYDS_JAVA_GATEWAY_ADDRESS="192.168.1.1"
export PYDS_WORKFLOW_USER="custom-user"
# file change
Directly change ~/pydolphinscheudler/config.yaml
# CLI
pydolphinscheduler config --set java_gateway.address 192.168.1.1
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334

 

  目前 CLI 只有 version 和 config 兩個子命令, 用于確認當前版本以及增刪組態檔，后續，我們將引入更加多功能，方便用戶通過命令列操作 DolphinScheduler，   
# version
pydolphinscheduler verison
# 3.0.0
# config
pydolphinscheduler config --get java_gateway.address --get java_gateway.port
# The output look like below:
# java_gateway.address = 127.0.0.1
# java_gateway.port = 25333
pydolphinscheduler config --set java_gateway.address 192.168.1.1 --set java_gateway.port 25334

 

　　

  值得注意的是，Python API 還支持新增和上傳資源中心檔案功能，方便資源管理；支持同一個 project 不同 workflow 寫入不同名稱；增加集成測驗，讓測驗更加便捷，  

此前版本未公布的功能和特性更新

支持 Flink 任務型別

在該版本中，我們擴展了 Flink 任務型別，使其支持運行 Flink SQL 任務，其使用 sql-client.sh 提交任務，在此前的版本中, 我們僅支持通過 flink cli 的方式提交任務, 這種方式需要結合資源中心, 將資源檔案提交到資源中心, 然后在任務定義頁面參考改資源, 對于版本化和用戶透明都不是十分友好. 隨著 flink sql 逐漸成為 flink 使用者的主流, 加之直接在編輯頁面寫 sql 更加用戶透明, 我們采納了向社區貢獻的 flink sql 功能. 3.0.0 以后的版本用戶可以更加方便的使用 flink 任務了， 更多詳情查看：[flink sql client](https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sqlclient/) 對應 PR：https://github.com/apache/dolphinscheduler/pull/9840      

新增 Zepplin 任務型別

  在該版本中，我們增加了 Zeppelin 任務型別，用于創建并執行 Zeppelin 型別任務，Worker 執行該任務時，會通過 Zeppelin Cient API 觸發 Zeppelin Notebook 段落，   對應PR：https://github.com/apache/dolphinscheduler/pull/9810   ?  

Bash 傳參功能

新版本還新增了通過 bash 傳參的功能，如果你想在下游任務中使用 bash 變數而不是常量值 export 引數，你可以在通過 setValue 和 Bash 變數實作，它更加靈活，可以讓你動態地獲取現有的本地或 HTTP 資源獲取設定變數， 可以使用類似的語法   
lines_num=$(wget https://raw.githubusercontent.com/apache/dolphinscheduler/dev/README.md -q -O - | wc -l | xargs)echo "#{setValue(set_val_var=${lines_num})}"

 

 

允許用戶上傳沒有后綴的檔案

  之前資源中心只能上傳有后綴的檔案，在 3.0.0 版本后，我們支持用戶上傳沒有后綴的檔案，  

 

其他功能增強

除了上述功能新增外，3.0.0 版本還進行了很多細節功能增強，如重構任務插件、資料源插件模塊，讓擴展更簡單；恢復了對 Spark SQL 的支持；E2E 測驗已經完美兼容新 UI 等，  

 

主要優化項

  • 任務后端插件優化，新插件只需要修改插件自帶的模塊
  • 在作業流下提交/創建 cron 時驗證結束時間和開始時間
  • Dependent 添加依賴時可以選擇全域專案
  • AlertSender 優化及關閉優化，如 MasterServer
  • 增加 slot 條件查詢資料庫, 減少回傳資料記錄
  • 通過將 python gatewar 遷移到 apiserver 來精簡 dist 包
  • [python] 將 pythonGatewayServer 遷移到 api 服務器
  • [python] 添加缺失的配置和連接遠程服務器檔案
  • [Master/Worker] 將任務 ack 更改為運行回呼
  • [Master] 添加任務事件執行緒池
 

 

主要 Bug 修復

  • 修復使用 S3a Minio 創建租戶失敗的問題
  • 修復文本檔案 busy 的問題
  • 修復專案授權時生成一個重復授權專案的問題
  • 修復因無法連接到 postgresql 而啟動服務器失敗的問題
  • 修復訊息顯示找不到資料源插件“Spark”的問題
  • 修復 MapReduce 生成的命令內置引數位置錯誤的問題
  • 解決更改引數用戶，佇列在 ProcessDefinition 中失效的問題
  • 解決使用依賴組件的行程無法在測驗和生產環境之間遷移
  • 解決了資源檔案洗掉條件的問題
  • 修復編輯復制節點的表單時影響原始節點資料的問題
  • 解決了 Worker 資源耗盡并導致停機的問題
  • 解決了某些型別的警報無法顯示專案名稱的問題
  • 3.0.0 各個部署方式出現的問題
  • 任務組為空時頁面報錯問題
  • treemap 視圖深度錯誤問題
  • 告警資訊不明確問題：告警組為空時報錯資訊不明確，批量洗掉作業流有例外時報錯資訊不明確，租戶內容錯長的錯誤提示，洗掉
  • 引數校驗問題：資料源中心的引數校驗問題，修改密碼時密碼不一致提示，發告警前校驗 alert scriptb
  • Python api：不能設定 release state 問題，本地引數有值但是校驗失敗問題
  • token 查詢不遵循時區問題
  • 修復 HTTPS 和 HTTP 字串識別問題
  • 修復 alert server 健康監測失效問題
  • 修復 condition 任務分支失敗問題
  • 修復 docker 鏡像不支持多平臺問題
  • 修復帶有任務組優先級的作業流創建時不能正確寫資料庫的問題
  • master 任務的失效問題
  • 修復串行等待不運行的問題
  • 時區問題：調度時區錯誤問題，日志增加時區支持
  • 重新運行、暫停作業流實體失敗問題
  • 資源中心實體化失敗問題
  • 修復郵件告警模板分隔線問題
  • 修復Standalone模式下資料初始化問題
  • 修復監控中心DB不存在時的頁面展示問題
  • 修復創建作業流引數無效問題
  • 修復K8S部署時zookeeper埠例外問題
  • 修復Standalone模式下服務啟動失敗問題
  • 修復LDAP登錄失敗問題
  • Python api: 修復同一個專案下不同作業流的任務組件名稱不支持重名問題
  • Python api: 修復SQL任務組件SQL型別錯誤問題
  • 修復資源檔案重命名表單例外問題
  • 修復根據定時設定獲取作業流可執行時間錯誤問題
  • 升級了Logback、Log4j等模塊依賴
  • 修復任務失敗問題
  • 修復好HDFS NPE 問題
  • 修復任務組例外導致master死鎖問題
  • 修復一些列穩定性問題
 

檔案修改

  • 更正部署檔案
  • 修復、更新部分使用檔案：WebexTeams 中文檔案，本地引數、全域引數檔案，Kubernetes FAQ 檔案，Spark 注意事項檔案，DataX 使用檔案，洗掉 Flink API 檔案，修復 open-api 的錯誤，修復資料質量中的錯誤檔案；新增 stand-alone 切換資料庫檔案；新增 shell 中判斷 Yarn 運行狀態檔案；新增更新系統截圖; 引數傳遞、全域引數、引數優先級檔案，告警組件向導、Telegram、釘釘告警檔案，告警FAQ檔案，Shell組件檔案，Switch任務組件檔案，資源中心配置詳情檔案，作業流定義補數檔案
  • 更正部分開發檔案：明確支持的作業系統，修復開發環境搭建檔案，新增自己構建 docker 鏡像檔案
 

 

Release note

GitHub: https://github.com/apache/dolphinscheduler/releases/tag/3.0.0   下載：https://dolphinscheduler.apache.org/en-us/download/download.html  

 

感謝貢獻者

Aaron Lin、Amy0104、Assert、BaoLiang、Benedict Jin、BenjaminWenqiYu、Brennan Fox、Dannila、Desperado2、Devosend、DingPengfei、DuChaoJiaYou、EdwardYang、Eric Gao、Frank Chen、GaoTianDuo、HanayoZz、HeChuan、HomminLee、Hua Jiang、Hwting、Ivan0626、Jeff Zhan、Jiajie Zhong、JieguangZhou、Jiezhi.G、JinYong Li、J·Y、Kerwin、Kevin.Shin、KingsleyY、Kirs、KyoYang、LinKai、LiuBodong、LongJGun、Luke Yan、Lyle Shaw、Manhua、Martin Huang、Maxwell、Molin Wang、Mr.An、OS、PJ Fanning、Paul Zhang、QuakeWang、ReonYu、SbloodyS、Sheldon、Shiwen Cheng、ShuiMuNianHuaLP、ShuoTiann、SongTao Zhuang、Stalary、Sunny Lei、Tom、Town、Tq、WangJPLeo、Wenjun Ruan、X&Z、XiaochenNan、Yanbin Lin、Yao WANG、Yiming Guo、Zonglei Dong、aCodingAddict、aaronlinv、aiwenmo、caishunfeng、calvin、calvinit、cheney、chouc、chuxing、czeming、devosend、exmy、gaojun2048、guodong、guoshupei、hjli、hstdream、huangxiaohai、janeHe13、jegger、jiachuan.zhu、jon-qj、juzimao、kezhenxu94、labbomb、leiwingqueen、lgcareer、lhjzmn、lidongdai、lifeng、lilyzhou、litiliu、liubo1990、liudi1184、longtb、lvshaokang、lyq、mans2singh、mask、mazhong、mgduoduo、myangle1120、naziD、nobolity、ououtt、ouyangyewei、pinkhello、qianli2022、qinchaofeng、rickchengx、rockfang、ronyang1985、seagle、shuai hou、simsicon、sneh-wha、songjianet、sparklezzz、springmonster、sq-q、syyangs799、uh001、wangbowen、wangqiang、wangxj3、wangyang、wangyizhi、wind、worry、wqxs、xiangzihao、xiaodi wang、xiaoguaiguai、xuhhui、yangyunxi、yc322、yihong、yimaixinchen、youzipi、zchong、zekai-li、zhang、zhangxinruu、zhanqian、zhuxt2015、zixi0825、zwZjut、天仇、小張、弘樹丶、張俊杰、旭旭同學、時光、旺陽、王強、百歲、秋天、羅銘濤、阿福Chris、陳家名、陳爽、飛俠美如畫  

參與貢獻

  隨著國內開源的迅猛崛起，Apache DolphinScheduler 社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球，   參與 DolphinScheduler 社區有非常多的參與貢獻的方式，包括：   ?     貢獻第一個PR(檔案、代碼) 我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度，   社區匯總了以下適合新手的問題串列：https://github.com/apache/dolphinscheduler/issues/5689   非新手問題串列：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22   如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html   來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的，   參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子范訓群(Leonard-ds) ，手把手教會您( 貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心 )，   添加小助手時請說明想參與貢獻，   來吧，開源社區非常期待您的參與，   活動推薦   Apache DolphinScheduler社區8月聯合了Apache Kylin社區，共同舉辦Meetup主題為《大資料底座的構建與展望，助力企業數字化轉型》即將重磅開啟！我們也有幸邀請到了來自伊利、T3出行、白鯨開源、Apache Kylin社區等企業的資深大資料工程師與開發者，從資料分析引擎、資料調度、數字化轉型、維護開源視角等話題探討在兩個開源專案的開發實踐，  

 

?

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/501560.html

標籤：其他

上一篇：手把手教你定位線上MySQL鎖超時問題，包教包會

下一篇：centos8安裝mysql

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀：**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題，由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視，實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶，一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀：**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高，采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐，遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀：**滴滴資料通道引擎承載著全公司的資料同步，為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加，資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程，遇到的問題以及今后的規劃。 #1. 背景 資料，對于任何一家互聯網公司來說都是非常重要的資產，公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀：**深耕人工智能領域，致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎，這次獲獎的專案是什么呢？一起來看看詳細報道吧！ 近日，由國際計算語言學協會ACL（The Association for Computational Linguistics）舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp？ MPP (Massively Parallel Processing)，即大規模并行處理，在資料庫非共享集群中，每個節點都有獨立的磁盤存盤系統和記憶體系統，業務資料根據資料庫模型和應用特點劃分到各個節點上，每臺資料節點通過專用網路或者商業通用網路互相連接，彼此協同計算，作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀：**指標體系是什么？如何使用OSM模型和AARRR模型搭建指標體系？如何統一流程、規范化、工具化管理指標體系？本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標，系統化的組織起來，通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索，LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料，可以使用下面的 SQL 陳述句： SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀：**Ceph是國際知名的開源分布式存盤系統，在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統， ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章，這一次主要寫一個嵌套的聚合，例如先對sex集合，再對desc聚合，最后再對age求和，共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by，avg，sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack（ELK）部署

    傻瓜式部署，只需替換IP與用戶 導讀： 現ELK四大組件分別為：Elasticsearch（核心）、logstash（處理）、filebeat（采集）、kibana（可視化） 下載均在https://www.elastic.co/cn/downloads/下tar包，各組件版本最好一致，配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取？ 快取就是資料交換的緩沖區（稱作Cache），是存盤資料的臨時地方，一般讀寫性能較高。 快取的作用： 降低后端負載 提高讀寫效率，降低回應時間 快取的成本： 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下，當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志（binlog），我們都知道二進制日志（binlog）非常重要，尤其當你需要point to point災難恢復的時侯，所以我們要對其進行備份。關于二進制日志（binlog)的備份,可以基于flush logs方式先切換binlog，然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼： 發送驗證碼的介面為：http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式：PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能，以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景，僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼，對其進行一對一優化，而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題，盡量不要讓一個事務拖太長的時間 例如檔案上傳時，應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代，MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足，但是對于很多開發者和DBA來說，如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL（ClickHouse自帶）、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼，對其進行一對一優化，而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題，盡量不要讓一個事務拖太長的時間 例如檔案上傳時，應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“（堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError（堆外記憶體溢位) ”問題如下： 一、報錯資訊： 使用 Redis 的業務介面 ，產生 OutOfDirectMemoryError（堆外記憶體溢位），如圖： 格式化后的報錯資訊： { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取？ 快取就是資料交換的緩沖區（稱作Cache），是存盤資料的臨時地方，一般讀寫性能較高。 快取的作用： 降低后端負載 提高讀寫效率，降低回應時間 快取的成本： 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下，當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼： 發送驗證碼的介面為：http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式：PO ......

    uj5u.com 2023-04-20 08:23:11 more

Copyright © 2010-2020 有解無憂