主頁 > 資料庫 > Apache DolphinScheduler PMC:開源不一定也要九死一生

Apache DolphinScheduler PMC:開源不一定也要九死一生

2022-09-03 09:49:34 資料庫

點亮 ?? Star · 照亮開源之路 GitHub:https://github.com/apache/dolphinscheduler   ?   參與開源已經快3年了,這次在Meetup上沒有分享純技術的話題,其初衷是想帶這大家從一個開源社區維護者的視角來看開源,希望大家能從中獲取到一些感悟,當然這次的話題有些觀點可能抱有主觀看法,大家多多包涵,   ?   鐘嘉杰 白鯨開源資料工程師 Apache DolphinScheudler PMC  

 

什么是開源

我在這里說的開源特指開源軟體(open source software, 縮寫 OSS), 又稱開放源代碼軟體, 是一種源代碼可以任意獲取的計算機軟體,一些開源軟體被發布到公有領進行托管, 如GitHub, GitLab, Gitee 等,   常見的開源軟體有: 作業系統: Linux Kernel, Chrome OS, 基于 Kernel 的各種發行版等 資料庫: Postgres, MariaDB,MongoDB, Redis 等 編程語言: JavaScript, OpenJDK, CPython 等 中間件: Nginx, Apache HTTP, Moby(docker)  

開源的組成形式

一家生產飲料的公司,有一個非常獨特的配方,生產出來的飲料大家都喜歡喝, 配方層層保密,就是整個區域整個國家甚至是全球,只有它才能生產出這樣的飲料,我說的這家公司就是可口可樂,這種模式導致傳說這個配方比公司的市值還要高,   ?     我有好的idea,這個idea在市場上適用性很高,在以前經濟主體中, 會希望將這個idea層層保密, 將它作為我的商業秘密保存, 類似可口可樂,   在開源中卻不是這樣的,比如我開發了一個有趣的東西,我想的更多的是把它開源出去,希望更多人來使用/參與,希望大家對他提點意見,   在這個程序中部分作者認為,在他將產品開源程序中, 能獲取榮譽感,產出是被人認可的,而從我的角度來看,是一個既能解決我的問題,又能解決別人問題的程序,讓我的代碼變得更有意義,   專案的控制力,飲料公司配方就是集中式的體現,公司不希望有很多人了解這個事情,不希望別人知道有秘方的存在,同時, 之前的軟體行業也是如此,有些軟體會暴露一些SDK讓用戶去基于SDK開發插件 ,但是從來不會把他們的代碼給開源出來,他們希望自己是產品的控制者,其他人只是參與者,   但是開源就不一樣,他不僅會告訴你如何去寫插件,你也可以看專案核心的代碼,可以修改核心的代碼,如果修改是正確,社區維護者會接受你的修改,在開源里控制權不再是一個個體, 公司, 或者國家, 它是被社區控制,這里說的控制指的是發展方面,以及修改合并的審核,并不是對軟體和參與者的控制,   人員的組成,在我剛參加作業的時候,有不懂的就會去問我的leader,但參加開源之后會發現,這里更加傾向在公共領域拋出問題,而非點對點交流,當有問題的時,在郵件串列,或者slack/微信群拋問題,你會發現有用戶來幫你解決問題了,社區的貢獻者回復的有時沒有用戶的快,這就是人員組成的問題,   社區往往是一群人在努力奮斗,能收集更多用戶場景,能將產品打磨使其適用性更加廣,在3、5年前,小海豚用戶還沒有這么多,會面臨適用性問題, 隨著用戶數量和反饋越來越多,小海豚的適用性越來越廣,很多公司基本上剛接觸就可以直接一鍵部署,除了一些OA 或者特殊的鑒權,整個業務就能很快就能跑起來,  

 

在局中

  很多小伙伴可能都覺得開源可能離你很遠,我個人覺得這是一個錯誤的觀點,其實大部分人都已經身在其中,只要你在使用開源的軟體,無形中你就已經成為整個開源大廈當中的一部分,你是社區的用戶,又或者今天來參加社區技識訓動、參加Meetup也是社區的參與方式,開源并沒有離我們很遠,  

有庫寫入權

  除了Apache基金會旗下的開源專案,Google、Facebook、阿里等企業開源出來的專案,只要你在里面貢獻代碼,并且有獲取寫入權限,你就算是一個開源專案的維護者了,甚至自己寫了一個小工具,并且在細分領域非常有用,并且開源出來有人在使用,有人star,你也是屬于開源維護者,算得上是一個在深度參與開源的小伙伴了,  

貢獻過代碼

  如果你在開源專案中貢獻過代碼,不管是檔案還是代碼,都是被歸屬為貢獻者人群,其次是參與社區討論,比如海豚調度會有郵件串列和對應的 GitHub issue,我們會在郵件串列討論問題,如果參與其中討論問題的討論,甚至是在微信群/slack群討論內容,那你就算是一個深度的用戶,并且在參與推動開源反饋的程序,   這里補充一點,反饋對一個開源軟體來說很重要,我們需要持續的深入去挖用戶的場景,甚至海豚調度到今天來說還會不斷地去做用戶訪談,挖掘有哪些未解決的痛點,社區從哪些維度優化改善提升!特別是很多用戶都在反饋同一個痛點的時候,開源的維護者就會不斷去推動落實,說不定未來的3.5或者4.0發版的時候,這個痛點問題被解決了,   ?  

使用過專案-用戶

  還有一類用戶,經常使用但是不參與任何討論,我們看到上面的漏斗圖,會發現這個用戶群體在社區里面是最大的群體,也是最重要的一個群體,我見過有些開源軟體,它代碼寫得不錯,但是沒有用戶使用或者是它的用戶群體太小眾了,我認為它可能是一個開源軟體,但它算不上偉大,用戶群體的多寡很可能會決定產品是否偉大,  

貢獻者入權

  接下來我們會發現社區里面第二大的群體就是Contributor,如果說用戶是很重要的話,那Contributor可能就是正向推動整個開源的核心力量,比如他在使用DolphinScheduler發現了一些可優化點,提個 PR修改原始碼或者檔案,作為維護者或者作為核心貢獻者,都會非常的高興去采納他,并且還會一起溝通、協商如何把這個PR給merge到分支去,這些貢獻者的存在,才能讓社區欣欣向榮,  

維護者

開源社區的維護者就是擁有代碼的寫入或者修改權限的人,但是在這里想特別說明一下,漏斗圖里面僅僅是說明了數量的變化,并不上表示區分社區不同角色的重要程度,正如剛剛所說,雖然我是DolphinScheduler的PMC,但我并沒有覺得我這個身份比任一的用戶更重要,海豚調度在早期沒有用戶的話,那海豚調度這個專案也就走不遠了,  

開源有趣的事兒

  我目前是白鯨開源的資料工程師,就是可能有部分小伙伴了解到白鯨開源主要干的事是基于DolphinScheduler去做商業化,有的小伙伴就會認為你是這個公司的員工,是不是會專注海豚調度社區,應該有更多的時間投入社區,幫大家去解答問題,去實作大家的一些想法,當然這個想法是正確的,但又不完全正確,因為我的時間投入可能不比大家的多太多,  

時間分配

  其實在一家開源商業化公司做工程師,在時間上并沒有大家想象中的那么充沛,在日常處理中,大家 70% 的時間都是在處理公司的業務需求,只有 30% 時間專注在開源上面,當然這里并不是說我只有 30% 的時間才去貢獻 DolphinScheduler 代碼,日常作業中我和同事大部分代碼是貢獻到 DolphinScheduler 的,但是這也存在時間節點,就如同大家在公司開發專案一樣,比如為了擴展用戶,我們做了部分SaaS 相關組件以及Python API相關的支持,這部分代碼我們全部貢獻到 DolphinScheduler 倉庫中,但是我會將其歸結為公司的日常作業,因為這是公司的業務相關,且又期望時間節點的事情,   現實情況就是,需要將公司分配的任務完成之后,才能去做社區review代碼等一系列事情,     而在剩下的30%時間,我也不都是在看issue跟PR,大部分時間會關注到我個人在社區負責的模塊,我目前主要是負責Python API以及檔案模塊,當這塊有特定的 PR 提交上來的時候,會第一時間@到我,我就會提前去 review 這一個部分,我認為這是我對社區的職責,并不是我對公司或者任何一個人的責任,是我覺得我做了社區一份子應該做的事情,換個角度說,我覺得這是社區每個參與維護或貢獻的小伙伴都需有這種責任心,這樣才能保證社區繁榮發展,   如果有小伙伴往 DolphinScheudler 提交 PR 的時候,會發現你提交 PR 的時候他會立馬去要求幾個小伙伴去看,這就是他們在社區所負責的范疇,   當你發現你的 PR 或者是 issue 沒有被人及時回復的時候,你可以手動 at 他,我相信他也會立馬去幫你 review,如果他看到沒有回復,可能真的是不小心看漏訊息,  

發版所需要的時間

  我還有 20% 時間要處理發版的事情,之前社區有小伙伴說發版的頻率不是很高,其實社區的發版遠比大家想的要復雜,首先每個發版人有一定的壓力,因為這個版本是經過他的手發出,他需要保證新版本能夠高效穩定的運行,其次Apache 基金會發版有一套發版流程,單投票這一個環節就需要三天,你會發現你可能啥都準備好了,但是走測驗流程、走發版流程也可能需要消耗個把星期,才能把版本發出來!   另外10% 的時間我才會處理大家讓我去做的一些需求,比如小伙伴在在 slack 或者 微信讓我幫忙看看代碼, 我看到都會點進去瞧瞧, 如果太忙我會在 Github 簡單評論, 并說晚點我看看,然后只有 10% 的時間我會主動地去檢索我們目前 issue PR 串列,  

 

一個issue、PR需要的時間   有人會說我們 issue 的 PR request 時間長或者是郵件串列/Slack回應不及時,比如有個用戶很著急,可能是個線上問題,可能上手的時候卡住不能往下進行,而社區沒有人第一時間去回復,可能隔了半天或者是隔了一天才去回復,大多數情況都是因為時間并沒有大家想象中的這么多,所以大家可以盡量把時間預留出來,  

Issue處理的流程及時間

簡單(1-5min): 通過檔案指引, 文字解釋能解決 中等(6-20min): 本地復現, 困難(20min以上):
  • 確定各個版本的差異
  • 確定環境
  • 確定用戶是否能穩定復現
  • 定位代碼
  • 解決問題
  提了一個bug、PR怎么感謝我 這是一個非常有意思的點,我發現會有些人向社區提了一個Bug/PR,他感覺就是說社區應該感謝他,其實這是對開源的理解有誤,并不是說提交一個東西是對誰好,社區是一個團體,而開源軟體是一大群人在干的事情,并不是說個人要解決的事情,當然如果你提了PR去解決特定的問題,我個人的角度會由衷地感謝,但如果你覺得自己提了PR之后,然后可以去邀功的,我覺得大可不必,   提了很久沒有實作 其實我們都會將收集到的問題記錄在issue串列或者是discussion里面,就是你提issue或PR的時候,我們會有一個機制,你可以提前去搜索一下是否有類似的issue,如有的話應該去對應的issue上面評論,社區會定期review,當發現這個需求是很多人都在反饋,可能會在下一個版本實作它,   但如果這是個特定的需求合作只是個別需求,可能只在你們公司幾個小伙伴里面才有的話,那社區可能就不會去實作這一個特別的需求,因為海豚調度的定位就是要做一個通用的平臺,當然也會盡可能滿足大家的需求,而不是全部的需求,如果你想去實作它,我們也是非常歡迎你貢獻代碼的,   PR處理流程及時間 簡單(1-10min): 一眼看懂并給出建議 中等(11-30min):
  • 判斷原始 issue、修改合理性
  • 是否有更好的方式
  • 是否影響別的功能
  • 單元測驗、檔案是否完善
  困難(30min以上):
  • 中等的全部
  • PR拉到本地不斷校驗測驗
  • 一個 PR 根據修改模塊重要程度, 可能需要多次、多人 review 保證其正確性
 

開源層級

  有意義的開源 我認為能解決一小部分人的需求,就算一個有意義的開源,它容錯性非常高,甚至它可以不及時更新或者是幾乎不怎么維護,很少發版,都可以被稱為一個有意義的開源,   前段時間我的個PR,使用了發版頻率很低的一個庫,已經1年沒有發版,但確實能很好地解決我的問題,所以依然會去使用,我覺得這也是一個有意義的開源,   ? 好的開源 能解決一個領域的問題,解決一大部分人的需求,有一定業界知名度的開源專案,日常聊天中同行大概知道這個軟體,在用戶中口口相傳了,并且這個開源專案是與時俱進的,就像今天的DolphinScheduler,我們會有更長遠的規劃,比如增加k8s、增加對 SaaS 服務的支持等等,這也是我們最近在做的事情,   成功的開源 從業者大部分都知道這個開源專案,已經積累到一定口碑,愿意說服公司來使用它,甚至主動會為這個產品做站臺,包括今天參加 Meetup的各位講師,都是為海豚調度站臺的人,我也非常感謝大家對海豚調度的支持,我認為成功的開源還有個特征,就是它的迭代也會比較快,發版也會持續不間斷,這也象征著專案背后的維護者也會有很多,   我認為,目前DolphinScheduler應該是處在好與成功之間,我們希望能把它做到一個成功的開源專案,希望當有人說到調度,都覺得海豚調度是一個很好的選擇,并且在選型對比的時候,海豚調度一定在對比的行列中,  

 

Flask社區的小故事

  Flask社區的維護者在前一段時間,整個 Flask 的倉庫的issue跟 PR 都被清零了,站在我個人的角度上來說,這是個非常了不起的事情,因為這是一個擁有5W+Star和每月7000 多萬下載量的專案,可以說他們的維護者做了很大的努力,   但是我也看到有一些人在下面評論,說有很多時候提了 issue,他們這個社區并沒有很好的解決方案,直接把它 close 掉了,有人覺得這是不對的,我沒有辦法去評論他做得對不對,但是我覺得他這是個非常牛逼非常偉大的舉動,他們付出的努力可能遠比我想象中的多,   ?

Praquet社區PMC的感慨

  最近看到這個社區新的 PMC chair 圈已經被選舉出來了,然后新的PMC發圈感謝老一輩的付出, ?     這也是我前一段時間說在整個開源社區,它是一個不斷疊加、不斷滾動上升的程序,   我們不可能要求幾年前參加社區貢獻的小伙伴還留在社區,因為每個人的發展軌跡或者是成長軌跡,都會有不一樣的關注點,可能他前一段時間還在 A 公司,專注于DolphinScheduler二次開發,去B公司之后可能就干別的活了,   我們不能要求他換了公司之后,你還要投入社區,但我們心里還是非常希望他持續投入,當這些暫時離開的小伙伴再次回歸,我們自然是非常歡迎的,   整個社區是在滾動交替的程序的,我們會有老一輩的貢獻者,會有新一輩的貢獻者,人才輩出,長江后浪推前浪,整個社區不斷繁榮,不斷壯大,   以上就是今天的全部分享,謝謝大家   參與貢獻   隨著國內開源的迅猛崛起,Apache DolphinScheduler 社區迎來蓬勃發展,為了做更好用、易用的調度,真誠歡迎熱愛開源的伙伴加入到開源社區中來,為中國開源崛起獻上一份自己的力量,讓本土開源走向全球, 參與 DolphinScheduler 社區有非常多的參與貢獻的方式,包括:   貢獻第一個PR(檔案、代碼) 我們也希望是簡單的,第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度,   社區匯總了以下適合新手的問題串列:https://github.com/apache/dolphinscheduler/issues/5689   非新手問題串列:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22   如何參與貢獻鏈接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html   來吧,DolphinScheduler開源社區需要您的參與,為中國開源崛起添磚加瓦吧,哪怕只是小小的一塊瓦,匯聚起來的力量也是巨大的,   參與開源可以近距離與各路高手切磋,迅速提升自己的技能,如果您想參與貢獻,我們有個貢獻者種子范訓群,可以添加社區Leonard-ds ,手把手教會您( 貢獻者不分水平高低,有問必答,關鍵是有一顆愿意貢獻的心 ),   添加小助手請說明想參與貢獻,   來吧,開源社區非常期待您的參與,     < ???? > 

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/503498.html

標籤:其他

上一篇:在線資料遷移,數字化時代的必修課 —— 京東云資料遷移實踐

下一篇:金融數字化轉型落地實踐,騰訊云資料庫的三問三答

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more