文章目錄
- 一.前言
- 二.社區
- 三.作業
- 四.展望
一.前言
2020年年底了，無論是自身還是社會上都發生很多事情，或喜或悲都將過去，總結下自身，展望未來，做更好的自己，
本人負責資料中臺資料引擎基礎架構設計和中間件開發，專注云計算大資料方向，
二.社區
閱讀
由于專注領域關系，平時每天早上會閱讀一篇極客時間文章，晚上閱讀一些圖書，豐富自己知識素養，
閱讀范圍：
- 大資料組件
- 架構原理
- 演算法
- 編程語言原理
- JVM
- 計算機組成原理
- 微服務
- 離線計算
- 實時計算
- 互動計算
- 資料庫原理
- 資料中臺
- 系統原理
- 寫作技巧
- 思想經典方面
今年閱讀了大量的資料，學習到很多，無論運用作業，還是做社區開發，都對自身有幫助，路就在腳下，走就完了，
WeDataSphere社區
從去年就認識到這個微眾開源技術中臺社區，開源DataSphereStudio，Linkis等等，幫助企業解決資料開發層面的技術問題，學習到很多，也推廣到全公司使用，負責符合公司的情況下進行二次開發和融合組件，也總結一些經驗反饋給社區，提交一些pr，issues，年末時在社區獲獎，
CSDN
平時積累一些技術方面的思考，總結成文章，大部分都記錄在CSDN上，有些放到GitChat，對自我認知有很大的幫助，技術主要在做中學，知道很多不如馬上做起來，認真編碼，認真思考，認真寫作，多去感悟，提高自身，
開源
平時積累開源一些工具
- 資料交換：https://github.com/77954309/exchange-parent
- IDEA 插件開發：https://github.com/77954309/code_plugin
- 消費佇列架構：https://github.com/77954309/scheduler
- 經典演算法總結：https://github.com/77954309/classical_algorithm
- CDH5.16.2-Flink1.10.1-parcel：https://github.com/77954309/flink-parcel
三.作業
思考
業務發展前期，為了快速實作業務的需求，煙囪式的開發導致企業不同業務線，甚至相同業務線的不同應用之間，資料都是割裂的，兩個資料應用的相同指標，展示的結果不一致，導致運營對資料的信任度下降，
資料中臺的核心，是避免資料的重復計算，通過資料服務化，提高資料的共享能力，賦能資料應用，
由于公司是做金融toB方向，發展到一定程度，需要資料中臺這種方案，去支撐公司的快速迭代，通過一些服務組件，串聯公司業務，
建設
由于成本，人力方面考慮，借助WeDataSphere社區力量，構造組件，二次開發組件，整合到DataSphereStudio中，通過資料管理，資料交換，調度，資料質量，資料開發平臺，通過可視化界面，從技術層面把組件服務串聯起來形成作業流，
業務組件抽象化，把一些業務重新劃分成符合平臺規范的形式，統一口徑，快速迭代，直接提供給業務方使用，相當于讓資料開發人員直接提供產出價值，資料資產化，不用向以前通過一些抽象的結果表給業務方使用，被很多人所不理解，耦合性太強，很容易出現問題，現在通過平臺讓資料人員向前邁了一步，更貼近業務了，
四.展望
馬上到明年了，繼續深耕于資料架構，現在技術邊界很低，多研究底層基礎，多見識大牛思想，多鍛煉，寫更好的代碼，繼續努力，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/242856.html
標籤：其他
上一篇：分布式云盤系統例題