去谷歌開發者大會了，收“獲”滿滿

多圖預警，請耐心等待加載

周四去上海參加了谷歌開發者大會，識訓滿滿，

下面我就當個導游，帶大家暢游一番吧，
先來到世博中心，顯眼的 Google Logo

入場后先報道，領取胸牌


進入主會場

等待演講開始

前面是關于Android的演講就不拍了，和大家一樣，我對谷歌在 TensorFlow 和 機器學習方面的最新動態比較感興趣，

主題1 《未來之路：谷歌為開發者提供全面的開源機器學習產品生態》

其實這一部分的核心內容在昨天的主旨演講中Laurence已經簡單介紹過，大佬從資料、框架、模型、MLOps 四個方面說明 TensorFlow Project 為開源機器學習構建了全面開源生態，感興趣可以去大會官網聽一下，其實作場的演講也都有回放了：

https://developersummit.googlecnapps.cn/

現場嘉賓講的更詳細，每一方面都有展開，其實核心就是下面這張圖

機器學習的四個支柱：資料、模型框架、部署、監控和維護，這四個支柱 Google 都有開源工具，

資料獲取及預處理：TensorFlow 資料集

模型框架：TensorFlow 和 JAX

Deepmind 的一些科研成果，比如alphafold,還有Google research的 imagen、 Parti 都是通過JAX創建的，

JAX 前段時間還有個趣聞，關注我公眾號的同學應該知道，有篇文章說“JAX取代TensorFlow”，“谷歌大腦和DeepMind已經普遍放棄TensorFlow，轉投 JAX”，（??TensorFlow，危！拋棄者正是谷歌自己），很快就有了辟謠（??TensorFlow團隊：我們沒被拋棄），將繼續投資TensorFlow和JAX兩個ML框架，以推動數百萬用戶的研究和應用，

演講嘉賓講的很透徹，JAX 和 TensorFlow 是定位不同的兩個框架，前者專為硬體加速器優化的框架，從而幫助開發者更深入地鉆研機器學習的數學運算，后者定位高級框架，幫助不需要深入到數學層面的開發者可以輕松創建自己的模型，

模型部署：TensorFlow.js 、TensorFlow Lite

在云端、網頁端、瀏覽器、移動端和嵌入式平臺上運行模型，Google 也有很多成熟的產品，我之前也曾寫過一篇文章介紹tfjs（用瀏覽器玩機器學習，贊！），自認寫的清晰明了，

Google Lite 也挺亮眼的，它可以內置到 Google Play 服務中，不需要再在應用中植入 TF Lite ，應用體量可以大幅縮減，也可以使用后臺更新功能，用戶始終能夠使用最新版本，不需要在TF Lite每次更新時再重新，如果用戶不使用 Google Play 服務，也可以不使用以上方式，像以前一樣自主分發，

監控和維護：TFX

TFX 不僅可以用于模型部署，它也可為完整 MLOps 部署提供軟體框架和工具，并在資料和模型隨時間推移不斷演變的程序中檢測問題，

這四個支柱中 Google 提供的一些列工具集成到一起，統稱為Tensor Projects，滿足研究人員、開發者、MLOPS 和商務團隊的任意機器學習應用需求，

主題2 《MediaPipe: 搭建你自己的端側開源機器學習解決方案》

之前沒有關注過這一塊，設備端（智能手機、物聯網設備或瀏覽器）機器學習其實已經有很多成熟的應用：

• Google Meet的背景模糊處理/替換
• Nest 的人員移動偵測、包裹遞送通知、手勢識別
• YouTube 的AR 試妝

設備端機器學習主要包括設備端模型和機器學習流水線，模型是核心，機器學習流水線涵蓋從原始輸入到輸出結果的全流程，兩者都非常復雜，

MediaPipe 可以極大簡化這個程序，它可以把流水線封裝成 MediaPipe Tasks，用 Model Maker 定制模型，通過低代碼 API 提供可定制的高性能設備端機器學習解決方案，

使用貌似也挺簡單的，和把大象裝進冰箱一樣，一共分三步：
收集訓練資料、使用 Tasks 或 Model Maker 枃建模型、使用 Task library部署模型，

MediaPipe 確實挺有意思的，嘉賓分享了好幾個資源，我計劃之后深入學習學習

https://mediapipe.dev
https://github.com/google/mediapipe
https://google.github.io/mediapipe/solutions/pose.html

下午場是展示區的技術/產品趣味互動體驗，有點困，先喝杯 Google 牌雀巢咖啡提提神

在展區打卡領到許多小禮品：Android 吉祥物、充電線、眼鏡、水杯、悠悠球、滑鼠墊、冰箱貼、各種貼紙

當然，這些都是身外之物，體驗 Google 黑科技才是正事，這部分我會剪個視頻在 B 站發布，這里就以圖文介紹吧，

黑科技1: 智能互動，讓音樂“動”起來

挺好玩的，在攝像頭前揮舞手臂，就可以化身指揮家，指揮交響樂團，這個 Semi-Conductor 使用了 PoseNet 這個可在瀏覽器中運行的開源機器學習模型，能夠將網路攝像頭拍到的身體動作映射到對應的指揮操作，運用其獨特的演算法，該應用得以有機融合數百個短小的樂器錄音片段，讓樂團演奏的樂曲能夠隨著你的指揮而變化，

黑科技2: 激發音樂靈感，創造無限可能

Tone Transfer 讓你可以將日常生活中的各種聲音轉化為樂器聲，比如可以直接對著話筒哼一段旋律，直接在瀏覽器中錄制和上傳聲音，機器學習模型將它轉化成薩克斯風、長笛和其他樂器的聲音!

黑科技3: MediaPipe Tasks 面部追蹤、姿態檢測

這幾個都是前面介紹過的 MediaPipe 實作的，聽介紹，代碼量極低，

開啟 TensorFlow 進階之旅，豐富學習資源，待你探索

你是否正在研究如何更高效地使用 TensorFlow 開發和訓練開源機器學習模型，成為開源機器學習專家? 在這里，根據自身需求，靈活挑選合適的學習資源，開啟進階之旅吧!

TensorFlow & 機器學習 豐富的學習資源

最后再放幾個資源吧，也是在展區看到的，

為了使開發者更高效地使用 TensorFlow 開發和訓練開源機器學習模型，Google 還有很多開源課程，

比如：

Google 攜手網易有道在中國大學 MOOC 平臺上發布的《 TensorFlow 入門課程 - 部署篇》 專題課程

https://www.icourse163.org/course/youdao-1467217161?from=searchPage&outVendor=zw_mooc_pcssjg_

Google 開發者在線課程，針對希望在部署層面得到進階提升的開發者，

https://developers.google.cn/learn/pathways?utm_source=social&utm_medium=devkol&utm_campaign=gds22

TensorFlow 開發者認證計劃，通過考試的開發者，有機會榮獲官方頒發的 TensorFlow 開發者證書和徽章，

https://www.tensorflow.org/certificate?hl=zh-cn

總結

總結一句話就是：不虛此行，下次一定還來，

大家一起 Code For Better，“共碼未來” 吧，我要去學 MediaPipe 了，

本文由博客一文多發平臺 OpenWrite 發布！

標籤：其他

上一篇：MyBatis之ResultMap的association和collection標簽詳解

下一篇：java中記憶體泄漏和記憶體溢位指什么呢？