在年前，很有幸的參與到CSDN AI工程師學習路線圖的制作當中，這件事情大體是年前一流科技的老師木聯系我讓我寫一下AI工程師的一些進階路線圖，這件事情我很榮幸，但是也很忐忑，因為我相信我一定得罪了很多大佬，因為純粹從技術上角度，我其實是沒有資格出這個路線圖的，如果真的要出這個路線圖，可能一個人都不夠，得是hinton，lecun這種大佬商量了很久以后出的，但是另一方面，目前有的一些路線圖，至少在我看來，的確是很糟糕的，比如說NLP工程師路線圖還是停留在TextCNN和BERT，那基本就意味著寫這個的人可能真的只是從公眾號了解技術進展的，所以我只能本著把我自己當個磚頭一樣拋出來態度，
我相信一定有很多人對于正確的路線有不同的看法，我個人也完全同意，根據自己的長處和短處、就業目標去制定路線圖這才是正確的做法，如果任何人說明我誤導了，我不會做任何解釋，因為確實沒有適合所有人的路線圖，
所以下面我對路線圖我的出發點稍微做一點點解釋，目的沒有別的，只是為了盡可能讓大家不太收到我的誤導而已，
- 按照道理來說，如果你是NLP工程師，那么就應該提升NLP工程師的核心能力，而不是首先上來先學CV，但是，在我的作業中，我發現不同領域的idea常常是互相影響的，比如說ImageNet預訓練先影響了BERT類模型，Transformer又回到了CV，這種領域之間互相影響的例子是經常讓我非常震驚的，這也是為什么我在組織自己公司的team時候，基本上招全了所有領域的人（Tabular，NLP，CV，RL，音樂，生成，邏輯和理論），因為我感覺不同領域的研究影響是很大的，
- 我在這里選的，基本上是我碰過的領域，我絕對不敢稱自己為任何領域的專家，但是如果我完全不知道的領域，就是再重要我也不敢介紹，
- 在這里，我其實請教了特別多的大佬，很不幸的是，這些大佬很多由于公司策略關系，等于被我白嫖了方向，
- 關于Jax是帶有很強的偏見的，我在作業中越來越發現，即使對于DeepMind這種公司，算力也需要去搶，所以在短時間內怎么做更多的實驗，真的是提升自己產出的一個核心，但是大部分人不可能自己寫一個深度學習框架（某個IBM什么明明號稱三天寫出來速度超越TF除外），所以只能選擇在運行速度和開發速度的一個平衡，從這一點來說，Jax可能是唯一的選擇，但是Jax畢竟太年輕了，以后發展是很難說的，所以這點也是有風險的，
- 我在高級部分列出了一大堆數學的東西，這一部分東西為什么很重要？這一點我要感謝袁會卓博士，我一直認為深度學習理論不可能有啥用，但是Neural Tangent Kernel的研究讓我看到了很不一樣的東西，這套理論還處于嬰兒階段，但是出來的結果已經有實效性，這可以說是很了不起的了，但是從一個數學角度來說，相比Neural Tangent Kernel和Optimal Transportation做深，借助于泛函分析、幾何、算子代數、抽象空間上的各種概率論等等其實是很有希望的，這方面Le Cam已經做了一個很好的例子，
- **我極為反對所謂的現在研究離生產越來越遠這種說法，**這種說法來源，姑且讓我用小心之心度君子之腹，是因為研究的時候，作者只看了標題，比如說谷歌這個1.5個trillion引數的語言模型，如果就看到他很大，那這個研究的確p用沒有，但是，如果你看到其中mixture of expert和mesh tensorflow的實作，這其實對于需要對語言模型進行各種操作的人來說是不得了的進展，同樣的道理，在MAML這篇文章中，這個方法看起來只是meta learning用來灌水的，可是最近谷歌的meta pseudo label這篇paper實際上就帶來了巨大的提升，所以很多時候，如果做的深，真的就到了研究前沿，這不代表一定能發paper，但是創新絕對是有可能甚至有必要的，
- 對于邏輯這一塊的研究，我一直是非常看好的，對于很特殊的問題，比如說知識圖譜推理，這方面采用狂加算力的方法是很難突破的，但是如果想要把邏輯做好，那么必須得能夠對數理邏輯這個玩意本身有個了解，這也是為什么我加入了curry-howard isomorphism的原因，因為這樣可以把各種數理邏輯跟各種lambda calculus連起來，
- 我一直的觀點是，對于學習來說，最重要的是能力而不是會什么，去背誦api對于提高編程一點用都沒有，所以C++程式員即使沒學過python，可能也比純粹沒學過任何編程的人學得快，所以其實你學什么不重要，一直學就完了，
- 最后，我盡量把我能看到最新的東西都加了進來，但是這個領域發展太快了，每天我都能找到點我不知道的東西，所以我也跟CSDN的人說了，這個會一直更新，也算是倒逼我自己出東西的一個方式吧，
大概就是這樣了，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/258132.html
標籤：AI