文章目錄
- 1. 為什么要寫這個專欄
- 2. 專欄的主要內容
- 3. 閱讀論文的正確姿勢
1. 為什么要寫這個專欄
??大家好，我是herosunly，從985院校碩士畢業，現擔任演算法研究員一職，CSDN博客專家，2020年博客之星TOP，曾獲得阿里云天池比賽第一名等Top名次，擁有多項發明專利，對機器學習和深度學習擁有自己獨到的見解，曾經輔導過若干個非計算機專業的學生進入到演算法行業就業，
??7月初寫了一篇保姆級人工智能學習成長路徑，得到了讀者的廣泛好評，但不少讀者覺得意猶未盡，希望能出更加詳盡的課程，比如如何能夠真正入門某一細分領域，如NLP(自然語言處理)，為了幫助熱愛學習的同學，在作業之余，特意撰寫NLP經典模型復現專欄，之所以寫此專欄，是因為在我心中最快入門某個機器學習領域的方法是read the paper, and reproduce the code(閱讀經典論文并復現其代碼)，
??很多人可能覺得很詫異，因為在大多數人看來學習視頻是入門的最好方式，而我卻并不贊同，因為學習視頻只能算是了解，而無法達到入門的效果，雖然教學的本質應當是傳道受業解惑，但在教學的程序中知識層面上受益更大的是老師，而并非學生(費曼學習法的本質，感興趣的同學可以深入了解該方法)，而入門的真正有效的方法唯有動手實踐，那么就讓我陪伴大家開啟這次NLP經典模型復現之旅吧，
??為了減輕上手學習的難度，在本次學習中采用的深度學習框架是Pytorch，主要原因在于該框架方便除錯，如果大家有強烈的需求，后續也會增加相應的Tensorflow版本，
2. 專欄的主要內容
??首先我會從NLP領域中最為基礎性的作業即詞向量，在第一部分中，要復現的經典詞向量模型包括NNLM、word2vec、FastText等，那么簡要說明一下它們之間的關系，在詞向量中最為經典的模型當屬word2vec，NNLM是word2vec的鼻祖，也是非常具有代表性的作業，然后在word2vec的基礎上又發展了FastText和Glove，
??第二部分會深入講解神經網路經典模型：卷積神經網路和回圈神經網路在文本中的應用，即TextCNN、TextRNN、TextLSTM、Bi-LSTM(雙向LSTM)，
??緊接著第三部分會講解Seq2Seq模型及其應用（如機器翻譯等任務），并引出Attention(注意力機制)是如何在原有模型基礎上進行改進的，
??第四部分會講解這兩年大紅大紫的Transformer和BERT模型，
3. 閱讀論文的正確姿勢
??很多同學不注重學習方法，不思考問題的本質就盲目的閱讀論文，表面上是勤奮，但實際上是戰略上的懶惰，由于本次學習任務主要是復現模型，而不是把握論文中的每一個細節，所以我們學習的重點是模型的架構和實作模型的一些重要技巧(包括一些重要引數的設定)，
??如果經過認真閱讀某一篇經典論文后，也無法提取到上述資訊，此時學習的正確姿勢是尋找是否存在別的經典論文，并再進行研讀，因為某些經典模型對應的paper往往不止一篇，如果再找不到，也可以尋找一些經典的博客進行學習，而不是本末倒置，一上來去學習博客，這是學習的大忌，
??可能對于部分同學來說，閱讀并復現論文有些困難，可以先學習我的專欄：機器學習入門之工具篇，
??最后再分享一個精心打磨的專欄： Al比賽教程，分享各類Al比賽（阿里云天池、科大訊飛等）前幾名隊伍的成功經驗，包括NLP，CV、語音、時序預測、資訊安全等方向，其中也包括自己取得的阿里云第一名的經驗分享，也包括打比賽提分的一些實用tricks ，從而更好的幫助新手入門資料科學競賽，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/290786.html
標籤：AI