一.第一次參加感想
之前學習的時候，經常都是跟著Datawhale的github上的資料進行學習，也曾經想過要參與其中，進行每個月的學習，搶過一兩次，但是沒搶到名額就只能遺憾了，昨天報名成功了，激動的心顫抖的手哈哈，大家都很活躍，大家會互相分享學習的資料，討論學術問題，到了晚上自我介紹的時候，發現群里真是臥虎藏龍（群除我佬哈哈），幾乎都是研究生，博士生（還有博士后），大廠工程師，感覺自己（弱雞二本準大三）混入了一個不屬于自己的世界，不過自己正常努力，爭取早日成為群中大佬的一員哈哈！到了晚上的分隊，自己也有了一艘小船（我依舊還是最弱的那個），很喜歡大家，很熱心幫我解答一些問題，自己也解決了多次困擾的問題，
現在準大三了，想準備往NLP方向發展，剛好暑假碰到一個比賽可以做NLP的專案，所以就報名了這個比賽，但是自己還不太了解，暑假的時候看了一點深度學習的知識，LSTM，word2vec等，碰巧看到Datawhale八月組隊學習有NLP，從Transformer入手進行NLP的入門，剛好碰巧這兩天也在看2017年發布的論文《Attention Is All You Need》，想用Transformer去做這次的暑假比賽，于是就果斷報了名，
對于這次學習的目標有以下幾點：
- 學習Transformer和Bert模型，以及完成一些模型的應用等，
- 認識更多優秀的朋友，
- 改變一下自己拖延的習慣，堅持每天打卡完成任務，并進行知識的輸出，
- 為暑假增加色彩嘻嘻，
二.NLP簡介
1.（該段直接復制粘貼）
自然語言處理（Natural Language Processing, NLP）是一種重要的人工智能（Artificial Intelligence, AI）技術，我們隨處可以見到NLP技術的應用，比如網路搜索，廣告，電子郵件，智能客服，機器翻譯，智能新聞播報等等，最近幾年，基于深度學習（Deep Learning, DL）的NLP技術在各項任務中取得了很好的效果，這些基于深度學習模型的NLP任務解決方案通常不使用傳統的、特定任務的特征工程而是僅僅使用一個端到端（end-to-end）的神經網路模型就可以獲得很好的效果，
2.常見的NLP任務可以大致分為這四類：文本分類，序列標注，問答任務，生成任務
三.Transformer的發展
這個點就省略啦，畢竟這個作了解就行啦
四.為什么要使用Transformer模型
-
從論文的摘要中可以知道Transformer模型由編碼器和解碼器組成，并且完全基于注意力機制，不需要Rnn和Cnn的參與，
-
序列的本質會阻止訓練資料的并行化，由于記憶體限制限制了實體的批處理，這在長一點的句子中是很致命的，而Transformer模型就能夠允許更多的并行化，
-
使用的原因：
便于使用先進的模型
更低的計算開銷
對于模型生命周期的每一個部分都面面俱到
為需求輕松定制專屬模型和用例
五.今日結語
這就是今天上午所學習到的一些知識，希望自己能夠堅持下去，牢固掌握這些知識，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/294121.html
標籤：AI
上一篇：佚段的小筆記