AI之NLP：自然語言處理技術簡介(是什么/學什么/怎么用)、常用演算法、經典案例之詳細攻略(建議收藏)
目錄
NLP是什么？
1、python中NLP技術相關庫
2、NLP實戰中的主要技術
2.1、NLP前置技術決議
2.2、中文分詞
2.3、詞件標注與命名物體識別
2.4、關鍵詞提取演算法
2.5、句法分析
2.6、Solr搜索引擎
2.7、NLP中常用的機器學習演算法
2.8、NLP中常用的深度學習演算法
2.9、情感分析技術
2.10、文本向量化
2.11、語音識別技術(Automatic Speech Recognition)
NLP的經典案例
1、基礎案例
2、進階案例
NLP是什么？
NLP是一門融語言學、計算機科學、數學于一體的科學，主要內容包括如下：
- 如何用NLP與語言學的關鍵概念來描述和分析語言
- NLP中的數學結構和演算法是如何實作的
- 自然語言處理目前主流的技術與方法論
- 資訊檢索技術與大資料應用
推薦文章
NLP：自然語言處理技術的簡介、發展歷史、案例應用之詳細攻略
Paper之ACL&EMNLP：2009年~2019年ACL計算語言學協會年會&EMNLP自然語言處理的經驗方法會議歷年最佳論文簡介及其解讀
NLP：《NLP Year in Review 2019&NLP_2019_Highlights》2019年自然語言處理領域重要進展回顧及其解讀
Dataset：資料集集合(NLP方向資料集)——常見的自然語言處理資料集大集合(建議收藏，持續更新)
1、python中NLP技術相關庫
Py之SnowNLP：SnowNLP中文處理包的簡介、安裝、使用方法、代碼實作之詳細攻略
NLP之word2vec：word2vec簡介、安裝、使用方法之詳細攻略
2、NLP實戰中的主要技術
2.1、NLP前置技術決議
搭建Python開發環境
正則運算式在NLP中的基本應用
Numpy使用詳解
2.2、中文分詞
中文分詞簡介
規則分詞
統計分詞
混合分詞
中文分詞工具—Jieba
2.3、詞件標注與命名物體識別
詞性標注
命名物體識別
2.4、關鍵詞提取演算法
關鍵詞提取技術概述
TF/IDF
TextRank
LSA/LSI/LDA演算法
實戰提取文本關鍵詞
推薦文章
NLP：基于textrank4zh庫對文本實作提取文本關鍵詞、文本關鍵短語和文本摘要
NLP：基于snownlp庫對文本實作提取文本關鍵詞和文本摘要
NLP：基于nltk和jieba庫對文本實作提取文本摘要(兩種方法實作：top_n_summary和mean_scored_summary)
2.5、句法分析
句法分析概述
句法分析的常用方法
使用Stanford Parser的PCFG演算法進行句法分析
2.6、Solr搜索引擎
全文檢索的原理
Solr簡介與部署
Solr后臺管理描述
配置Schema
Solr管理索引庫
2.7、NLP中常用的機器學習演算法
分類器方法
無監督學習的文本聚類
文本分類：中文垃圾郵件分類
文本聚類：用k-means對豆瓣讀書資料聚類
推薦文章
NLP之TM之LDA：利用LDA演算法瞬時掌握檔案的主題內容—利用希拉里郵件資料集訓練LDA模型并對新文本進行主題分類
2.8、NLP中常用的深度學習演算法
神經網路模型
多輸出層模型
反向傳播演算法
最優化演算法
丟棄法
激活函式
實作BP演算法
詞嵌入演算法
訓練詞向量實踐
樸素Vanilla-RNN
LSTM網路
Attention機制
Seq2Seq模型
圖模型
深度學習平臺
問答機器人
推薦文章
NLP之WE之CBOW&Skip-Gram：CBOW&Skip-Gram演算法概念相關論文、原理配圖、關鍵步驟之詳細攻略
NLP之WE之Skip-Gram：基于TF利用Skip-Gram模型實作詞嵌入并進行可視化、程序全記錄
2.9、情感分析技術
情感分析應用
情感分析基本方法
實戰電影評論情感分析
推薦文章
NLP之TEA：自然語言處理之文本情感分析的簡介、演算法、應用、實作流程方法、案例應用之詳細攻略
NLP之情感分析：基于python編程(jieba庫)實作中文文本情感分析(得到的是情感評分)
2.10、文本向量化
文本向量化概述
向量化演算法woed2vec
向量化演算法doc2vec、str2vec
網頁文本向量化
推薦文章
NLP：利用DictVectorizer對使用字典存盤的資料進行特征抽取與向量化
NLP之word2vec：利用 Wikipedia Text(中文維基百科)語料+Word2vec工具來訓練簡體中文詞向量
2.11、語音識別技術(Automatic Speech Recognition)
NLP之ASR：語音識別技術(Automatic Speech Recognition)的簡介、發展歷史、案例應用之詳細攻略
NLP之ASR：基于pyaudio利用python進行語音生成、語音識別總結及其案例詳細攻略
NLP之ASR：基于python和機器學習演算法帶你玩轉的語音實時識別技術
NLP的經典案例
1、基礎案例
NLP：兩種方法(自定義函式和封裝函式)實作提取兩人對話內容(***分隔txt檔案)，并各自保存為txt檔案
NLP之TopicModel：樸素貝葉斯NB的先驗概率之Dirichlet分布的應用
NLP之TM：基于gensim庫呼叫20newsgr學習doc-topic分布并保存為train-svm-lda.txt、test-svm-lda.txt
NLP之TFTS讀入資料：TF之TFTS讀入時間序列資料的幾種方法
NLP之WordCloud：基于jieba+matplotlib庫對一段文本生成詞云圖~~情人節最好的禮物(給你一張過去的詞云圖，看看那時我們的愛情)
2、進階案例
NLP之TEA：基于SnowNLP實作自然語言處理之對輸入文本進行情感分析(分詞→詞性標注→拼音&簡繁轉換→情感分析→測驗)
ML之NB：(NLP)基于sklearn庫利用不同語種資料集訓練NB(樸素貝葉斯)演算法，對新語種進行語種檢測
NLP之BoW&NLTK：自然語言處理中常用的技術——詞袋法Bow、NLTK庫
NLP之詞向量：利用word2vec對20類新聞文本資料集進行詞向量訓練、測驗(某個單詞的相關詞匯)
NLP之NB&GBT：基于樸素貝葉斯(count/tfidf+網格搜索+4fCrva)、梯度提升樹(w2c+網格搜索+4fCrva)演算法對IMDB影評資料集進行文本情感分析(情感二分類預測)
NLP：NLP領域沒有最強，只有更強的模型——GPT-3的簡介、安裝、使用方法之詳細攻略
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/231092.html
標籤：AI
上一篇：多任務損失優化：Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
下一篇：靜態路由實驗