文章目錄
- 1. 資料準備
-
- 1.1 構建語料庫
- 1.2 構建字典檔案
- 2. 創建預訓練資料
- 3. 預訓練
- 4. 訓練BERT代碼鏈接
- 5. BERT下游任務應用舉例
-
- 5.1 將tf模型轉換成pytorch格式
- 5.2 使用simpletransformers進行文本分類
1. 資料準備
1.1 構建語料庫
??如果沒有給定語料庫檔案(如corpus.txt)，則可使用訓練集、測驗集資料來構建語料庫檔案，具體代碼如下所示(代碼檔案名為)：
filtered_line = set()
with open('../../data/raw/train.txt', 'r') as f:
line = f.readline()
while line:
if line[-1] != '\n':
line += '\n'
filtered_line.add(line)
line = f.readlin
herosunly
CSDN認證博客專家
演算法研究員
天池冠軍
CSDN簽約作者
CSDN認證博客專家
演算法研究員
天池冠軍
CSDN簽約作者
985院校碩士畢業，現擔任演算法研究員一職，熱衷于機器學習演算法研究與應用，曾獲得阿里云天池安全惡意程式檢測第一名，科大訊飛阿爾茨海默綜合癥預測挑戰賽第四名，科大訊飛事件抽取挑戰賽第七名，Datacon大資料安全分析比賽第五名，擁有多項發明專利，對機器學習和深度學習擁有自己獨到的見解，曾經輔導過若干個非計算機專業的學生進入到演算法行業就業，希望和大家一起成長進步，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/262505.html
標籤：AI