基于pytorch神經網路的公眾健康問句分類(多標簽分類NLP)

引言：本此專案為參加醫學資料挖掘演算法評測大賽所寫，所有資料均來自大賽官方，僅供學習交流使用，如有冒犯請留言博主，另感謝許玉龍博主的指導，

一、專案描述

1、賽題描述

一、賽題描述
公眾健康問句分類

基于給出的與健康有關的中文問句，對問句的主題進行分類（共包含 6 個大類：A 診斷、B 治療、C 解剖學/生理學、D 流行病學、E 健康生活方式、F 擇醫），由于一個中文健康問句往往歸屬于多個主題類別，因此該自動分類任務是一個多標簽分類的問題（Multilabel Classification），

2、資料描述

訓練集：共 5,000 條與健康有關的中文提問資料，格式如下：

3、資料樣例

欄位名稱 欄位示例

4、解決思路

a、對所有問題正則匹配去除非漢字部分
b、統計所有不同的字，并建立字典
c、將訓練資料根據字典轉化為矩陣
d、搭建神經網路
c、訓練資料，并完成預測
e、獲取訓練指標

二、代碼實作

1、資料清理處理

import pandas as pd
import numpy as np
import re
import torch
import torch.nn.functional as F
CSV_FILE_PATH_TRAIN = 'D:/alltrain/train.csv'   #訓練集
dfTrain = pd.read_csv(CSV_FILE_PATH_TRAIN)
#正則匹配，清除非漢字部分
def findChinese(sentence):
    pattern = re.compile(r'[^\u4e00-\u9fa5]')
    sentence = re.sub(pattern, '', sentence)
    return sentence
question_beforeClean = np.array(dfTrain.iloc[:, dfTrain.shape[1] - 1])
question_afterClean = np.array([findChinese(x) for x in question_beforeClean])

question_beforeClean

question_afterClean

2、建立字典

def getDifferentWord(data):#獲取所有不同的字
    dic_key = []
    for question in data:
        for tip in list(question): #將整局話分解成單個的字符
            if tip not in dic_key:
                dic_key.append(tip)
    return dic_key
dic_key = getDifferentWord(question_afterClean)

dic_key前15個元素

dic = {} #生成字典，每個字對應一個數值
value = 0
for key in dic_key:
    dic[key] = value
    value += 1

dic

3、生成訓練矩陣

#找到最長的句子的長度，作為訓練矩陣的維度
def findDimension(data):
    dimension = np.max([len(list(x)) for x in data])
    return dimension
dimension = findDimension(question_afterClean)  #最大維度為1622
X = np.zeros((len(question_afterClean), dimension))    #生成都是零的矩陣  5000 * 1622
#獲取單個問題所有文字在字典中對應的值
def getValues(sentence, dic):
    result = []
    for word in list(sentence):
        result.append(dic.get(word))
    return np.array(result)
for i in range(len(question_afterClean)):
    X[i][:len(list(question_afterClean[i]))] = getValues(question_afterClean[i], dic)
y = np.array(dfTrain.iloc[:,1:7])  #6類標簽

X 5000 * 1622

y 5000 * 6

4、用pytorch框架搭建神經網路(使用GPU進行運算)

if torch.cuda.is_available():
    device = torch.device("cuda")          # a CUDA device object 若不使用GPU可將所有涉及gpu資料轉換的代碼洗掉即可
def changeType(X_data, y_data):  #將array資料轉化為longTensor, pytorch 檔案規定
    return torch.from_numpy(X_data).float(), torch.from_numpy(y_data).float()
X_train = X
y_train = y
X_torch_train, y_torch_train = changeType(X_train, y_train)

class Net(torch.nn.Module):     
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()     # 繼承 __init__ 功能
        self.hidden = torch.nn.Linear(n_feature, n_hidden)   # 隱藏層線性輸出
        self.out = torch.nn.Linear(n_hidden, n_output)       # 輸出層線性輸出

    def forward(self, x):
        # 正向傳播輸入值, 神經網路分析出輸出值
        x = F.relu(self.hidden(x))      # 激勵函式(隱藏層的線性值)
        x = self.out(x)                 # 輸出值, 但是這個不是預測值, 預測值還需要再另外計算
        return x

5、訓練資料并預測資料

net=Net(n_feature=X_train.shape[1], n_hidden=1000, n_output=6)  #1622 個輸入  1層隱藏層   1000個神經元  6個輸出
net = net.cuda()   #將net遷移至gpu
optimizer = torch.optim.SGD(net.parameters(), lr=0.02)  # 傳入 net 的所有引數, 學習率
loss_func = torch.nn.BCEWithLogitsLoss()#BCEWithLogitsLoss()針對多標簽分類 整合sigmoid，輸出的為概率
loss_func = loss_func.cuda()  #將損失函式遷移至gpu
X_torch_train, y_torch_train = X_torch_train.cuda(), y_torch_train.cuda()   #將訓練集遷移至gpu
#%%time
for t in range(2000):  #訓練1000此
    out = net(X_torch_train)     # 喂給 net 訓練資料 X_torch_train, 輸出分析值
    
    loss = loss_func(out, y_torch_train)     # 計算兩者的誤差

    optimizer.zero_grad()   # 清空上一步的殘余更新引數值

    loss.backward()         # 誤差反向傳播, 計算引數更新值

    optimizer.step()        # 將引數更新值施加到 net 的 parameters 上
net = net.cpu()  #訓練后需將net遷移至cpu否則無法運算
def predict(X_test):   #用于轉換輸出值為標簽
    test_out = net(X_test)
    predictRs = F.sigmoid(test_out).data.numpy() > 0.5  #新版本也可用torch.sigmoid
    predictRs = predictRs.astype(np.int32)
    return predictRs
X_torch_train, y_torch_train = X_torch_train.cpu(), y_torch_train.cpu()  #將資料遷移至cpu
y_pred = predict(X_torch_train)  #獲得預測資料

6、獲取指標

準確率

from sklearn.metrics import accuracy_score
accuracySet = []
for i in range(6):
    accuracySet.append(accuracy_score(y_train[:,i], y_pred[:,i]))

accuracySet

精準率

from sklearn.metrics import precision_score
precisionSet = []
for i in range(6):
    precisionSet.append(precision_score(y_train[:,i], y_pred[:,i]))

precisionSet

召回率

from sklearn.metrics import recall_score
recallSet = []
for i in range(6):
    recallSet.append(recall_score(y_train[:,i], y_pred[:,i]))

recallSet

F1-score

from sklearn.metrics import f1_score
f1Set = []
for i in range(6):
    f1Set.append(f1_score(y_train[:,i], y_pred[:,i]))
f1Set

f1Set

6類平均F1-score

def getF1Score(y_test, y_pred):
    totalF1 = 0
    for i in range(y_test.shape[1]):
        totalF1 += f1_score(y_test[:,i], y_pred[:,i])
        print(f1_score(y_test[:,i], y_pred[:,i]))
    return totalF1 / y_test.shape[1]
getF1Score(y_train, y_pred)

！！！！由于第三個標簽中只有一個為一，若模型學習不到，則平均F1為0.72左右