1.運行2s-AGCN

雙流自適應圖卷積網路有現成的開源代碼，使用NTU-RGB D資料集進行訓練，本文采用的是batch_size=32,epoch=15進行簡單的復現，使用15次的權重時，bone網路的準確率是84.57%，joint網路的準確率是83.83%，融合準確率是89.9%，運行權重測驗后，在work_dir/ntu/xview/agcn_test_joint(agcn_test_bone)中會分別出現一個運行結果，名為epoch1_test_score.pkl，即為分類器的打分結果，

2.分析打分結果

在ensemble.py中，可以讀取pkl中的資訊，代碼段如下：

dataset = arg.datasets
label = open('./data/' + dataset + '/val_label.pkl', 'rb')
label = np.array(pickle.load(label))
r1 = open('./work_dir/' + dataset + '/agcn_test_joint/epoch1_test_score.pkl', 'rb')
r1 = list(pickle.load(r1).items())
r2 = open('./work_dir/' + dataset + '/agcn_test_bone/epoch1_test_score.pkl', 'rb')
r2 = list(pickle.load(r2).items())

其中，r1和r2就是打分結果，進一步Debug可以發現epoch1_test_score.pkl中的打分結果是元組形式，具體如下圖：

測驗資料一共是10552個，label是一個2*10552的陣列，第一行存放樣本名稱，第二行是分類編號，而測驗結果r1和r2是一個10552*2的元組，每一行代表一個樣本，第一列是名稱，第二列是存放60個得分的陣列，所以不能直接用sklearn.metrics來繪制混淆矩陣，需要把對應的標簽給提取出來，

3.資料處理

sklearn.metrics中有 confusion_matrix(y_label, y_predict) 函式，要求是 y_label 和 y_predict必須形如 [ '1' '2'.......'3']，首先y_label很簡單，直接提取第二段label中的第二行資料；y_predict主要是兩步操作，保留原代碼ensembl.py的部分直到for回圈，原部分為：

for i in tqdm(range(len(label[0]))):
    _, l = label[:, i]
    _, r11 = r1[i]
    _, r22 = r2[i]
    r = r11 + r22 * arg.alpha
    rank_5 = r.argsort()[-5:]
    right_num_5 += int(int(l) in rank_5)
    r = np.argmax(r)                  #提取最高得分的標簽
    right_num += int(r == int(l))
    total_num += 1

只要把每一個樣本的最高得分寫入到自定義的y_predict陣列中，就可以得到一個int型別的陣列，保存每一個樣本的top1標簽（順序與label的資料一樣），第二步就是把int元素轉化為str格式，就可以了，最終代碼修改為（ensemble.py同級下新建）：

import argparse
import pickle
from sklearn.metrics import confusion_matrix
import numpy as np
from tqdm import tqdm

parser = argparse.ArgumentParser()
parser.add_argument('--datasets', default='ntu/xview', choices={'kinetics', 'ntu/xsub', 'ntu/xview'},
                    help='the work folder for storing results')
parser.add_argument('--alpha', default=1, help='weighted summation')
arg = parser.parse_args()

dataset = arg.datasets
label = open('./data/' + dataset + '/val_label.pkl', 'rb')
label = np.array(pickle.load(label))
r1 = open('./work_dir/' + dataset + '/agcn_test_joint/epoch1_test_score.pkl', 'rb')
r1 = list(pickle.load(r1).items())
r2 = open('./work_dir/' + dataset + '/agcn_test_bone/epoch1_test_score.pkl', 'rb')
r2 = list(pickle.load(r2).items())
y_label = label[1]
y_predict = []
for i in tqdm(range(len(label[0]))):
    _, l = label[:, i]
    _, r11 = r1[i]
    _, r22 = r2[i]
    r = r11 + r22 * arg.alpha
    r = np.argmax(r) 
    y_predict.append(r)                      #保留每一個樣本的得分最高結果
y_predict_new = [str(x) for x in y_predict]  #將int轉為str
C = confusion_matrix(y_label, y_predict_new) #C為混淆矩陣 
for i in range(0,60):                        #對角線元素屬于正確分類，不重要，歸0
   for j in range (0,60):
       if(i == j):
            C[i][j] = 0
''''
data = pd.DataFrame(C)
writer = pd.ExcelWriter('B.xlsx')       # 寫入Excel檔案
data.to_excel(writer, 'sheet_2', float_format='%.5f')   # ‘sheet_2’是寫入excel的sheet名
writer.save()
writer.close()
'''

注釋部分是把混淆矩陣C寫入EXCEL，其實一開始嘗試過plt.show，但是該混淆矩陣為60*60的數字矩陣，該方法繪制出來的圖看不清楚，也沒有想到很好的辦法解決，所以直接用excel處理，

最終部分結果如下圖：

發現對于A4 brush hair這一動作，誤判率非常之高，下一階段值得繼續研究成因，也歡迎大家討論，

PS：打分結果部分，每個樣本有負數和大于1的正數，明顯不是softmax分類器，與論文中不符，不影響結果，但是不知道什么原因，等進一步看過代碼再討論，

PPS：算是剛入門行為識別，摸黑前進，大資料集也很難做，很多基礎知識等著補，歡迎大家一起討論，也歡迎大佬指點，