1 現狀
因為遇到了資料不均衡問題，正在重新對資料進行分析以及修改模型，整個框架見 油田生產資料選取問題3
2 資料問題
2.1 統計
| 統計項 | 數量 |
|---|---|
| 時間跨度 | 3425 天 |
| 產液量計量 | 734 天 |
| 未選用產液計量 | 108 天 |
| 包含資訊較豐富（在已有規則中且至少滿足兩項）的備注 | 181 天 |
| 油嘴尺寸變化 | 24 次 |
| 泵頻率變化 | 16 次 |
2.2 分布視圖
2.2.1 計量與時間
橫軸為日期，縱軸為產液量計量值，藍色點為正類 選用，紅色點為負類 未選用，可以看出選用的計量值有一定的時序關系，可能在區域存在一定的線性關系，
區域關系與產量預測比較有意思的論文
(待閱讀)
[1] Ada B , Ar A , Im A , et al. Oil production forecast models based on sliding window regression[J]. Journal of Petroleum Science and Engineering, 2020.
2.2.2 計量與選用
為了降低復雜度觀察模型訓練效果，采用了最笨的方法，減少資料的維度，選取對影響最大的產液量計量值與選用值，時間，
產液量波動的規則為使用頻率最高的規則，繪圖觀察計量值與選用值的資料分布，
本行以下的所有散點圖，
橫軸為 當前資料項 計量值，縱軸為 前一資料項 選用值，
負類的分布確實不容易看出，中間部分負類資料有問題，其資訊不充分，雖然按照規則可選用，但是未選用，
2.3 總結
模型表現不佳的原因可能來自于資料采集程序（如噪聲，缺失值）、或者來自于資料集的特性（如類別重疊，龐大的資料規模）、也可能來自于采用的機器學習模型的特性（如模型容量過小/過大）和任務本身（如類別分布不平衡）
目前資料集有以下問題：
1）未選用的負類資料太少，
2）資料所包含的資訊不夠豐富，比如油嘴尺寸變化、泵頻率變化情況太少，
3）低質量資料，原資料的部分資料可以采用，但是被分為負類，
…
2.4 考慮方法
考慮了基本的過采樣與欠采樣k鄰近演算法，但是僅僅在原本資料的基礎上修改不足以豐富資料集的資訊，從分布來說 k鄰近 也會影響正類的分布，考慮了對負類樣本增加loss的權重，但對提升負類的查準率與查全率的效果不明顯，
（待閱讀）
極端類別不平衡資料下的分類問題
[1] Liu Z , Cao W , Gao Z , et al. Self-paced Ensemble for Highly Imbalanced Massive Data Classification[J]. 2019.
從梯度的角度出發來解決樣本不均衡的問題
[2] Li B , Liu Y , Wang X . Gradient Harmonized Single-Stage Detector[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33:8577-8584.
3 資料生成方法
根據規則，生成資料項，目的是解決資料不均衡，資訊不豐富的問題，因為有規則的存在，所以代價比較小，
產液量：
主要依靠產液量波動規則，假設計量值(measuring)服從正態分布，以當天選用值為均值，方差暫時手動設定，
同時與油嘴尺寸、泵頻率成線性正相關，系數手動設定，
含水率：
主要依靠含水率波動規則，假設采樣值(sampling)服從正態分布，以當天選用值為均值，方差暫時手動設定，
油壓與溫度非強相關，未納入考慮，
對于如何獲取以上提到的系數和方差，除手動以外，可能的方法：
根據資料做統計，計算方差、系數？對于產液量，雖然假設計量值服從正態分布，但是在不同的產液量水準上，方差可能都不同，可先按照規則分為兩部分，以 1000 產液量作為統計的劃分，含水率同理，
獲取產液量方差公式如下：
?
?
?
?
?
-----
?????
這樣的方法就類似狀態轉移方程，可參考之前在論文中見到的卡爾曼濾波，
4 模型
模型
網路：ANN 人工神經網路
損失函式：CrossEntropy 交叉熵
優化器：SGD 梯度下降
5 實驗
5.1 生成資料
綠色的點為按照規則生成的負類資料，
5.2 擬合效果
為了降低建立模型、資料分析的難度，目前只選取了時間、產液量計量值、產液量選用值來做訓練，
只完成了訓練集上的訓練與測驗，運氣好的話…在訓練集的結果分布上來說還可以入眼，模型在訓練集的效果穩定且良好時，加入測驗集（在訓練集上穩定且良好時），新的維度（在訓練集上效果穩定，但是差），
以下是學習后，在訓練集中的分類效果指標，以及分類的分布：
| 訓練輪次 | 正確率 | 負類查準率 | 負類查全率 | 損失 |
|---|---|---|---|---|
| 6 | 77.38% | 32.10% | 48.15% | 0.5609 |
| 11 | 81.20% | 37.70% | 42.59% | 0.5554 |
| 16 | 82.15% | 38.61% | 36.11% | 0.5613 |
 第6輪訓練
|
 第11輪訓練
|
 第16輪訓練
|
 第21輪訓練
|
訓練越往后，雖然 loss 趨于穩定，但是對負類的劃分效果則越差，查準雖然提高，但查全降低明顯，
更清晰的影像見 附錄，
5.3 模型評價
我個人期望是當前模型能正確將超出波動范圍的資料劃分出來，但模型目前對資料擬合能力差，少數情況下能學習到資料的大概分布，
6 評價指標
F1-score
F2-score
待定，可設計特定的評價指標，比如認為對負類的正確劃分更重要，按正負類占比，加入非線性函式以劃分權重，
附錄
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/413229.html
標籤：AI
下一篇：服務機器人語音對話的實作