文章目錄

基本認識
邏輯回歸模型
邏輯回歸模型的損失函式：交叉熵損失
損失函式最小值求解推導
迭代公式的向量化

基本認識

在評分卡專案中，如果需要構建一個標準的評分卡模型，就只能采用邏輯回歸模型，因為其它支持概率輸出的分類模型只能給出樣本的總分值，沒有辦法給出每個變數的分值，以及每個變數不同取值的分值，也可以理解成不能看到每個特征對總分的影響

線性回歸簡單回顧

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-X3Rntf5D-1605876289498)(C292EFD248B74030B299B38699439CFA)]

線性回歸模型是用屬性線性組合來預測目標變數，而每個屬性的權重反映了在該模型中屬性的重要程度，即權重越大，則在該模型中對目標變數的預測能力越強

邏輯回歸是一個廣義的線性模型，在普通的線性函式加了sigmoid映射，映射到0-1之間，一般0.5是一個閾值，來達到一個二分類的效果（本文后續只給出sigmoid的推導，softmax多分類推導請看博主之前的筆記）

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Wz6vt4hu-1605876289503)(431D41123D0948EF8BED80A62C893129)]

邏輯回歸模型

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-J605EtgB-1605876289508)(94572F2CE4A245ACBEE9FCAF69255345)]

邏輯回歸模型的損失函式：交叉熵損失

根據y的取值可以如下表示：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-gyZaZYMy-1605876289512)(98E75E7236CC4F33B79A936969BA861C)]

可以合并如下：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-rGzpfPDO-1605876289514)(EF2148EA63754ACB8CCC4C742D15CC49)]

根據極大似然估計，上面式子取似然函式：

比如三個樣本同時出現的概率P = p1 * p2 * p3

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-zGkKBTH2-1605876289515)(A40FECEEEDBA40C7826E93479FD5B5EE)]

由于連乘不好計算，所以對兩邊同時取對數變成連加的形式：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-JczlR5LC-1605876289517)(DAEB5E893E4448939499EC84A6CF33E5)]

這個函式就是損失函式，求這個函式的最大值也就意味著總概率越大，
但是我們一般更希望求損失函式的最小值，所以在上述函式前面加負號：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-MgLd58Yu-1605876289520)(9788FCBD043644CC90C6C7D8A61A763B)]

這就形成了邏輯回歸的損失函式：交叉熵損失

所以我們可以得出結論，損失函式的確定是根據極大似然估計來的

模型訓練的程序也就是求損失函式最小值的程序

損失函式最小值求解推導

此處用梯度下降，最小二乘法請參考博主之前的文章

首先明確 θ 更新方程

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-1jPEPMy7-1605876289523)(E0F0732165D14BE498A4E28326D70D2F)]

對 θ 求偏導

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-bz0M0VUI-1605876289525)(39BC996DCF874BAEB5C8494E1AA3BDE8)]

分開求導再相乘即可

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-SUyVujgr-1605876289527)(8B78545869E84F8E860E3749C4A21BC1)]

sigmoid求導如下：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-TlD1VtmJ-1605876289532)(55CD43A64253404687BAEB98C64C6F83)]

在這里插入圖片描述

上述整合

在這里插入圖片描述

迭代公式的向量化

在這里插入圖片描述

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/226140.html

標籤：AI

上一篇：差分隱私— —再填坑

下一篇：競賽評分（struct結構體）

邏輯回歸詳細推導（保證能看懂）

文章目錄

基本認識

邏輯回歸模型

邏輯回歸模型的損失函式：交叉熵損失

損失函式最小值求解推導

迭代公式的向量化