梯度提升分類樹損失函式化簡程序

損失函式：

• 定義交叉熵為函式 ψ ( y , F ( x ) ) \psi(y,F(x)) ψ(y,F(x))

• ψ ( y , F ( x ) ) = ? y l n ( p ) ? ( 1 ? y ) l n ( 1 ? p ) \psi(y,F(x)) = -yln(p) - (1-y)ln(1-p) ψ(y,F(x))=?yln(p)?(1?y)ln(1?p)

  • 其中 p = 1 1 + e x p ( ? F ( x ) ) p = \frac{1}{1 + exp(-F(x))} p=1+exp(?F(x))1?? ，即sigmoid函式
  • F ( x ) F(x) F(x)???? 表示決策回歸樹 DecisionTreeRegressor F(x) 表示每一輪決策樹的value，即負梯度

推導程序

將 p = 1 1 + e x p ( ? F ( x ) ) p = \frac{1}{1 + exp(-F(x))} p=1+exp(?F(x))1??? 帶入上面損失方程

ψ ( y , F ( x ) ) = ? y l n ( p ) ? ( 1 ? y ) l n ( 1 ? p ) = ? y l n 1 1 + e x p ( ? F ( x ) ) ? ( 1 ? y ) l n ( 1 ? 1 1 + e x p ( ? F ( x ) ) ) = ? y l n ( 1 + e x p ( ? F ( x ) ) ) ? 1 ? ( 1 ? y ) l n e x p ( ? F ( x ) ) 1 + e x p ( ? F ( x ) ) = y l n ( 1 + e x p ( ? F ( x ) ) ) ? ( 1 ? y ) ( ? F ( x ) ? l n ( 1 + e x p ( ? F ( x ) ) ) ) = y l n ( 1 + e x p ( ? F ( x ) ) ) + ( 1 ? y ) ( F ( x ) + l n ( 1 + e x p ( ? F ( x ) ) ) ) = F ( x ) + l n ( 1 + e x p ( ? F ( x ) ) ) ? y F ( x ) = F ( x ) + l n 1 + e x p ( F ( x ) ) e x p ( F ( x ) ) ? y F ( x ) = F ( x ) + l n ( 1 + e x p ( F ( x ) ) ) ? F ( x ) ? y F ( x ) = ? y F ( x ) + l n ( 1 + e x p ( F ( x ) ) ) \begin{aligned}\psi(y,F(x)) & = -yln(p) - (1-y)ln(1-p) \\\\ &=-yln\frac{1}{1 + exp(-F(x))} - (1 - y)ln(1 - \frac{1}{1 + exp(-F(x))}) \\\\ & = -yln(1 + exp(-F(x)))^{-1} - (1-y)ln\frac{exp(-F(x))}{1 + exp(-F(x))}\\\\ & = yln(1 + exp(-F(x))) - (1 - y)(-F(x) - ln(1 + exp(-F(x))))\\\\&=yln(1 + exp(-F(x))) + (1 - y)(F(x) + ln(1 + exp(-F(x))))\\\\&=F(x) + ln(1 + exp(-F(x))) - yF(x)\\\\&= F(x) + ln\frac{1 + exp(F(x))}{exp(F(x))} -yF(x)\\\\&=F(x) + ln(1 + exp(F(x))) - F(x) - yF(x) \\\\&=-yF(x) + ln(1 + exp(F(x)))\end{aligned} ψ(y,F(x))?=?yln(p)?(1?y)ln(1?p)=?yln1+exp(?F(x))1??(1?y)ln(1?1+exp(?F(x))1?)=?yln(1+exp(?F(x)))?1?(1?y)ln1+exp(?F(x))exp(?F(x))?=yln(1+exp(?F(x)))?(1?y)(?F(x)?ln(1+exp(?F(x))))=yln(1+exp(?F(x)))+(1?y)(F(x)+ln(1+exp(?F(x))))=F(x)+ln(1+exp(?F(x)))?yF(x)=F(x)+lnexp(F(x))1+exp(F(x))??yF(x)=F(x)+ln(1+exp(F(x)))?F(x)?yF(x)=?yF(x)+ln(1+exp(F(x)))?

結論如下

• 定義梯度提升分類樹交叉熵為函式 ψ ( y , F ( x ) ) \psi(y,F(x)) ψ(y,F(x))

• ψ ( y , F ( x ) ) = ? y l n ( p ) ? ( 1 ? y ) l n ( 1 ? p ) \psi(y,F(x)) = -yln(p) - (1-y)ln(1-p) ψ(y,F(x))=?yln(p)?(1?y)ln(1?p)

• 其中 p = 1 1 + e x p ( ? F ( x ) ) p = \frac{1}{1 + exp(-F(x))} p=1+exp(?F(x))1?? ，即sigmoid函式

• 化簡可得：

  ψ ( y , F ( x ) ) = ? y F ( x ) + l n ( 1 + e x p ( F ( x ) ) ) \psi(y,F(x)) = -yF(x) + ln(1 + exp(F(x))) ψ(y,F(x))=?yF(x)+ln(1+exp(F(x)))

我在馬士兵教育，教授AIoT-人工智能物聯網課程，歡迎你加入，深入學習~

代碼點亮人生，代碼改變世界~