最優化的相關條件
一. 區域極值點的必要條件
既然在前一節中我們對于區域(全域)極值點進行了討論，那么我們也想要知道，如果一個點是極值點，那么它需要滿足什么條件？
1. 區域極小點的必要條件
若點x0是函式f(x)的區域極小值點，則有：
- x0是f(x)的駐點——(f(x)在x0處的一階導數為0)
- f(x)在x0處的Hessian矩陣H(x0)是半正定的
2. 證明
【自我小結】
- 有關極值的相關證明經常用到極值的定義和泰勒展開
- 反證法也是經常用到的證明思路
- 為了構造出上面所需的定義和泰勒展開式，往往會取某個點的鄰域進行相應的演算，
3. 區域極大點的必要條件
前面雖然都是在以區域極小點為例進行探討，但是我們可以很容易地將結論遷移類比到區域極大值上面，
根據上圖我們可知，如果一個點x0是f(x)的區域極大值點，則有：
- f(x)在x0處的一階導數值為0
- f(x)在x0的Hessian矩陣是負半定的
二. 區域極值點的充分條件
1. 區域極小值的充分條件
若函式f(x)上的某一點x0滿足：
- x0是f(x)的駐點——(f(x)在x0處的一階導數為0)
- f(x)在x0處的Hessian矩陣H(x0)是正定的
則可得到，x0就是f(x)的嚴格的區域極小值點(<)
2. 證明
3. 注意事項
①對照充分條件和必要條件，可知充分條件比必要條件更加嚴苛(必要條件涵蓋了充分條件)
②充分條件的適用范圍更窄，函式需要定義在開集上，且函式需要二階可微
在實際問題中，函式往往是定義在閉集上，而且最優點很可能就出現在端點上，
這個時候，我們可以先利用充分條件找到該閉集對應的開集中的最優點，再和端點上的函式值進行比較，從而確定整個閉集上的最優點，
③用充分條件可以直接找到極值點中的所有非奇異點，奇異點則較難尋找
注意分辨“充分條件和“必要條件”的關系
- 滿足了充分條件的點一定是非奇異極值點，不滿足充分條件的點不一定不是極值點
- 所有極值點都必須滿足必要條件，滿足了必要條件不一定就是極值點
- 滿足了必要條件，但不滿足充分條件的那些極值點就稱為奇異點
④對于一個定義在開集X上的可微凸函式f(x)而言，▽f(x*) = 0?點x*是f(x)的全域極小值點，
【簡要證明】
根據上一篇博文《【最優化】最優化理論的基本概念》中的《可微函式的凸性三定理》的定理一：
我們可以任取一個x∈X，則有f(x)-f(x*)≥▽f(x*)T·(x-x*)；
又因為根據題意，▽f(x*)T = 0，所以可得f(x)-f(x*)≥0
從而證得x*就是f(x)的全域極小值點，
【例】求解給定函式的區域極值點
關于極值點求解的題型要注意：
- 求解出駐點之后，一定要用二階導進行驗證，才能明確是不是極小(大)值點
- 只能得出該點滿足必要條件，則不能下結論說該點是區域極值點
- 不同函式在某點的一階導和二階導處具有相同的性質，這并不意味著該點在兩個函式中是相同性質的點，可以通過計算更高階導數進行分析
三. 區域極值點的存在條件
不是所有的函式都存在極值點：
1. 極值點的存在條件
總的來說，我們只需要記住在一個給定的有界區間內求解，一般都是有極值點的
2. 討論極值點的各類條件的原因
本節我們討論了極值點的充分、必要、充分必要及存在性條件，
- 幫助理解極值求解程序
- 當條件滿足時，我們可以適時地終止一個迭代演算法
- 可以幫助優化演算法
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/226213.html
標籤：其他
上一篇：Modbus 除錯工具: Modbus poll與Modbus slave下載與使用(上）
下一篇：洛谷P1887 乘積最大3