熵在物理中是用于衡量一個熱力學系統的無序程度,運算式為△S=Q/T,其中Q是吸識訓者釋放的熱量,T是溫度,
計算機領域將其定義為離散隨機事件出現的概率,一個系統越是有序資訊熵就會越低;反之,系統越是混亂,資訊熵就越高,
「聯合熵」 兩個隨機變數X,Y的聯合分布可求得聯合熵,
「條件熵」 在隨機變數X發生的前提下,隨機變數Y帶來的新的熵,即為Y的條件熵,
其含義是衡量在已知隨機變數X的條件下隨機變數Y帶來的新的熵即為Y的條件熵,
「KL散度」 兩個概率分布(probability distribution)間差異的非對稱性度量,
「互資訊」 兩個隨機變數X,Y的互資訊定義為X,Y的聯合分布和各自獨立分布乘積的KL散度,
微信搜索全都是碼農,點個關注不迷路啦!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/6844.html
標籤:其他
上一篇:如何在視頻中的物件后面添加影像
下一篇:機器學習中的AUC-ROC曲線
