雷鋒網(wǎng)AI科技評論按：「熵」大概是統(tǒng)計學(xué)、信息學(xué)里最讓初學(xué)者愁腸百結(jié)的基本概念之一。我們都知道熵可以用來描述含有的信息豐富程度的多少，但是具體是怎么回事呢？這篇文章中雷鋒網(wǎng)AI科技評論將帶大家重新系統(tǒng)認識一下「熵」倒是在講什么。

假設(shè)你在醫(yī)生辦公室中與三個等待的病人交流。三個病人都剛剛完成藥物測試，他們面臨著兩種可能的結(jié)果：患病或者未患病。假設(shè)這三個病人都充滿好奇心而且數(shù)學(xué)好。他們提前各自研究得到了自己患病的風(fēng)險，并且想通過這些來確認自己的診斷結(jié)果。

病人A知道他自己有95%的可能會患病。對于病人B，患病概率為30%，病人C的患病未患病的概率都為50%。

病房中的不確定性

首先我們專注于一個簡單的問題。在其他條件都相同的情況下，這三個病人中的哪個面臨著最大的不確定性？

這個問題的答案是顯而易見的，病人C。他所面臨的是在這種情況下可能呢存在的最大程度的不確定性：就像醫(yī)療版本的拋硬幣試驗一樣。

對于病人A來說，雖然他的情況不容樂觀，但是至少他對于是否患病這個問題有最小的不確定性。對于病人B，他的不確定性在病人A和病人C之間。

這就是為什么要引入熵這個概念的原因：描述一個狀況下的不確定性為在xx和xx之間，在日常生活環(huán)境下這種精細程度可能足夠了，但是對于機器學(xué)習(xí)任務(wù)來說，這種描述太寬泛了。

不確定性度量

熵允許我們對于生活中的一個重要問題：事情最終會發(fā)展到什么樣的結(jié)果，進行精確度量和計算。

換種說法，熵是一種不確定性的度量。

在本篇文章中，熵都是指代香農(nóng)熵（Shannonentropy）。其實還有幾種其他類型的熵，但是在自然語言處理或者機器學(xué)習(xí)領(lǐng)域中，我們提到的熵都是香農(nóng)熵。

所以在沒有特意說明的情況下，下面就是熵的公式。對于事件X，有n種可能結(jié)果，且概率分別為p_1,...p_n，公式為：

基本性質(zhì)

如果你是第一次看到這個公式，你可能會提出一個問題：為什么要用對數(shù)？為什么這個公式就能夠度量不確定性？當(dāng)然，還有為什么要用字母H來表示熵？（表面上這個英文字母H是從希臘大寫字母Eta上演變過來的，但實際上為什么采用了字母H來表示，還是有一段復(fù)雜的歷史的，感興趣的可以看這個問題：WhyuseHforentropy?)

對于很多情況下的問題，我認為從以下兩點切入是很好的選擇：（1）我所面對的這個數(shù)學(xué)結(jié)構(gòu)有那些理想的屬性？（2）是否有其他結(jié)構(gòu)也能夠滿足所有這些理想的屬性？

對于香農(nóng)熵作為不確定性的度量來說，這兩個問題的答案分別是：（1）很多，（2）沒有。

我們來一個一個看我們希望熵的公式應(yīng)該具有哪些性質(zhì)。

基本性質(zhì)1：均勻分布具有最大的不確定性

如果你的目標(biāo)是減小不確定性，那么一定要遠離均勻概率分布。

簡單回顧一下概率分布：概率分布是一個函數(shù)，對于每個可能的結(jié)果都有一個概率，且所有的概率相加等于1。當(dāng)所有可能的結(jié)果具有相同的可能性時，該分布為均勻分布。例如：拋硬幣實驗（50%和50%的概率），均勻的骰子（每個面朝上的概率都為六分之一）。

均勻分布具有最大的熵

一個好的不確定性度量會在均勻分布時達到最大的值。熵滿足這個要求。給定n個可能的結(jié)果，最大的熵在所有結(jié)果的概率相同時得到。

下面是對于伯努利試驗中熵的圖像。（伯努利試驗有兩種可能的結(jié)果：p和1-p）：

在伯努利試驗中，當(dāng)p=0.5時，熵達到最大

基本性質(zhì)2：對于獨立事件，不確定性是可加的

假設(shè)A和B是獨立事件。換句話講，知道事件A的結(jié)果并不會絲毫影響B(tài)的結(jié)果。

關(guān)于這兩個事件的不確定性應(yīng)該是兩個事件單獨的不確定性的和，這也是我們希望熵的公式應(yīng)該具備的性質(zhì)。

對于獨立事件，不確定性是可加的

讓我們使用拋兩個硬幣的試驗作為例子來使這個概念更加具體。我們既可以兩個硬幣同時拋，也可以先拋一個硬幣再拋另一個硬幣。在兩種情況下，不確定性是相同的。

考慮兩個特殊的硬幣，第一個硬幣正面朝上(H,Head)的概率為80%，背面朝上(T,Tail)的概率為20%。另一個硬幣的正面朝上和反面朝上的概率分別為60%和40%。如果我們同事拋兩枚硬幣，那么有四種可能：正正，正反，反正，反反。對應(yīng)的概率分別為[0.48,0.32,0.12,0.08]。

兩個獨立事件的聯(lián)合熵等于獨立事件的熵的和

將這些概率帶入到熵的公式中，我們能夠看到：

就跟我們設(shè)想的一樣，兩個獨立事件的聯(lián)合熵等于各個獨立事件的熵的和。

基本性質(zhì)3：加入發(fā)生概率為0的結(jié)果并不會有影響

假設(shè)有一個游戲，獲勝條件如下：（a）只要#1號結(jié)果出現(xiàn)，你就贏了。（b）你可以在兩個概率分布A和B中選一個進行游戲。分布A有兩種可能，#1號結(jié)果為80%概率，#2號結(jié)果為20%概率。分布B有三種結(jié)果，#1號結(jié)果80%，#2號結(jié)果20%，#3號結(jié)果0%.

增加第三個概率為0的結(jié)果并不會有什么不同

給定A和B兩個選擇，你會選哪個？可能正確的反應(yīng)應(yīng)該是聳聳肩或白個眼。第三個結(jié)果的加入并沒有增加或減少這個游戲的不確定性。誰關(guān)心到底是用A還是B呀，因為用哪個都是一樣的。

熵的公式也滿足這個性質(zhì)：

即，增加一個概率為0的結(jié)果，并不會影響對于不確定性的度量。

基本性質(zhì)4：不確定性的度量應(yīng)該是連續(xù)的

最后一個基本性質(zhì)是連續(xù)性。

連續(xù)性的最直觀的解釋就是沒有斷開或者空洞。更精確的解釋是：輸出（在我們的場景下是不確定性）中任意小的變化，都可以由輸入（概率）中足夠小的變化得到。

對數(shù)函數(shù)在定義域上每個點都是連續(xù)的。在子集上有限數(shù)量函數(shù)的和和乘積也是連續(xù)的。由此可能得出熵函數(shù)也是連續(xù)的。

唯一性定理

Khinchin（1957）證明，滿足上述四種基本屬性的唯一函數(shù)族具有如下形式：

其中λ是正常數(shù)。Khinchin稱之為唯一性定理。將λ設(shè)為1，并使用以2為底的對數(shù)就得到了香農(nóng)熵。

重申一下，使用熵作為不確定性度量是因為它具有我們期望的屬性，并且是從滿足上面提到的四個屬性的函數(shù)族中做出的很自然的選擇。

其他屬性

除了上述用于Khinchin的唯一性定理中的四個基本屬性，熵還具有一些其他的性質(zhì)，下面就介紹其中的一些。

性質(zhì)5：具有更多可能結(jié)果的均勻分布有更大的不確定性

比如你可以在拋硬幣試驗和拋骰子試驗中做出一個選擇，如果硬幣正面朝上或者骰子1那面朝上就算贏。你會選擇那個試驗？如果你想最大化收入，肯定會選擇硬幣。如果只是想體驗下不確定性，那可能就會選骰子。

隨著等概率結(jié)果的數(shù)量的增加，不確定性的度量也應(yīng)該增加。

這正是熵所做的：H（1/6，1/6，1/6，1/6，1/6，1/6）>H（0.5，0.5）

一般來說，L(k)為具有K個結(jié)果的均勻分布的熵，我們能夠得到：

對于m>n，有

性質(zhì)6：事件擁有非負的不確定性

你知道什么是負的不確定性嗎？反正我也不知道。

對于一個用戶友好的不確定性度量來說，無論輸入是什么，應(yīng)該總會返回一個非負的結(jié)果。

熵的公式同樣滿足這個性質(zhì)，我們來看一下公式：

概率是定義在0-1的范圍內(nèi)的，因此是非負的。所以概率的對數(shù)是負的。概率乘概率的對數(shù)不會改變符號。因此求和之后應(yīng)該是負的，最終負負得正。所以對于所有的輸入，熵都是非負的。

性質(zhì)7：有確定結(jié)果的事件具有0不確定性

假設(shè)你擁有一個魔法硬幣，無論你怎么拋，硬幣總是正面朝上。

你會怎么量化這個魔法硬幣的不確定性，或者其他情況下有確定結(jié)果的事件的不確定性？這中情況下就沒有不確定性，所以結(jié)果也很自然，不確定性為0。

熵的定義也滿足這個性質(zhì)。

假設(shè)結(jié)果i一定會發(fā)生，即p_i=1，所以H(X)為：

即，確定事件的熵為0。

性質(zhì)8：調(diào)轉(zhuǎn)參數(shù)順序沒有影響

這是另一個顯而易見的理想性質(zhì)。考慮兩種情況，第一個，拋硬幣正面朝上的概率和背面朝上的概率分別為80%和20%。第二個情況里概率正好相反：正面朝上和背面朝上的概率分別為20%和80%。

兩種拋硬幣試驗都有相同的熵，即H(0.8,0.2)=H(0.2,0.8)。

更通用的形式，對于個結(jié)果的試驗，我們有：

實際上這對于有任何數(shù)量結(jié)果的試驗都適用。我們可以以任意的方式調(diào)整參數(shù)的順序，而所有的結(jié)果都是一樣的。

總結(jié)

回顧一下，香農(nóng)熵是一種不確定性的度量。

它被廣泛的適用，因為它滿足了我們想要的一些標(biāo)準（同時也是因為我們生活中充滿了不確定性）。唯一性定理告訴我們，只有一個函數(shù)族具有我們想要的四種基本性質(zhì)。香農(nóng)熵是這個函數(shù)族的一個很自然的選擇。

熵的性質(zhì)有（1）對于均勻分布有最大的熵；（2）對于獨立事件熵是可加的；（3）具有非零概率的結(jié)果數(shù)量增加，熵也會增加；（4）連續(xù)性；（5）非負性；（6）確定事件的熵為0；（7）參數(shù)排列不變性。

viaTowardsDatascience，雷鋒網(wǎng)AI科技評論編譯