信息熵的概念

在信息論中，熵被用來衡量一個隨機(jī)變量出現(xiàn)的期望值。它代表了在被接收之前，信號傳輸過程中損失的信息量，又被稱為信息熵。信息熵也稱信源熵、平均自信息量。信息熵

信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。

直到1948年，香農(nóng)提出了“信息熵”的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農(nóng)從熱力學(xué)中借用過來的。熱力學(xué)中的熱熵是表示分子狀態(tài)混亂程度的物理量。香農(nóng)用來描述信源的不確定度。

資訊理論之父克勞德·艾爾伍德·香農(nóng)第一次用數(shù)學(xué)語言闡明了機(jī)率與信息冗余度的關(guān)係。