勵志

勵志人生知識庫

信息量是什么

信息的多少的量度

信息量是指信息的多少的量度,它衡量了信息的有用性或重要性。

信息量的概念可以追溯到1928年,由R.V.L.哈特萊首次提出,其將訊息數的對數定義為信息量,例如,一個信源若能產生m種不同的訊息,且每種訊息產生的可能性相等,則該信源的信息量可以表示為I=logm。信息量的概念在信息學資訊理論模式識別等領域有廣泛套用,主要用於衡量隨機變數的不確定性和信息的有用性。例如,在決策樹中用於評估特徵的重要性,在信息壓縮中用於評估壓縮效果,在編碼中用於評估編碼效率等。

此外,信息量也被理解為接收信息後,個人對某一事物的不肯定性減少的程度,即知識變化的數量。資訊理論的奠基人C.E.香農對信息量進行了深入和系統的研究。