信息熵是什么意思

信息熵是資訊理論中的一個基本概念，主要用於描述信息源各可能事件發生的不確定性。

信息熵這個概念是由美國數學家克勞德·香農於1948年提出的，用於量化度量信息。信息熵也被稱為信息量，是對不確定性的度量。當人們不知道某事物的具體狀態，但知道它有幾種可能狀態時，可能狀態種類越多，不確定性就越大。當這種不確定性被消除時，就意味著獲得了更多的信息。

此外，信息熵也被視為系統有序化程度的一個度量，一個系統越是有序，其信息熵就越低；反之，一個系統越是混亂，其信息熵就越高。