信息熵的公式為H(X)=-∑x∈Xp(x)logp(x)。 其中，x是隨機變數X的取值，p(x)是x發生的機率，log是以2為底的對數時，信息熵的單位是比特（bit）；以自然數e為底時，單位是納特（nat）。