2値確率変数のエントロピーの最大値

2値確率変数$X$のエントロピーは、一方の値をとる確率を$p$とすれば

$$ \begin{aligned} H(X) & = - \sum_x p(x) \log p(x) \\ & = -p\log p - (1-p) \log (1-p) \end{aligned} $$

となります。微分は

$$ \frac{{\rm d} H(X)}{{\rm d} p} = \log \frac{1-p}{p} $$

なので$p=1/2$で最大値$1$をとります。