정보엔트로피가 최대가 되는 확률분포가 균일 분포임을 증명

어떤 확률분포 X에 대해 X가 각 값을 가질 확률을  p_1 ,p_2 , ... , p _{n-1} , q=1-p_1 - p_2 - ...  - p_{n-1} 라 하고, 이 X의 엔트로피를 H(X)라 하자.

H(X)는 다음과 같다.

이 H(X)의 최댓값을 찾기 위해서, H(X)의 그라디언트가 0이 되는 조건을 찾자. grad H(X)는 다음과 같다.

위 grad H(X)를 정리해보면, 각 성분의 크기가 0이기 위해서는 모든 i에 대해 다음이 되어야 함을 알 수 있다.

따라서

이므로 모든 확률이 같아야 한다.

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다