Tag정보이론

책: 제임스 글릭 <인포메이션>

정보이론은 아마 통신 분야에서 가장 어려운 것 하나가 아닐까 싶다. 섀넌이 추상적인 정보라는 것을 정의하는 것부터 쉽지 않았을 것이고, 여러 분야의 수학이 사용되기 때문에 더욱 어려운 것 같다. 수학이 약한 나에게는 그래서 정보이론에 겁을 많이 냈고, 아직도 제대로 공부한 적이 없다. 이런 분야임에도 불구하고, 놀랍게도 교양서적이 있었다. 바로 제임스 글릭이 쓴 <인포메이션>이다. 글릭은 과학자는 아니고, 저널리스트인데 이미 <카오스>라는 책을 낸 것으로 유명하고 위키피디아에도 항목이 있더라. 근 10년 들어 책을 읽지 않고 사기만 하는 나였지만, 조금 용기를 내서 책을 읽기 시작했다. 교양서 치고는 두꺼운 편이긴 하지만, 아직 1/4도 읽지 않았다. 하지만, 이렇게 일부를 읽었을 뿐인데도 이...

정보엔트로피가 최대가 되는 확률분포가 균일 분포임을 증명

어떤 확률분포 X에 대해 X가 각 값을 가질 확률을 라 하고, 이 X의 엔트로피를 H(X)라 하자.

H(X)는 다음과 같다.

이 H(X)의 최댓값을 찾기 위해서, H(X)의 그라디언트가 0이 되는 조건을 찾자. grad H(X)는 다음과 같다.

위 grad H(X)를 정리해보면, 각 성분의 크기가 0이기 위해서는 모든 i에 대해 다음이 되어야 함을 알 수 있다.

따라서

이므로 모든 확률이 같아야 한다.

반송파 주파수, 대역폭과 전송속도의 관계-정보이론적 해석

정보이론 관점에서 간단하게 반송파 주파수와 전송속도가 관계가 있을지 생각해보자. 정보엔트로피란 어떤 신호가 담고 있는 정보량을 말한다. 쉽게 정리하면, 상대적으로 높은 가능성이 있는 소식을 담고 있는 신호는 정보량이 낮고, 반대로 낮은 가능성의 소식을 담고 있는 신호는 정보량이 높다. 즉, 로또 당첨 번호 같은 극도로 낮은 확률을 가진 정보는 가치가 매우 높은 것이다. 이제, 반송파 주파수 그 자체의 정보량이 얼마일지를 생각해 보자. 반송파는 사인파일 뿐이다. 받는 측도 당연히 그것을 알고 있고, 특정 시간에 어떤 값의 신호가 올지는 예측이 너무나 쉽다. 즉 가능성이 100%인 소식을 담고 있고, 이는 정보량은 0이란 뜻이다. 즉, 반송파 신호 그 자체는 정보량이 0인 아무 의미없는 소식을 전달할...

최근 글

카테고리

태그

최근 댓글

카테고리