N개의 서로 다른 심볼 종류를 갖는 메시지 정보원(information source) 집합의 정보량과 엔트로피에 대한 설명으로 옳지 않은 것은? (단, i번째 심볼  의 발생 확률을  로 표현하고, 발생하는   심볼들은 서로 통계적으로 독립이다)

Question

Accepted Answer

4. 서로 다른 발생 확률을 갖는 이진 정보원(N＝2)의 집합을 X라 할 때, 엔트로피 H(X)는 0≤H(X)≤2이다.

Answer

엔트로피는 정보원의 심볼 출력당 평균 정보의 양으로 정의된다.

Answer

정보량을 비트로 표현할 때, 자기 정보(self information) I( )＝－log ( )이다.  2 

Answer

집합에 속하는 심볼들의 발생 확률이 모두 같을 때, 엔트로피는 최대가 된다.

Answer

서로 다른 발생 확률을 갖는 이진 정보원(N＝2)의 집합을 X라 할 때, 엔트로피 H(X)는 0≤H(X)≤2이다.