篇一：信息论与编码理论习题答案
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的
信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为 2?log8=2?3=6 bit
因此，信息速率为 6?1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信
息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
61p(a)== 366
得到的信息量 =log1=log6=2.585 bit p(a)
(2) 可能的唯一，为 {6，6}
1p(b)= 36
得到的信息量=log1=log36=5.17 bit p(b)
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
1解：(a) p(a)= 52!
信息量=log1=log52!=225.58 bit p(a)
?13!??13种点数任意排列 (b) ?13 ?4??花色任选
13!?413413
p(b)==13 13C52A52
13 信息量=logC52?log413=13.208 bit
2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的
点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。
解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，
则X?x1，Y?x1?x2，Z?x1?x2?x3
H(Z|Y)=H(x3)=log6=2.585 bit
H(Z|X)=H(x2?x3)=H(Y)
12345366log36+log18+log12+log9+loglog6 )+3636363636536
=3.2744 bit
=2?(
H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]
而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit
或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)
而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit
H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit
H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit
2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概
率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：
i?0,2,4,6,8√
I(X;Y)=H(Y)-H(Y|X)
因为输入等概，由信道条件可知，
1?p(y?ii为奇数)???10 ??p(y?ii为偶数)?1(1?1?1?1?1)?1
?102888810?
即输出等概，则H(Y)=log10
H(Y|X)=??i?p(xyijj)logp(yj|xi)
=???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi)
ji偶ji奇
=0-??p(xiyj)logp(yj|xi)
ji奇
= -
=i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi) 11111?log2?5+??log8?4?5 1021024
13 =?=1 bit 44
I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit
2.11 令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，
u5=1001，u6=1010，u7=1100，u8=1111
通过转移概率为p的BSC传送。求：
(a)接收到的第一个数字0与u1之间的互信息量。
(b)接收到的前二个数字00与u1之间的互信息量。
(c)接收到的前三个数字000与u1之间的互信息量。
(d)接收到的前四个数字0000与u1之间的互信息量。
解：
即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)
111p(0)=(1?p)?4+p?4= 882
I(u1;0)=logp(0|u1)1?p=log=1+log(1?p) bit 1p(0)
2
11p(00)=[2(1?p)2?4(1?p)p?2p2]= 84
p(00|u1)(1?p)2
I(u1;00)=log=log=2[1?log(1?p)] bit 1/4p(00)
11p(000)=[(1?p)3?3(1?p)2p?3(1?p)p2?p3]= 88
I(u1;000)=3[1+log(1?p)] bit
1p(000)0=[(1?p)4?6(1?p)2p2?p4] 8
8(1?p)4
I(u1;0000 bit )=log(1?p)4?6(1?p)2p2?p4
2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。
解：根据题2.9分析
13216621610216log216+logloglogH(Z)=2(+++ 216216321662161015216212162521627216loglogloglog+++) 21615216212162521627
=3.5993 bit
I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit
I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit
2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立(a)H(Y,Z|X)?H(Y|X)+H(Z|X)，给出等号成立的条件(b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y)
(c)H(Z|X,Y)?H(Z|X)
证明：(b) H(Y,Z|X)=-???p(xyz)logp(yz|x)
xyz
=-???p(xyz)log[p(y|x)p(z|xy)]
xyz
=-???p(xyz)logp(y|x)-???p(xyz)logp(z|xy) xyzxyz
=H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-???p(xyz)logp(z|xy)
xyz
=??p(xy)[-?p(z|xy)logp(z|xy)]
xyz
???p(xy)[-?p(z|x)logp(z|x)]
xyz
=-???p(xyz)logp(z|x)
xyz
=H(Z|X)
当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得
H(Y|X)+H(Z|X,Y)?H(Y|X)+H(Z|X)
于是H(Y,Z|X)?H(Y|X)+H(Z|X)
?1,?1?
2.28 令概率空间X??11?，令Y是连续随机变量。已知条件概率密度为 ?,??22?
篇二：信息论与编码理论-习题答案 姜楠 王健 编著 清华大学
第1章 绪论
1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农
1.3 通信系统模型
1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是
信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略
第2章 信息的统计度量
2.1 少
2.2 y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立 2.3 FTTTF
2.4 2.12比特
2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发
生的概率为p1，由于每枚硬币被取出的概率是相同的，所以
p1?
181
所需要的信息量
I?A???logp1?6.34?bit?
二是确定它比其他硬币是重还是轻，设其发生的概率为p2，则
p2?
12
12
1162
总的概率
p?p1p2?
181?
?
所需要的信息量
I??logp?log162?7.34?bit?
2.6 设A表示“大学生”这一事件，B表示“身高1.60m以上”这一事件，则
p?A??0.25
p?B??0.5
p?B|A??0.75
故
p?A|B??
p?AB?p?B?
?
p?A?p?B|A?
p?B?
?
0.75?0.25
0.5
?0.375
1p?A|B?
10.375
I?A|B??log
?log
?1.42?bit?
2.7 四进制波形所含的信息量为log4?2?bit?，八进制波形所含信息量为log8?3?bit?，故
四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
I?2???log2p?bit?I?3???log3p?bit?I?3?I?2??log23?1.585
故以3为底的信息单位是比特的1.585倍。
2.9 （1）J、Z（2）E（3）X
2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数为
C6?C6?36，则圆点数之和为3出现的概率为
1
1
p3?
236
?
118
?4.17?bit?
故包含的信息量为
（2）小圆点数之和为7的情况有(1, 6), (6, 1), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为
p7?
636
?16
I?3???logp3??log
118
?2.585?bit?
故包含的信息量为
I?7???logp7??log
16
2.11 对于男性，是红绿色盲的概率记作p?a1??7%，不是红绿色盲的概率记作p?a2??93%，
这两种情况各含的信息量为
I?a1??log??1p?a1????logI?a2??log??p?a2????log
100710093
?3.83?bit?
?0.105?0.366?bit?
?0.105?bit?
平均每个回答中含有的信息量为
H?A??p?a1?log??1p?a1????p?a2?log??1p?a2????
7100
?3.83?
93100
对于女性，是红绿色盲的概率记作p?b1??0.5%，不是红绿色盲的概率记作p?b2??99.5%，则平均每个回答中含有的信息量为
H?B??p?b1?log??1p?b1????p?b2?log??1p?b2????
51000
?log
10005
?9951000
?log
1000995
?0.045?bit?
所以
H?A??H?B?
?1?12
1?
??log242?
2.12 天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个
球中的不等重球（可较轻，也可较重）的不确定性为：?log?,所以3次测量可以找出该球。
3log3?log24
2.13 （1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此
P?胜??P?麦克胜3场??P?大卫胜少于3场?+P?麦克胜2场??P?大卫胜少于2场??P?麦克胜1场??P?大卫胜0场??18?78?38?48?38?18?2264
?
，因为
2264
2264
2264
2064
同理
P?负??
，P?平??1?
?
?
麦克最终比赛结果的熵为
222222222020?222220?H?,,??log?log?log?
646464646464?646464??log64?2??6?
4464
2264
log22?
2064
2064log20
?4.4594??4.3219
?6?3.0659?1.3506
因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。
（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是2?3?1/8，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是
2.14 （1）假定一个家庭里有k个女孩，1个男孩，相应的概率是0.5k?0.5，因此女孩的平
?
?1.5835比特果
7?1?
H???3?log7?0.5436比特果
8?8?
均数是0.5?k0.5k?1，女孩的平均数和男孩的平均数相等。
k?1
（2）H?X????0.5ilog?0.5i??2
i?1
?
2.15 （1）根据题意，可以得到：
p?E??p?F??p?U??1
①
②
1.0p?E??0.5p?F??0.0p?U??0.95
由式②可以得到：
p?F??1.9?2p?E?
③
将式③代入式②得到：
p?E??0.9?p?U
? ④
由于p?E?,p?F?,p?U?的取值必须在0到1之间，由式③和式④可以得到p?E?的取值范围在0.9到0.95之间。
(2)就业情况的熵为
?1??1
H?p?E?log??pFlog????
pE????????p?F?1?
?p?E?log?????1.9?2p?E???log
pE??????
??1
?pUlog?????????p?U
?
????
??1
??pE?0.9??????
??1
?????p?E??0.9??log1.9?2pE??????
它在p?E?的取值范围内的曲线如图所示。
0.50.45 0.40.35 0.30.25
0.0
0.01
0.02
0.03
0.04
0.05
（3）当p?E??0.9081时，H?0.4823达到最大值，这时p?F??0.0838，p?U??0.0081。
2.16 假设X表示当地的实际天气情况，Y表示气象台预报的天气情况，Z表示总是预报不
下雨的天气情况。
H?X
??0.696比特
p?xy?
符号
I?X;Y??
?
x,y
p?xy?log
p?x?p?y?3
1
1316
?116log
16316?1116
?1016log
11161016?1316
16516?
1
?18log
8316?516
?316log
?0.0906比特符号
I?X;Y???H?X?，可见气象台预报的确实不好。
但是如果总是预报不下雨的话则会更糟，因为X和Z是相互独立的两个随机变量，即
I?X;Z??0，所以
I?X;Y??I?X;Z?,H?X|Z??H?X|Y
?
因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。
2.17 由互信息量的定义
I?xi;yj??log
p?xi|yj?p?xi?
因为p?xi|yj??1，则有
I?xi;yj??log
p?xi|yj?p?xi?
1p?xi?
?I?xi?
?log
同理，因为p?yj|xi??1，则有
I?yj;xi??log
p?yj|xi?p?yj?
1p?yj?
?I?yj?
?log
2.18 （1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值
的随机变量的最大熵为log7，随机变量X不是等概分布，所以H?X??log7。
（2）根据熵的递增性，H?X??H?（3）
H
?2
2?22?1??1?
H???H???log5??
?1010101010?10?2?10?2?
,
,
,
,
2
2
2
。
?X????
x
p?x?logp?x???3?log2?3.322?0.6
210
log
210
?4?
110
log
110
?log10?
610
?2.722比特符号
HY????p?y?logp?y???3?
y
210log
210
?410log
410
?log10?
610
log2?
410
log4
?3.322?0.6?0.8?1.922比特符号
（4）因为随机变量Y是X的函数，所以
H?X??0比特号
H?X??H?XY??H?Y??H?X
号
??H?YX??H?Y??0.8比特
12
12
2.19 假定p1为最大的概率。根据熵函数的性质，如果p1?
只有一种可能：?,,,,?。如果
?28888??1
1
1
1
1?
，则熵小于2；
如果p1?
，则
14
?p1?
12
，则有无数个解，其中之一为
篇三：信息论与编码理论——第二章习题解答I(王育民)
相关热词搜索： 信息论 习题 编码 答案 理论