资源描述：
《信息论与编码第2章习题》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、习题1同时掷两个正常的骰子，即各面呈现的概率都是1/6。求：“3和5同时出现”这一事件的自信息量。“两个1同时出现”这一事件的自信息量。两个点数的各种组合（无序对）的熵。两个点数之和（即2,3，…，12构成的子集）的熵。两个点数中至少有一个是1的自信息。两个点数是3的信息量。两个点数是7的信息量。9/26/20211习题11234561234561,11,21,31,41,51,62,12,22,32,42,52,63,13,23,33,43,53,64,14,24,34,44,54,65,15,25,35,45,55,66,16,26,
2、36,46,56,62345673456784567895678910678910117891011129/26/20212习题2黑白传真机的消息元只有黑色和白色两种，即X＝{黑，白}。一般气象图上，黑色出现的概率为p(黑)＝0.3，白色出现的概率为p(白)＝0.7。求：假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图。实际上各元素之间有关联，其转移概率为：p(白/白)＝0.9143p(黑/黑)＝0.8求：这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。9/26/20213习题3有6行、8列的棋型方格，若有两个质点
3、A和B分别以等概率落入任一方格内，但A、B不能落入同一方格内。求：若仅有质点A，求A落入任一个格的平均信息量若已知A已落入，求B落入的平均信息量若A、B是可分辨的，求A、B都落入的平均信息量9/26/20214习题4从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？9/26/20215习题5在一个袋中放有5个黑球，10个白球，以摸一个球为
4、一个实验，摸出的球不再放进去。求：一次实验包含的不确定度。第一次实验X摸出的是黑球，第二次实验Y给出的不确定度。第一次实验X找出的是白球，第二次实验Y给出的不确定度。第二次实验Y包含的不确定度。9/26/20216习题6有一个可旋转的圆盘，盘面上被均匀地分成38份，用1,2，…，38数字标示，其中有2份涂绿色，18份涂黑色，18份涂红色。圆盘停转后，盘面上指针指向某一数字和颜色。求：若仅对颜色感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。如果颜色已知时，计算条件熵。9/26/20217习题7有两个二元随机变量X和Y，
5、它们的联合概率如右表所示，并定义另一随机变量Z＝XY（一般乘积）。试计算：H(X)，H(Y)，H(Z)，H(XZ)，H(YZ)和H(XYZ)H(X/Y)，H(Y/X)，H(X/Z)，H(Z/X)，H(Y/Z)，H(Z/Y)，H(X/YZ)，H(Y/XZ)和H(Z/XY)I(X;Y)，I(X;Z)，I(Y;Z)，I(X;Y/Z)，I(Y;Z/X)和I(X;Z/Y)9/26/20218习题7YX0101/83/813/81/8Z01p7/81/8ZX0101/23/8101/8ZY0101/23/8101/89/26/20219习题8、9某无
6、记忆信源的符号集为{0,1}，已知p0=1/4，p1=3/4。求：求符号的平均熵。由100个符号构成的序列，求某特定序列（m个“0”和100-m个“1”）的自信息量的表达式。计算②中序列的熵。设有一个二进制一阶马尔可夫信源，其信源符号为X∈(0,1)，条件概率为p(0/0)=0.25p(0/1)=p(1/1)=0.5p(1/0)=0.75画出状态图并求出各符号稳态概率。9/26/202110习题10设有一信源，它在开始时以p(a)=0.6，p(b)=0.3，p(c)=0.1的概率发出X1。如果X1为a时则X2为a、b、c的概率为1/3；如
7、果X1为b时则X2为a、b、c的概率为1/3；如果X1为c时则X2为a、b的概率为1/2，而为c的概率是0。而且后面发出Xi的概率只与Xi－1有关。又p(Xi/Xi-1)=p(X2/X1),i≥3。试利用马尔可夫信源的图示法画出状态转移图，并求出转移概率矩阵和信源熵H∞。9/26/202111习题11一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。画出一阶马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵H1。画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。9/26
8、/202112习题12有点难度，重点看看有一个一阶马尔可夫链X1,X2,…,Xr,…,各Xr取值于集A={a1,a2,a3}。已知起始概率p(ai)为：p1=1/2,p2=p3=1/4，转移概
