信息科学基础2011B卷及答案

《信息科学基础》试卷（B）

学院 理学院 班级 姓名 学号

题号 得分 得分 一、简答题（共8题，每题5分）

1. 设某二元码书C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？

②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？

2． 简述平均互信息量I（X;Y）与信源概率分布p(x)以及信道传递概率p(y|x)的关系。

3. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。

4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。

B卷（共10页）第1页

一 二 总分 015. 一个马尔科夫链的状态转移矩阵为p=2120131211，该马尔可夫链是否具有遍60历性？为什么？

6.当信源是无记忆时，无记忆的N次扩展信道的平均互信息与原信道平均互信息的关系如何？

7.求以下三个信道的信道容量：

，

，

B卷（共10页）第2页

8. 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 得分 二、综合题（共6题，每题10分）

1. 设有一离散信道，其信道矩阵为（1）最佳概率分布？ （2）当

，

时，求平均互信息

，求：

信道疑义度

（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率求此

B卷（共10页）第3页

最小，并

2、二元平稳马氏链，已知P（0/0）=0.8，P（1/1）=0.7，求：每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。

3. 设有一个二进制二阶马尔可夫信源，其信源符号集为{0,1}，条件概率为p(0|00)=p(1|11)=0.8, p(1|00)=p(0|11)=0.2, p(0|01)=p(0|10)=

p(1|01)=p(1|10)=0.5.这个信源的符号数是q=2, 共有四种可能状态：S1=00；S2=01；S3=10；S4=11. （1）给出信源的状态转移矩阵. （2）求出平稳分布.

（3）该平稳分布所对应的信源熵.

B卷（共10页）第4页

4.设线性分组码的生成矩阵为，求：

（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。

（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。

（4）若接收码字为000110，用伴随式法求译码结果。

5.设输入符号集为X={0,1},输出符号集为Y={0,1}。定义失真函数为d(0,0)=d(1,1)=0, d(0,1)=d(1,0)=1, 试求失真矩阵D.

B卷（共10页）第5页

6. 设消息集合共有7个元素，它们分别被编码为{a,c, ad, abb,bad,deb, bbcde}, 试利用惟一可译码判别准则判定它是否为惟一可译码。

B卷（共10页）第6页

河北科技大学2011——2012 学年第一学期

《信息科学基础》答案（B）

一、

简答题（共8题，每题5分）

1．答：1）2）令接收序列为

，则有

，

，

，

，故接收序列应译为010110。

2. 平均互信息量I（X;Y）是信源概率分布p(x)的上凸函数，是信道传递概率p(y|x)的下凸函数。

3.答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息为

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

5.答：是遍历的，p*p*p矩阵的所有元素全是正数，说明这个马尔可夫链存在平稳分布，是遍历的。

1.

6.答：无记忆的N次扩展信道的平均互信息是原信道平均互信息的N倍。 7.答：P1为一一对应确定信道，因此有P2为具有归并性能的信道，因此有

B卷（共10页）第7页

。 。

P3为具有发散性能的信道，因此有。

8. 答：等长信源编码定理：对于任意则当L足够长时必可使译码差错

。

，只要，

变长信源编码定理：只要，一定存在一种无失真编码。

等长码和变长码的最小平均码长均为

二、综合题（共6题，每题10分）

，编码效率最高可达100%。

1.答：1）是准对称信道，因此其最佳输入概率分布为。

2）当则

，

时，有

3）此时可用最大似然译码准则，译码规则为

且有

2.答：由

限概率：p(0)=0.6, p(1)=0.4 新信源共8个序列，各序列的概率为

P（0/0）=0.8，P（1/1）=0.7, 得极

B卷（共10页）第8页

信源模型为

0.3840.0960.0360.0840.0960.0240.0840.196一种编码结果（依信源模型中的序列次序）为0，001，10101, 1101， 1011，00101， 0011, 111.

0.803.答：（1）该信源的状态转移矩阵为0.500.200.5000.500.200.5 00.8（2）W=[W1,W2,W3,W4], 其中 W1=p(S1), W2=p(S2), W3=p(S3), W4=p(S4), 由平稳分布的矩阵方程 WP=W, 以及p(S1)+p(S2)+p(S3)+p(S4)=1， 可以得到平稳分布为： p(S1)=p(S4)=5/14, p(S2) =p(S3)=1/7.

(3)该平稳分布的信源熵 H=p(S1)*H(0.8,0.2)+ p(S2)*H(0.5,0.5)+ p(S3)*H(0.5,0.5)+ p(S4)*H(0.8,0.2)=0.8 bit/符号。

4.答：1）n=6，k=3，由C=mG可得所有码字为：

000000，001011，010110，011101，100101，101110，110011，111000

2）此码是系统码，由G知，，则

，能纠一

3）由H可知，其任意2列线性无关，而有3列线性相关，故有位错。

错误图样E 伴随式

100000 010000 001000 000100 000010 000001

101 110 011 100 010 001

4）由知E＝010000，则

B卷（共10页）第9页

5.答：D1010

6.答：S0 S1 S2 S3 S4 S5 S6 S7 a d eb d eb c bb cde de b ad

abb bad ad deb

bbcde bcde

S1到S7中都不包含S0中的元素，因此，S0是惟一可译码。

B卷（共10页）第10页