设二元对称信道的传递矩阵为

（1）若P（0）=3/4，P（1）=1/4，求H（X），H（X|Y），H（Y|X）和I（X；Y）；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：

试问：
（1）接收到第一个数字0与M1之间的互信息；
（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；
（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；
（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7。
（1）假设图上黑白消息出现前后没有关联，求熵H（X）；
（2）假设消息前后有关联，其依赖关系为P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一阶马尔克夫信源的熵H2。
（3）分别求上述两种信源的冗余度，并比较H（X）和H2的大小，并说明其物理意义。

证明离散信源有，并说明等式成立的条件。