二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈( 三 )


本文插图

信息论虽然难 , 但其实就是两件事 , 什么是信息?怎么传输信息?
之前大家都认为信息的核心是内容 。 香农却说 , 你们都错了 。
数学的思维让他把信息抽象成结果:信息 , 就是不确定性的减少 。
“ 过去可知却不可控 , 未来可控却不可知 ”▼

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

举个例子 , “ 小编很帅 ”这句话 , 是不是信息呢?
这得看这句话有没有让你对一件事的不确定减少了 。
如果是认识小编的朋友 , 这句话就在讲一件大家早就知道的事 , 没有削减任何不确定性 。
但如果是不知道这件事的朋友 , 听到这句话 , 就会恍然大悟 , 奇怪的知识增加了!这时候这句话就是信息了 。
再举个例子 , 一副扑克 52 张 , 取一张做底牌 , 最多猜 51 次就能猜到正确答案了 。
每猜错一次 , 没被猜过的牌就变少了 , 这就是香农说的不确定性在减少 。
当然假如猜对了 , 不确定就直接归零了 。。。
在这个过程中 , 每次猜牌的对和错 , 都是信息 。

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

对和错 , 是与非 , 都是二选一 。
说白了就是香农十年前就解决的 0 和 1 问题 。
每个 0 和 1 就代表了一个确定的信息 , 称为 1 bit。 把一个问题分成无数个是非题 , 那文字、图片、声音 , 都能用开关状态表达 。

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

当然要用数学去考量信息 , 那总得把信息量化吧 。
于是香农定义了一个「 信息熵 」 , 信息熵越大 , 信息的不确定性就越高 。
通过度量不确定程度 , 从侧面把信息量化了 。
信息熵公式▼

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

比如祖师爷自己就算了下 , 每个英语单词的信息熵只有 2.62 , 远低于汉字的 9.6 。 比如同一个汉字 , 都能给出好几种解释 。
这也就是为什么英语交流的不确定性就比中文要小 。

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

我们总是喜欢把重要的事情重复三遍 , 因为总担心别人会误解自己的意思 。 那时候大家也觉得信息根本没办法做到无损传输 。
香农用这个公式证明了 , 在一定条件下 , 不仅信息能无损传输 , 还能在不损失信息量的前提下变着法子压缩着传输 。。。 连压缩的效率都直接给定好 。
于是香农成了程序员的祖师爷 。。。

二三里资讯榆林都靠这位天才科学家20岁时的论文,你才能用手机拍照发朋友圈
本文插图

这篇文章不仅影响了计算机 , 香农还用它教人们怎么玩通讯技术 。
今天我们用的宽带、 手机信号 , 都是根据他的理论研究的 。。。
举个例子 , 大家都知道 5G 的下载速度很快 , 可他在 70 多年前就已经把 5G 的下载速度给定好了 。
C 是信道容量 , 即无损传输的最大速率▼
别说 5G , 不管以后发展什么通讯技术 , 都可以通过这个公式去计算速度 。
这篇文章甚至影响了文科领域 , 传播学还把从这篇文章衍生出的「 香农 - 韦弗定律 」奉为研究传播路径的经典 。
一条新闻从发出到出现在你屏幕上的过程 , 都被安排的明明白白的 。
这篇文章在第二年直接改了名:《 The mathematical theory of communication 》(信息论) , 一字之差 , 就是学者和宗师的区别 。


推荐阅读