YJango的头像

为什么信息还有单位?如何计算信息量?

信息的计算
4
信息的计算
1 为何有差异
1 为何有差异
2 测量的思路
2 测量的思路
3 等概率情况的信息量
3 等概率情况的信息量
4 非等概率情况的信息量
4 非等概率情况的信息量
为何有差异
为何有差异
质量的测量
质量的测量
信息测量
信息测量
信息的单位
信息的单位
质量的计算
质量的计算
信息的计算
信息的计算
选择题答案
选择题答案
计算的条件
计算的条件
非等概率怎么算
非等概率怎么算
分别算再相加
分别算再相加
怎么算单情况
怎么算单情况
替换公式
替换公式
分别算再相加
分别算再相加
单集封面
单集封面

为什么信息还有单位?如何计算信息量?

01-10
248 次观看
YJango的头像
YJango
粉丝:7201
主题:5
描述:7
例子:1
类比:2
其他:3
字数:1266

为什么信息还有单位?如何计算信息量?

01-10
248 次观看
YJango的头像
YJango
粉丝:7201
YJango的头像
YJango
粉丝:7201
主题:5
描述:7
例子:1
类比:2
其他:3
字数:1266

信息的计算

1 为何有差异

提问 为何有差异

上个视频学习了如何定性的判断什么是信息,什么是熵。

其中有一个例子,当小明不知道选择题是abcd哪个选项时,小红告诉小明D选项是错的,提供了0.415比特的信息,再告诉小明A选项是错的,提供了0.585比特的信息,再告诉小明B选项是错的,提供了伊比特的信息。

可明明每次都是告诉他一个错误选项,为什么三次提供给小明的信息量却都不相同?信息到底是怎么计算的?为什么信息还有单位?

2 测量的思路

质量的测量 信息测量

回想一下什么东西有单位质量、温度等物理量。没错,信息也是一个物理量。

要测量这个物理量,不妨回想一下我们是怎么测量质量的,千克最初又是怎么被定义出来的?其实最初我们并不知道千克的质量,而是选定一个参照物,把这个物体的质量就称为千克。当想要测量其他物体的质量时,就看这个物体的质量相当于多少个参照物体的质量,这里的多少个便是千克。如果换另一个参照物体,那么单位就会变化。比如,斤。

信息测量

测量信息也是一样,既然信息消除的是不确定性,那么就选择另一个事件的不确定性作为参照事件。当想要测量其他事件的信息时,就看待测事件的不确定性相当于多少个参照事件的不确定性,这里的多少个便是信息量。

信息的单位

当选择的参照事件是像抛硬币这样只有两种等概率情况的事件时,测量的信息量的单位就叫做比特。

3 等概率情况的信息量

质量的计算 信息的计算

然而测量质量时,我们是用待测物体的质量除以参照物体的质量。因为待测物体的质量等于参照物体的质量乘以参照物体的个数,所以当知道总质量要求个数时,我们就用乘法的反函数及除法来计算,

信息的计算 信息的计算

可是测量信息时却不能用除法,因为抛掷三个硬币能产生的可能结果并非六种,而是八种,也就是说不是线性关系,而是指数关系。所以当知道可能情况的个数M想求这些情况相当于多少个参照事件所产生的时,就用指数运算的反函数及对数来计算。

选择题答案 对数计算

这样八个不确定情况就相当于三个硬币抛出的结果,四个不确定情况就相当于两个硬币抛出的结果。所以小明对“答案是abcd里哪一项”的不确定性是log 4,两比特。

计算的条件

但这里有个前提,那就是被测事件的所有可能情况都必须是等概率才行,因为参照事件本身的两种情况就是等概率。

4 非等概率情况的信息量

提问 非等概率怎么算

可是当不知道答案的小明被告知有一半可能性是C选项时,各个情况的概率就不一样了。这时该如何计算商呢?

分别算再相加

答案是分别测量待测事件每种可能情况的信息量后,乘以他们各自的发生概率再相加即可。

提问 怎么算单情况

不过怎么测量每种情况的信息量呢?怎么知道概率为16.66的情况的不确定性,相当于抛掷多少个硬币所产生的不确定性呢?

替换公式

我们确实没有办法再用log m这个公式了。但是我们知道1%会发生的情况,相当于从100个等概率情况中确定实际情况,概率的倒数等于等概率情况的个数。用概率的倒数替换个数后,我们就可以计算每种情况的信息量了。

分别算再相加

再用每个情况的信息量乘以对应发生的概率,再相加后就可以算出总信息量了。

讨论
随记
AI 助理