信息熵是什么?什么是熵?

来源:学生作业帮助网 编辑:作业帮 时间:2021/10/23 10:14:08

信息熵是什么?什么是熵?

信息是个很抽象的概念.我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少.比如一本五十万字的中文书到底有多少信息量.
熵表示物质系统状态的一个物理量(记为S),它表示该状态可能出现的程度.在热力学中,是用以说明热学过程不可逆性的一个比较抽象的物理量.孤立体系中实际发生的过程必然要使它的熵增加.

在信息论中,熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前,信号传输过程中损失的信息量,又被称为信息熵。信息熵也称信源熵、平均自信息量。
在1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到信息论,因此它又被称为香农熵。...

全部展开

在信息论中,熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前,信号传输过程中损失的信息量,又被称为信息熵。信息熵也称信源熵、平均自信息量。
在1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到信息论,因此它又被称为香农熵。

收起