免費論壇

繁體 | 簡體

Sclub交友聊天~加入聊天室當版主

(檢舉)

分享

松鼠三窟 » 素材库 » 信息熵、交叉熵、相对熵

返回列表发帖

Rank: 9 Rank: 9 Rank: 9

签到天数: 100 天

[LV.6]虫鸣光布

UID: 2
帖子: 3281
精华: 114
经验: 7213 EXP
金钱: 7289 $
RP: 313 点
续了: 1377 s
最后登录: 2025-3-29

1^# 跳转到 » 倒序看帖

字体大小: tT

发表于 2017-2-10 21:22 | 只看该作者

[科学] 信息熵、交叉熵、相对熵

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

分享到: QQ空间 腾讯微博 腾讯朋友

Rank: 9 Rank: 9 Rank: 9

签到天数: 100 天

[LV.6]虫鸣光布

UID: 2
帖子: 3281
精华: 114
经验: 7213 EXP
金钱: 7289 $
RP: 313 点
续了: 1377 s
最后登录: 2025-3-29

2^#

发表于 2017-2-10 21:23 | 只看该作者

熵和编码长度：http://www.cnblogs.com/frombeijingwithlove/p/5931750.html
如何通俗的解释交叉熵与相对熵? - 数学 - 知乎 https://www.zhihu.com/question/41252833