lee-romantic 's Blog
Everything is OK!
Toggle navigation
lee-romantic 's Blog
主页
About Me
归档
标签
熵与信息增益的理解
2019-03-03 16:17:55
296
0
0
lee-romantic
在很多机器学习算法中，经常要用到熵的概念。这里先谈下信息量的概念。更详细可参考csdn链接： https://blog.csdn.net/xg123321123/article/details/52864830 ##**`信息量`** 信息量是用来衡量一个事件的不确定性的，也就是说，一个事件发生的概率越大，不确定性越小，则它携带的信息量也就越小。 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为：  当p(x0)=1时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。 举例可以参考上面的链接地址 ##**` 熵的概念`** 熵是用来衡量一个系统的混乱程度的，`代表一个系统中信息量的总和,但不是信息量的简单相加，而是取平均值，或者说期望`；信息量总和越大，表明这个系统不确定性就越大。 熵是信息量的期望值，它是一个随机变量的确定性的度量。 熵越大，变量的取值越不确定；反之，熵越小，变量取值就越确定。  其他的比如条件熵，相对熵，交叉熵等，可以参考上面的链接地址： https://blog.csdn.net/xg123321123/article/details/52864830 这篇主要讲交叉熵： https://blog.csdn.net/rtygbwwwerr/article/details/50778098
上一篇:
关于embedding的一些笔记
下一篇:
DOS命令学习(从入门到精通)
0
赞
296 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
没有帐号? 立即注册