信息熵小结（1）

信息：用来消除随机不确定性的东西。

信息量的特点:

1.非负性

2.可加性

3.（依赖概率）连续性

而满足上述的函数，-log(x)

现代定义 
信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】 
信息是确定性的增加。【逆香农信息定义】 
信息是事物现象及其属性标识的集合。【2002年】

注：在自然语言处理中，信息熵只反映内容的随机性和编码情况，与内容本身无关，

例子

（1）落霞与孤鹜齐飞，秋水共长天一色。

（2)落日下的晚霞与孤独的大雁一同飞翔，晚秋的江水和深远的天空连成一片。

而按照信息熵的计算，第二句话的信息熵比第一句的信息熵要高出一倍，与我们平常的理解不同。

注：对于同样的一个随机变量，观测者从不同的粒度上所得的信息熵不同

以上是大致的理解

下面是数学公式

信息熵：                

条件熵：

信息增益: Gain(y,x) =      注：eminent decision tree learn algorithm ID3 select feature by using this way

但是信息增益准则对可取值数目比较多的属性有所偏好，所以为了解决这个不利影响，人们自然而然的提出增益率

信息增益率：Gain_ratio(y,x) = Gain(Y,x)/H(Y/X)  注：noted decision tree learn algorithm C4.5 choose trait by using the method

然则增益率准则对可取数目较少的属性有所偏好，因此C4.5算法使用了一个启发式：先从候选属性中选取信息增益高于平均水平的属性，再从中选择增益率最高的。

基尼指数：（CART  decision tree algorithm ）

1.基尼值 Gini（D） = 1 -     : 代表从数据集D中随机抽取两个样本，类别标记不一致的概率

2.基尼指数 Gini_index(D,a) =   

参考文献：机器学习 周志华