特征重要度的计算

Friedman在GBM的论文中提出的方法：特征j的全局重要度通过特征j在单颗树中的重要度的平均值来衡量。


实现代码片段

为了更好的理解特征重要度的计算方法，下面给出scikit-learn工具包中的实现，代码移除了一些不相关的部分。

下面的代码来自于GradientBoostingClassifier对象的feature_importances属性的计算方法：


def feature_importances_(self):     total_sum = np.zeros((self.n_features, ), dtype=np.float64)     for tree in self.estimators_:         total_sum += tree.feature_importances_      importances = total_sum / len(self.estimators_)     return importances



其中，self.estimators_是算法构建出的决策树的数组，tree.feature_importances_ 是单棵树的特征重要度向量，其计算方法如下：


cpdef compute_feature_importances(self, normalize=True):     """Computes the importance of each feature (aka variable)."""      while node != end_node:         if node.left_child != _TREE_LEAF:             # ... and node.right_child != _TREE_LEAF:             left = &nodes[node.left_child]             right = &nodes[node.right_child]              importance_data[node.feature] += (                 node.weighted_n_node_samples * node.impurity -                 left.weighted_n_node_samples * left.impurity -                 right.weighted_n_node_samples * right.impurity)         node += 1      importances /= nodes[0].weighted_n_node_samples      return importances



上面的代码经过了简化，保留了核心思想。计算所有的非叶子节点在分裂时加权不纯度的减少，减少得越多说明特征越重要。

不纯度的减少实际上就是该节点此次分裂的收益，因此我们也可以这样理解，节点分裂时收益越大，该节点对应的特征的重要度越高。