文章目录

  • 一、向量的线性相关,线性无关以及和可逆矩阵的关系
  • 1.1 线性相关与线性无关
  • 1.2 线性相关与可逆的关系
  • 二、向量的内积,范数,正交,规范正交基
  • 2.1 内积
  • 2.2 范数与正交
  • 2.3 规范正交基
  • 三、施密特正交化
  • 3.1 定义
  • 3.2 例
  • 3.3 正交矩阵
  • 四、特征值和特征向量的定义以及直观的意义
  • 4.1 定义
  • 4.2 例(二阶)
  • 五、特征值与特征向量的求法以及常用性质
  • 5.1 例1(三阶)
  • 5.2 例2(三阶)
  • 5.3 一些性质和推广
  • 5.4 例
  • 5.5 定理

一、向量的线性相关,线性无关以及和可逆矩阵的关系

1.1 线性相关与线性无关

xgboost 设置特征权重_特征值

k是不全为零的

1.2 线性相关与可逆的关系

xgboost 设置特征权重_xgboost 设置特征权重_02

二、向量的内积,范数,正交,规范正交基

2.1 内积

xgboost 设置特征权重_xgboost 设置特征权重_03

2.2 范数与正交

线性无关不一定正交,但是正交一定线性无关

xgboost 设置特征权重_特征值_04

2.3 规范正交基

xgboost 设置特征权重_特征值_05

三、施密特正交化

3.1 定义

xgboost 设置特征权重_特征值_06

3.2 例

先利用公式进行正交化,再归一化

xgboost 设置特征权重_逆矩阵_07

3.3 正交矩阵

aTiai = 1
aTiaj = 0(i != j)

xgboost 设置特征权重_xgboost 设置特征权重_08

四、特征值和特征向量的定义以及直观的意义

所有特征值加起来等于矩阵的迹
所有特征值乘起来等于矩阵的行列式

4.1 定义

xgboost 设置特征权重_特征值_09

4.2 例(二阶)

xgboost 设置特征权重_xgboost 设置特征权重_10

五、特征值与特征向量的求法以及常用性质

5.1 例1(三阶)

xgboost 设置特征权重_特征向量_11

5.2 例2(三阶)

xgboost 设置特征权重_特征值_12


例1和例2的区别

例1是有二阶重根,只有一个线性无关的解

例2也是有二阶重根,但是有两个线性无关的解

例1有亏损,例2无亏损

这和后面矩阵是否可对角化密切相关的

博主对于这里的有无亏损,还是不是很懂,补补线代

xgboost 设置特征权重_特征值_13

还有这句话:重根应该就是向量在不同维度上的缩放率相同。
所以重根只是放缩率一样,可以有一个或多个x解
谢谢群里的小伙伴和那个微信好友啦~~

xgboost 设置特征权重_逆矩阵_14

5.3 一些性质和推广

xgboost 设置特征权重_特征值_15

5.4 例

xgboost 设置特征权重_特征向量_16

5.5 定理

xgboost 设置特征权重_逆矩阵_17