线性判别的基本思路？
判别函数是直接用来进行模式分类的准则函数，利用判别函数将特征空间划分为若干个决策区域，然后根据待识别样本位于的决策区域来进行判类。在特征空间中，判别函数还具有特殊的几何意义和性质，线性判别的基本思路是找到一条直线（界面）作为决策区域的划分标准来对待识别样本进行判类。
线性判别函数的统一表达式？
线性判别函数的统一表达式
gx=WTX+W0
其中X为d维的特征向量，W为权向量，W_0为阈值。
设计线性分类器的主要步骤？
- 获取类别已知的训练样本集
- 选择准则函数，确定优化数值；准则函数要求满足：能反映分类器的性能，其极值解对应最好的决策
- 根据训练样本集利用最优化技术求得准则函数的极值解，从而获得权向量和阈值
FISHER线性判别的主要思想？
将高维问题通过投影的方式降低为一维问题，同时构建的线性分类器能让将变换后的一维数据满足每一类内部的样本尽可能聚集在一起，不同类别的样本相隔尽可能远，也就是实现最大的类间距离，以及最小的类内距离。
感知准则函数的问题是如何描述的？
在样本线性可分的前提下，感知准则函数是对感知器的分类结果进行评价，只考虑分错的样本，定义感知准则函数
其中X0 是分类错的样本；分类错的越少J(W)就越小。理想情况为
，即将感知器的优化问题变成了求最小值的问题。
最小错分样本解决了什么问题？
解决了感知准则函数只能解决样本线性可分问题的问题
最小错分样本可以解决样本线性可分和线性不可分问题
最小错分样本两种方法的基本思路？
解线性不等式组的共轭梯度法
共轭梯度法是属于最小类的迭代算法。为了求解 WTx-b=0 这样的一次函数，可以先构造一个二次泛函 ∅x=12xTWTx-bTx ，他们的解等价，∅'x=WTx-b 。
解线性不等式组的搜索法
求函数的最小数值解，搜索法思想是，给定一个初始值x0，计算梯度向量（方向），其次，确定一个合适的步长，使得函数值不断减小，不断自适应调整步长，在最小值左右迭代徘徊，最终得到满足的数值解。
- 应用最小平方误差准则函数的步骤
最小平方误差准则函数，适用情况：即对线性可分问题可以找到全部样本正确分类的解权向量，又对线性不可分问题能找到一个使误差平方差和极小的解向量。
步骤：①构建联立方程组YA=B （Y是系数矩阵，A是权向量，B是常向量）；
②定义误差向量及平方误差准则函数
E=YA-B
JA=|e|2=i=1n(ATYi-bi)2
③将JA 极小化，此时A就是问题的解。
