回归法
回归是一种用于建模和分析变量之间关系的技术，通常是它们如何结合并且与一起产生特定结果相关。
一.线性回归
线性回归指的是完全由线性变量组成的回归模型。
单变量线性回归，用于使用线性模型对单个输入自变量和输出因变量之间的关系进行建模。
多变量线性回归，其中为多个独立输入变量（特征变量）和输出因变量之间的关系创建模型。 模型保持线性，输出是输入变量的线性组合。
优点
1.建模快速简便，当要建模的关系不是非常复杂且没有大量数据时尤其有用。
2.非常直观地理解和解释。
3.线性回归对异常值非常敏感。
二.多项式回归
其适合处理非线性可分数据的模型，可以让一些变量具有指数，其他变量没有指数，并且还为每个变量选择我们想要的精确指数。
优点
1.能够建模非线性可分离数据; 线性回归不能做到这一点。
2.它通常更灵活，可以建立一些相当复杂的关系。
3.完全控制特征变量的建模（指定要设置）。
不足
1.需要仔细设计， 需要一些数据知识才能选择最佳指数。
2.如果指数选择不当，容易过度拟合。
回溯法又称试探法。回溯法的基本做法是深度优先搜索，是一种组织得井井有条的、能避免不必要重复搜索的穷举式搜索算法。
回溯算法的基本思想是：从一条路往前走，能进则进，不能进则退回来，换一条路再试。
当我们遇到某一类问题时，它的问题可以分解，但是又不能得出明确的动态规划或是递归解法，此时可以考虑用回溯法解决此类问题。回溯法的优点在于其程序结构明确，可读性强，易于理解，而且通过对问题的分析可以大大提高运行效率。但是，对于可以得出明显的递推公式迭代求解的问题，还是不要用回溯法，因为它花费的时间比较长。
对于用回溯法求解的问题，首先要将问题进行适当的转化，得出状态空间树。这棵树的每条完整路径都代表了一种解的可能。通过深度优先搜索这棵树，枚举每种可能的解的情况；从而得出结果。但是，回溯法中通过构造约束函数，可以大大提升程序效率，因为在深度优先搜索的过程中，不断的将每个解（并不一定是完整的，事实上这也就是构造约束函数的意义所在）与约束函数进行对照从而删除一些不可能的解，这样就不必继续把解的剩余部分列出从而节省部分时间。
回溯法中，首先需要明确下面三个概念：
（一）约束函数：约束函数是根据题意定出的。通过描述合法解的一般特征用于去除不合法的解，从而避免继续搜索出这个不合法解的剩余部分。因此，约束函数是对于任何状态空间树上的节点都有效、等价的。
（二）状态空间树：刚刚已经提到，状态空间树是一个对所有解的图形描述。树上的每个子节点的解都只有一个部分与父节点不同。
（三）扩展节点、活结点、死结点：所谓扩展节点，就是当前正在求出它的子节点的节点，在深度优先搜索中，只允许有一个扩展节点。活结点就是通过与约束函数的对照，节点本身和其父节点均满足约束函数要求的节点；死结点反之。由此很容易知道死结点是不必求出其子节点的（没有意义）。
利用回溯法解题的具体步骤
首先，要通过读题完成下面三个步骤：
(1)描述解的形式，定义一个解空间，它包含问题的所有解。
(2)构造状态空间树。
(3)构造约束函数（用于杀死节点）。
然后就要通过深度优先搜索思想完成回溯，完整过程如下：
(1)设置初始化的方案（给变量赋初值，读入已知数据等）。
(2)变换方式去试探，若全部试完则转(7)。
(3)判断此法是否成功（通过约束函数），不成功则转(2)。
(4)试探成功则前进一步再试探。
(5)正确方案还未找到则转(2)。
(6)已找到一种方案则记录并打印。
(7)退回一步（回溯），若未退到头则转(2)。
(8)已退到头则结束或打印无解
