1.KNN分类和KNN回归的区别。

首先，KNN分类解决的是分类问题，而KNN回归解决的是回归问题；
当响应变量是连续的，根据输入和回归函数，预测输出；
当响应变量是带有一定水平的因子型变量，就可以用来将输入变量进行分类。

其次，从它们的作用可以看出，它们的作用不同，原理当然也不一样。
KNN分类把单个变量作为输入，根据相邻k个元素的最大类别进行分类；而KNN回归输入一个预测点x0，确定k个最接近x0的训练观测，然后用这k个对应的训练观测的响应值的均值作为预测输出。

注:

  • 线性回归与KNN回归的比较
    当真实的关系是线性的，或近似线性的，线性回归比K值较小的KNN回归的均方误差(MSE)要小，KNN略逊与线性回归，但在非线性情况下，KNN大大优于线性回归。
    当预测变量的维数增大，KNN就要面临维数灾难，因为高纬中样本大大减小，所以当每个预测变量仅有少量观测时，参数化方法（线性回归）往往优于非参数方法（KNN回归）。
    从可解释的角度来看，线性回归比较符合要求。
  • 参数方法与非参数方法的比较：
    参数方法是一种基于两阶段的方法，把估计函数关系f(X)的问题简化到估计一组参数。
    缺点是：选定的模型并非与真实的模型在形式上是一致的。
    非参数方法：不需要对函数的形式事先作出明确的假设。这类方法追求的是接近数据点的估计，估计函数在去粗和光滑处理后尽可能与更多地数据点接近。
    缺点是：无法将估计f的问题简化到仅仅对少数参数进行估计的问题，为了获得对f更为精确的估计，往往需要大量的观测点。