01.根据数据集ex0.txt，画出样本点。并根据线性回归画出拟合直线。
注:可以采用sklearn里面的线性回归算法也可以自己写线性回归算法
import numpy as np
import matplotlib.pyplot as plt
dataSet=np.genfromtxt('ex0.txt')
x_data=dataSet[:,:-1]#最后一列是因变量y的真实值y=theta∧Tx(x称为自变量)
y_data=dataSet[:,-1]
def plot():
    plt.scatter(x_data[:,1],y_data)#scatter函数是画点
plot()
plt.show()

线性回归拟合案例_python

def standRegres(xArr,yArr):
    xMat=np.mat(xArr)
    yMat=np.mat(yArr).T#需要的y是一个列向量的形式，原先的y是行向量
    xTx=xMat.T*xMat
    if np.linalg.det(xTx) == 0.0:
        print("这个矩阵是奇异矩阵，矩阵不可逆")
        return
    ws=(xTx).I*(xMat.T*yMat)
    return ws
ws=standRegres(x_data,y_data)
print(ws)

线性回归拟合案例_sklearn_02

#根据回归方程，画出拟合直线
yHat=x_data*ws
plt.plot(x_data[:,1],yHat,c='r')
plot()
plt.show()

线性回归拟合案例_机器学习_03

#sklearn
import numpy as np
import matplotlib.pyplot as plt
dataSet = np.genfromtxt('ex0.txt')
x_data=dataSet[:,:-1]
y_data=dataSet[:,-1]
def plot():
    plt.scatter(x_data[:,1],y_data,c='blue',s=10)
    plt.xlabel('X')
    plt.ylabel('Y')
plot()
plt.show()

线性回归拟合案例_sklearn_04

#案例1

from sklearn.linear_model import LinearRegression
LR=LinearRegression()
XData=x_data[:,1,np.newaxis]
#print('XData:',XData)

#关键点:
#model.fit(x,y) x即特征数据永远是二维
#model.predit(x) x即特征数据永远是二维
#关键点：易错点应因为sklearn里面的线性回归，会对数据自己加偏置项，所以不要把偏置项传进去
LR.fit(XData,y_data)
print(LR.coef_)#打印回归方程的参数
print(LR.intercept_)#打印截距的theta0
print(LR.score(XData,y_data))#对预测结果计算出的决定系数R∧2；拟合优度越大，说明xduiy的解释程度越大

线性回归拟合案例_sklearn_05

ws=np.zeros((2,1))
ws[0]=LR.intercept_
ws[1]=LR.coef_
print(ws)

yHat=np.mat(x_data)*ws#记得转为矩阵；矩阵乘以数组，按照矩阵相乘
plot()
import matplotlib.pyplot as plt
plt.plot(x_data[:,1],yHat,'r')
plt.show()

线性回归拟合案例_sklearn_06

#案例2：波士顿房价
import mglearn
from sklearn.linear_model import LinearRegression#线性回归算法
from sklearn.model_selection import train_test_split#数据集划分
X,y=mglearn.datasets.load_extended_boston()
X_train,X_test,y_train,y_test=train_test_split(X,y)
lr=LinearRegression().fit(X_train,y_train)
print("数据集的分值:",lr.score(X_train,y_train))#训练集的分值
print("数据集的分值:",lr.score(X_test,y_test))#测试集的分值
#过拟合：训练集上表现得好，但是测试集表现得不好

线性回归拟合案例_线性回归_07