python哑变量的多元线性回归多元线性回归哑变量

转载

编程小达人 2023-08-03 11:15:55

文章标签 python哑变量的多元线性回归数据 ci github 文章分类 Python 后端开发

pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。

获得了一些pickle文件，需要找出最快的回归的方法。

结果也正如文中所写，发现对于多元线性回归，最快的方法就是

result = np.linalg.lstsq(A, y)

原理应当跟求广义逆矩阵（MoorePenrose_inverse）是一样的，详情见官方文档：https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html

这个result返回的是个四元变量。所以也可以写成

x, residuals, rank, s = np.linalg.lstsq(A, y)

x就是系数矩阵，residuals就要注意了，它是残差之和！！所以只有一行。哎orz。如果要获得每个残差，就简单计算一下，反正numpy算矩阵乘法快得很。

代码是这样的：

1 import pickle
 2 import pandas as pd
 3 import numpy as np
 4 import time
 5 from scipy import linspace, polyval, polyfit, sqrt, stats, randn, optimize
 6 import statsmodels.api as sm
 7 
 8 file1 = open('D:\实习\哑变量回归数据\LF001.pkl','rb') #factor
 9 #数据从20190121开始有效(第2690列)
10 file2 = open('D:\实习\哑变量回归数据\sector.pkl','rb') #需要转置，列名为股票代码，行名为日期
11 temp= pickle.load(file1)
12 sector = pd.DataFrame(pickle.load(file2))
13 sector = sector.iloc[:, 2690:]
14 factor = pd.DataFrame(temp.values.T, index=temp.columns, columns=temp.index)
15 factor = factor.iloc[:, 2690:]
16 sector.insert(sector.shape[1], 'temp', 1) #在右面新加一列为1
17 yx = pd.concat([factor, sector], axis=1, sort=False)  # 列合并
18 d_yx = yx.dropna()  # 删掉有na的行
19 # 从323列再切成两个表
20 # n_yx = d_yx.values
21 factor = d_yx.iloc[:, :322]
22 sector = d_yx.iloc[:, 323:]
23 df_dummies = pd.get_dummies(sector[20190121])
24 sector = df_dummies
25 A = sector.values
26 y = factor.values
27 start = time.time()
28 for i in range(0, 500):
29     result = np.linalg.lstsq(A, y)
30     # x, residuals, rank, s = np.linalg.lstsq(A, y)
31     residuals = y - A.dot(result[0])
32 end = time.time()
33 print(end-start)

前面数据处理比较周折。因为要用dropna丢掉nan值的数据，所以我是比较蠢的先把两个表合成一个表，然后dropna完了再拆成两个表。

pd.get_dummies特别好使，直接就就把行业转成哑变量了。因为每一列日期都是一样的，所以我就选了第一天的（sector[20190121]）

有一个小技巧就是.values可以把dataframe转成一个ndarray对象，然后就可以放进lstsq这个函数里用了！

残差手算一下，用实际值-拟合值：