spark房价预测房价预测数据

转载

架构思维大师 2023-12-14 11:31:42

文章标签 spark房价预测 tensorflow python 深度学习均方误差 文章分类 Spark 大数据

【tensorflow扩展库学习】波士顿房价预测

项目介绍
下载sklearn库

pip下载
conda下载

常规方法实现

输出

使用contrib.learn优化实现

输出

我们首先使用基本的方法完整将“波士顿房价预测”项目完成，然后展示如何使用tensorflow的扩展库：contrib.learn，让这个过程变得更加容易。

我们可以直接使用python的sklearn库，该库内置了波士顿房屋的数据集。波士顿房屋数据集较小，共有506个样本，包含了有关马萨诸塞州波士顿地区的住房信息。

这个数据集中有13个预测变量：

CRIM : 城市人均犯罪率
ZN : 占地面积25000平方尺以上住宅的用地比例
INDUS : 每个镇的非零售业务比例
CHAS : 查尔斯河虚拟变量（若道路边界与河相交，则为1；否则为0）
NOX : 一氧化氮浓度（没1000万份）
RM : 每个房间平均房间数量
AGE : 1940年以前建成的自用住房比例
DIS : 到5个波士顿就业中心的（加权）距离
RAD : 径向高速公路的可达性指数
TAX : 全价物业税率（每1万美元）
PTRATIO : 城镇学生与教师的比例
B : 1000 (Bk-0.63) ^2，其中Bk是城镇黑人的比例
LSTAT : 收入较低的人口百分比

要注意在pip和conda中，sklearn库的下载库名是不同的

pip install https://pypi.tuna.tsinghua.edu.cn/simple sklearn

conda install scikit-learn

import tensorflow as tf
from sklearn import datasets, metrics, preprocessing

# 导入数据
boston = datasets.load_boston()
x_data = preprocessing.StandardScaler().fit_transform(boston["data"])
y_data = boston["target"]

# 设置原始数据与预测值占位符
x = tf.placeholder(tf.float64, shape=(None, 13))
y_true = tf.placeholder(tf.float64, shape=None)

# 设置需要训练的变量，采用线性回归模型
with tf.name_scope('inference') as scope:
    w = tf.Variable(tf.zeros([1, 13], dtype=tf.float64, name='weights'))
    b = tf.Variable(0, dtype=tf.float64, name='bias')
    y_pred = tf.matmul(w, tf.transpose(x)) + b

# 计算均方误差
with tf.name_scope('loss') as scope:
    loss = tf.reduce_mean(tf.square(y_true-y_pred))

# 设置训练速率
with tf.name_scope('train') as scope:
    learning_rate = 0.1
    optimizer = tf.train.GradientDescentOptimizer(learning_rate)
    train = optimizer.minimize(loss)

# 初始化变量
init = tf.global_variables_initializer()
# 开始训练网络
with tf.Session() as sess:
    sess.run(init)
    for step in range(200):
        sess.run(train, {x: x_data, y_true: y_data})

        if step % 20 == 0:
            MSE = sess.run(loss, {x: x_data, y_true: y_data})
            print(" %d step : %.5f" % (step, MSE))

    MSE = sess.run(loss, {x: x_data, y_true: y_data})

print(MSE)

0 step : 367.47767
 	20 step : 22.86910
 	40 step : 22.26723
 	60 step : 22.07584
 	80 step : 21.99323
 	100 step : 21.95137
 	120 step : 21.92813
 	140 step : 21.91465
 	160 step : 21.90668
 	180 step : 21.90193
	21.899194504808012

import tensorflow as tf
from tensorflow.contrib import learn
from sklearn import datasets, metrics, preprocessing

# 导入数据
boston = datasets.load_boston()
x_data = preprocessing.StandardScaler().fit_transform(boston["data"])
y_data = boston["target"]

# 设置训练步数
NUM_STEPS = 200
# 设置训练大小
MINIBATCH_SIZE = 506

# 为输入' x '定义的输入创建' feature_columns '对象
feature_columns = learn.infer_real_valued_columns_from_input(x_data)

# 使用learn.LinearRegressor()实例化线性回归模型，并提供关于数据表征和优化器类型的数据：
reg = learn.LinearRegressor(
    feature_columns=feature_columns,
    optimizer=tf.train.GradientDescentOptimizer(
        learning_rate=0.1))

# 使用fit()对回归器regressor对象进行训练。我们向它传递协变量和目标变量，并设置步数和批量大小：
reg.fit(x_data, y_data, steps=NUM_STEPS, batch_size=MINIBATCH_SIZE)

# MSE损失由evaluate()返回:
MSE = reg.evaluate(x_data, y_data, steps=1)
print(MSE)