python 算法实现joblib调用 python joblib.dump

转载

mob64ca14089531 2023-11-03 07:12:33

文章标签 python 算法实现joblib调用机器学习 sklearn 字符串持久化 文章分类 Python 后端开发

一.工具

sklearn官方给出了两种保存模型的方式:3.4. Model persistence
其中一种是pickle的方式,还有一种就是joblib包的使用.这里仅仅介绍更加简单的方便的joblib方法.

载入joblib很简单,一句话就行了.

from sklearn.externals import joblib

接下来就给出常用的joblib几个常用的函数的详细介绍.更多的细节可以参考:Joblib: running Python functions as pipeline jobs

Ⅰ.存储模型(joblib.dump)

joblib.dump(value, filename, compress=0, protocol=None, cache_size=None)

作用:
持久化任意的python对象为一个文件.并且返回一个字符串列表,表示这些数据分别存放的位置.
参数:
value: 待存储的Python对象
filename: 字符串或者pathlib,表示待存储的完整路径(当然包括文件名),要是使用压缩的话,下面这些扩展名的压缩 (‘.z’, ‘.gz’, ‘.bz2’, ‘.xz’ or ‘.lzma’) 会自动调用压缩方法.
compress: 整形0到9或者布尔型或者一个二元元组,可选.表示压缩级别.
0或者False表示不压缩,越高的值表示越高的压缩力度,同时意味着更加慢的读取和写入.通常3是一个比较好的压缩值.
要是你是用的是bool值得True,也就认为你使用压缩,并且默认压缩级别是3.
要是你使用的是一个二元元组,那么第一个元素必须是与相应压缩方式表示的字符串, (e.g ‘zlib’, ‘gzip’, ‘bz2’, ‘lzma’ ‘xz’), 第二个就是一个0到9的整形,表示压缩级别.
protocol: 正整数,表示pickle协议.可以看pickle.dump的文档了解更多细节.
cache_size: 正整形,可选,已经被弃用.以后可以不理会这个参数.

Ⅱ.读取模型(joblib.load)

joblib.load(filename, mmap_mode=None)

作用:
重建通过joblib.dump方法持久化的对象.(可以理解为把硬盘上的对象,还原到内存里面来了.) 并且放回这个对象.
参数:
filename: str or pathlib.表示存放对象文件的完整路径.
mmap_mode: {None, ‘r+’, ‘r’, ‘w+’, ‘c’}, 可选.
If not None, the arrays are memory-mapped from the disk. This mode has no effect for compressed files. Note that in this case the reconstructed object might not longer match exactly the originally pickled object.

二.综合例子

这里用一个利用ridge回归预测波士顿房价的例子来做模型存和取的例子.首先先上代码吧:

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.externals import joblib
from sklearn.datasets import load_boston

#load data
boston=load_boston()
#print(boston.data.shape)
#print(boston.target.shape)

#split testSet and trainSet
trainSet=boston.data[:400]
trainLabels=boston.target[:400]
#print(trainSet.shape)
#print(trainLabels.shape)

testSet=boston.data[400:]
testLabels=boston.target[400:]


#use model
ridge=Ridge()
#train
ridge.fit(X=trainSet,y=trainLabels)
#ridge.fit(X=boston.data[,y=boston.target)

#predict
result=ridge.predict(X=testSet)
print("result:\n",result)
print("\n\n\n")
print("testLabels:\n",testLabels)

#save model to disk
joblib.dump(value=ridge,filename="ridgeModel.gz",compress=True)
print("model has saved!!")

#load model from disk
model=joblib.load(filename="ridgeModel.gz")
print(type(model))
result2=model.predict(testSet)
print(result2)

结果:

python 算法实现joblib调用 python joblib.dump_持久化