进行参数的选择是一个重要的步骤。在机器学习当中需要我们手动输入的参数叫做超参数，其余的参数需要依靠数据来进行训练，不需要我们手动设定。进行超参数选择的过程叫做调参。
进行调参应该有一下准备条件：
- 一个学习器
- 一个参数空间
- 一个从参数空间当中寻找参数的方法
- 一个交叉验证的规则
- 一个性能评估的策略
下面我介绍几种调参的方法：
1：穷举式的网格搜索
sklearn当中的GridSearchCV实现了这种穷举是的网格搜索，其实这种方法是很简单的。下面是使用交叉验证来进行网格搜索的一个例子：
from sklearn import datasets
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.svm import SVC
from sklearn.metrics import classification_report
digits = datasets.load_digits()
n_samples = len(digits.images)
X = digits.images.reshape((n_samples, -1))
y = digits.target
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.5, random_state=0)
#上面的操作是导入数据，并且把数据划分为训练数据和测试数据,这里使用的是手写数字识别数据集
tunned_parameters = [{'kernel':['rbf'],'gamma':[1e-3, 1e-4],'C':[1, 10, 100, 1000]},
{'kernel':['linear'], 'C':[1, 10, 100, 1000]}]
scores = ['precision', 'recall'] #这是我们使用的评分策略,因为是多分类问题，所以最后的评分策略为precision_macro 和 recall_macro 见下面
for score in scores:
print("# Tuning hyper-parameters for %s" % score)
print()
clf = GridSearchCV(SVC(), tunned_parameters, cv=5,
scoring='%s_macro' % score)
clf.fit(X_train, y_train)
print("Best parameters set found on development set:")
print()
print(clf.best_params_)
print()
print("Grid scores on development set:")
print()
means = clf.cv_results_['mean_test_score']
stds = clf.cv_results_['std_test_score']
#这里输出了各种参数在使用交叉验证的时候得分的均值和方差
for mean, std, params in zip(means, stds, clf.cv_results_['params']):
print("%0.3f (+/-%0.03f) for %r"
% (mean, std * 2, params))
print()
print("Detailed classification report:")
print()
print("The model is trained on the full development set.")
print("The scores are computed on the full evaluation set.")
print()
#这里是使用训练出来的最好的参数进行预测
y_true, y_pred = y_test, clf.predict(X_test)
print(classification_report(y_true, y_pred))
print()
实际当中有用的参数，以clf表示我们的GridSearchCV对象
clf.best_params_ 返回最好的参数
clf.best_score_ 返回最好的测试分数，它的值和 clf.cv_results_['mean_test_score'][dt_grid.best_index_] 是相同的。
clf.best_index_ 返回列表中分数最好的下表
clf.best_estimator_ 返回最好的模型
grid_scores_ 在sklearn 0.18中已经不赞成使用了，用下面的cv_results_来代替
clf.cv_results_ 返回使用交叉验证进行搜索的结果，它本身又是一个字典，里面又有很多内容，我们来看一下上面的clf.cv_results_.keys()里面有什么：
dict_keys(
['mean_fit_time', 'std_fit_time', 'mean_score_time', 'std_score_time',
'param_C', 'param_gamma', 'param_kernel', 'params',
'split0_test_score', 'split1_test_score', 'split2_test_score', 'split3_test_score', 'split4_test_score',
'mean_test_score', 'std_test_score', 'rank_test_score',
'split0_train_score', 'split1_train_score', 'split2_train_score', 'split3_train_score', 'split4_train_score',
'mean_train_score', 'std_train_score'] )可以分为上面几类： 第一类是时间， 第二类是参数， 第三类是测试分数，其中又分为每次交叉验证的参数和统计的参数，第四类是训练分数，其中也分为每次交叉验证的参数和统计的参数。
2: 随机搜索
随机搜索就是制定参数的随机分布的策略，从这些策略当中随机产生我们需要的参数进行评估。sklearn当中使用RandomizedSearchCV来完成。
比如下面使用了scipy统计库中的指数分布，其中scale参数制定随机变量的缩放比例。然后RandomizedSearchCV会根据这些分布选取参数
{'C': scipy.stats.expon(scale=100), 'gamma': scipy.stats.expon(scale=.1),
'kernel': ['rbf'], 'class_weight':['balanced', None]}一个例子是这样的：
import numpy as np
from time import time
from scipy.stats import randint as sp_randint
from sklearn.model_selection import RandomizedSearchCV
from sklearn.datasets import load_digits
from sklearn.ensemble import RandomForestClassifier
# get some data
digits = load_digits()
X, y = digits.data, digits.target
# build a classifier
clf = RandomForestClassifier(n_estimators=20)
# Utility function to report best scores
def report(results, n_top=3):
'''
这是自定义的打印函数，results为一个字典，里面包含训练以后的结果，
其中rank_test_score为参数排序的结果，下面的代码是根据rank_test_score
的值取出排名靠前的均值、方差和参数
'''
for i in range(1, n_top + 1):
candidates = np.flatnonzero(results['rank_test_score'] == i)
for candidate in candidates:
print("Model with rank: {0}".format(i))
print("Mean validation score: {0:.3f} (std: {1:.3f})".format(
results['mean_test_score'][candidate],
results['std_test_score'][candidate]))
print("Parameters: {0}".format(results['params'][candidate]))
print("")
# specify parameters and distributions to sample from
#这里使用了scipy统计库中的randint分布函数
param_dist = {"max_depth": [3, None],
"max_features": sp_randint(1, 11),
"min_samples_split": sp_randint(2, 11),
"min_samples_leaf": sp_randint(1, 11),
"bootstrap": [True, False],
"criterion": ["gini", "entropy"]}
# run randomized search
n_iter_search = 20
random_search = RandomizedSearchCV(clf, param_distributions=param_dist,
n_iter=n_iter_search)
start = time()
random_search.fit(X, y)
print("RandomizedSearchCV took %.2f seconds for %d candidates"
" parameter settings." % ((time() - start), n_iter_search))
report(random_search.cv_results_)
#源代码后面还有一个GridSearchCV代码，这里删除了输出结果如下：
RandomizedSearchCV took 3.38 seconds for 20 candidates parameter settings.
Model with rank: 1
Mean validation score: 0.924 (std: 0.006)
Parameters: {'bootstrap': True, 'criterion': 'entropy', 'max_depth': None, 'max_features': 6, 'min_samples_leaf': 1, 'min_samples_split': 3}
Model with rank: 2
Mean validation score: 0.922 (std: 0.007)
Parameters: {'bootstrap': True, 'criterion': 'gini', 'max_depth': None, 'max_features': 7, 'min_samples_leaf': 1, 'min_samples_split': 9}
Model with rank: 3
Mean validation score: 0.918 (std: 0.015)
Parameters: {'bootstrap': False, 'criterion': 'entropy', 'max_depth': None, 'max_features': 9, 'min_samples_leaf': 7, 'min_samples_split': 7}3：贝叶斯优化（Bayesian optimazation）
前两种策略属于那种参数的选择的时候相互独立的情况，这种情况并没有完全利用好上一次选择的参数所得到的一些信息。而贝叶斯优化则更好相反，这一类优化充分利用了前面所选择的参数的信息，属于sequential model-based optimization (SMBO)。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
