机器学习数据集划分常用方法

因为我们只有一个数据集，既要训练，又要测试，所以我们需要对测试集进行适当处理，从中产生训练集 $S$ 和测试集 $T$。使用模型在测试集上的测试误差作为泛化误差的近似。

无论什么数据集拆分方法，我们都需要注意：

• 在划分训练集和测试集时，要尽可能保持数据分布的一致性；
• 在确定划分方法后，可以通过若干次划分、重新试验评估取平均值来求得更准确的评估方法。

方法一：留出法（简单交叉验证）

直接将数据集 $D$ 划分为两个互斥的集合，其中一个集合作为训练集 $S$，另一个作为测试集 $T$，即 $D = S \cup T, \ S \cap T = \varnothing$。一般来说，我们将 $\frac{2}{3}$ - $\frac{4}{5}$

相关教材：《机器学习》(周志华)：2.2.1（留出法）；《统计学习方法》(李航)：1.5.2.1（简单交叉验证）

方法二：交叉验证法（S 折交叉验证）

先将数据集 $D$ 划分为 $k$ 个大小相似的互斥子集，即 $D = D_1 \cup D_2 \cup \cdots \cup D_k, \ D_i \cap D_j = \varnothing \ (i=j)$，然后每次利用 $k-1$ 个子集的并集作为训练集 $S$，利用余下的子集作为测试集 $T$。这样就得到了 $k$ 组训练集和测试集，从而可进行 $k$ 次训练和测试，最终这 $k$

相关教材：《机器学习》(周志华)：2.2.2（交叉验证法）；《统计学习方法》(李航)：1.5.2.2（S 折交叉验证）

方法三：留一法（留一交叉验证）

不妨设交叉验证法中数据集 $D$ 有 $m$ 个样本，若令 $k = m$，则得到了留一法。

相关教材：《机器学习》(周志华)：2.2.2（交叉验证法）；《统计学习方法》(李航)：1.5.2.3（留一交叉验证）

方法四：自助法

不妨设数据集 $D$ 有 $m$ 个样本，从 $D$ 中有放回地随机抽取 $m$ 个样本，构成训练集 $S$。此时每个样本不被采到的概率为 $\lim_{m \rightarrow \infty}(1 - \frac{1}{m})^m = \frac{1}{e} \approx 0.368$，即通过有放回的随机抽样，约有 36.8% 的样本未出现在训练集之中，这些样本即为测试集 $T$。

相关教材：《机器学习》(周志华)：2.2.3（自助法）