1DCNN详细介绍 dcnn与cnn的区别

1. 简介

DCN模型（Deep & Cross Network for Ad Click Predictions）是2017年提出的。
出发点：
（1）人工探索所有的交叉特征是不现实的；
（2）难于推广未曾出现过的交叉特征。

DNN能够自动探索交叉特征并推广到未出现过的交叉特征，但是DNN的学习效率不高，且无法显式的学习特征交叉。

Deep&Cross Network, DCN 模型保留了DNN的优点，并提出了新的cross network，高效学习高阶特征交互。

优点：
（1）cross network显式的在每层应用特征交叉，有效的学习预测能力强的交叉特征，无需人工特征工程。
（2）cross network 简单高效，学习高阶交叉特征，每增加一层，学习的交叉特征的阶数加一阶；
（3）模型表现更好，且参数要比DNN少一个量级。

2. 模型

DCN模型结构：

（1）Embedding and stacking层：

假设输入包含sparse特征和dense特征，原始特征为向量 x, 其中，

$\overrightarrow{\mathbf{x}}=\left\langle\overrightarrow{\mathbf{x}}_{s p a r s e}^{(1)}, \cdots, \overrightarrow{\mathbf{x}}_{s p a r s e}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\right.$

spare特征为 field 的one-hot向量， dense为经过归一化的dense特征，$<\cdot>$为向量拼接。
首先，将 field 的特征映射到Embedding向量：
$\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}=\mathbf{W}_{e m b e d}^{(i)} \overrightarrow{\mathbf{x}}_{sp a r s e}^{(i)}$

然后，Embedding向量和归一化的dense特征拼接成向量：
$\overrightarrow{\mathbf{x}}_{0}=<\overrightarrow{\mathbf{x}}_{e m b e d}^{(i)}, \cdots, \overrightarrow{\mathbf{x}}_{e m b e d}^{(K)}, \overrightarrow{\mathbf{x}}_{d e n s e}>\in \mathbb{R}^{e_{1}+e_{2}+\cdots+e_{K}+d_{s}}$

(2) cross network:

cross network 是一个新颖的结构，核心思想是，以高效的方式显式应用特征交叉。

cross network由交叉层构成，每层的输入输出为：

cross network的特殊结构使得交叉特征的阶数随着网络的深度加深而增加。

对于L层的cross network， 交叉特征的阶数为L+1阶， cross network的参数量为 $2*L*d$.

cross network 的时间复杂度和空间复杂度都是输入维度d的线性函数。

cross network的本质是，用 $x_0 x_l^T$来捕获所有的特征交叉，这种方式避免了存储整个矩阵以及矩阵乘法运算。

由于cross network的参数很少，网络过于简单，模型容易陷入欠拟合，为了加强模型的学习能力，DCN的右侧引入了并行的deep network。

cross network 可以理解为：多项式逼近， FM泛化，或者有效投影。

• 引用



• 多项式逼近
  使用相同的度的多项式来近似cross network：



• 多项式的项有， $O(d^n)$个。但是cross network只有$O(d)$个参数。
• FM泛化
  FM模型是 特征 $x_i$ 和向量 $v_i$ 相关联， 交叉特征 $x_i * x_j$的权重为 $v_i* v_j$.
  DCN 模型，特征$x_i$ 和一组标量 $\{w_l^{(i)}\}_{l=1}^L$ 相关联， 交叉特征 $x_i * x_j$ 的权重是从两个集合 $\{w_l^{(i)}\}_{l=1}^L$ 和 $\{w_l^{(j)}\}_{l=1}^L$ 中的元素相乘项构成的。
  相同点：两者都是首先学习特征独立的一些参数， 然后交叉项的权重是相应参数的某种组合；
  不同点：FM是浅层模型，交叉项的度为2；DCN能表达L阶交叉特征，L为cross network的深度。
• 有效投影 efficient projection

（3）deep network

假设，隐层的维度都是m, 一共 Ld层。那么，deep network 的参数数量为：

其中，第一层的参数量是，$d*m+m$;

后续的 Ld-1层，每层的参数量是，$m*m+m$.(4)combination layer

拼接 cross network 和deep network两个网络的输出向量，然后，输出到标准的sigmoid输出层。

其中，p 是预测的点击概率。

模型的损失函数是带正则化的对数似然函数：

DCN训练时，联合训练cross network 和deep network。

3. 实验

Criteo Display Ads数据集：用于预测广告点击率的数据集。
包含13个整数特征，26个类别特征，每个类别特征的基数很大。

数据包含7天的11GB的用户日志，前6天的数据训练，第7天的数据随机划分为相同大小的验证集和测试集。
数据集经过预处理：

• 整数特征：log函数归一化；
• 类别特征：one-hot编码。
  类别特征的Embedding的维度是，
  carninality 是类别的unique 值的个数（基数）.

参数配置
优化策略：
Adam优化器， batch size = 512；
deep network采用batch normalization;
范数超过100的梯度进行裁剪；

正则化：采用early stopping 。
超参数：deep network隐向量维度，deep network层数，cross layer 层数， 初始化学习率通过超参数搜索 grid search.

搜索空间：
初始化学习率 1e-4 到 1e-3.

最优结构： cross layer 6层， deep network 2层， 隐向量为1024维。

---

参考：

1. 论文Deep & Cross Network for Ad Click Predictions;
2. ctr模型汇总