7.第二类方法:特征选择

特征选择法的基本假设是: 源域和目标域中均含有一部分公共的特征,在这部分公共的特征上,源领域和目标领域的数据分布是一致的。因此,此类方法的目标就是,通过机器学习方法,选择出这部分共享的特征,即可依据这些特征构建模型。

迁移学习 参数迁移 特征迁移_深度学习

核心方法: SCL(Structural Correspondence Learning):这个方法的目标就是我们说的,找到两个领域公共的那些特征。作者将这些公共的特征叫做Pivot feature。找出来这些Pivot feature,就完成了迁移学习的任务。

迁移学习 参数迁移 特征迁移_迁移学习_02

8.第三类方法:子空间学习

子空间学习法: 通常假设源域和目标域数据在变换后的子空间中会有着相似的分布。我们按照特征变换的形式,将子空间学习法分为两种:基于统计特征变换的统计特征对齐方法,以及基于流形变换的流形学习方法。 下面我们分别介绍这两种方法的基本思路和代表性研究成果。

统计特征对齐: 统计特征对齐方法主要将数据的统计特征进行变换对齐。对齐后的数据,可以利用传统机器学习方法构建分类器进行学习。

SA方法(Subspace Alignment,子空间对齐):

SA方法直接寻求一个线性变换M,将不同的数据实现变换对齐。SA方法的优化目标如下:

迁移学习 参数迁移 特征迁移_迁移学习_03

SDA方法(Subspace Distribution Align-ment):

该方法在SA的基础上,加入了概率分布自适应。SDA方法提出,除了子空间变换矩阵T之外,还应当增加一个概率分布自适应变换A。SDA方法的优化目标如下:

迁移学习 参数迁移 特征迁移_迁移学习_04


迁移学习 参数迁移 特征迁移_算法_05

CORAL 方法(COR relation Alignment):

迁移学习 参数迁移 特征迁移_迁移学习 参数迁移 特征迁移_06


迁移学习 参数迁移 特征迁移_python_07

流形学习:

它的基本假设是,现有的数据是从一个高维空间中采样出来的,所以,它具有高维空间中的低维流形结构。流形空间中的距离度量: 两点之间什么最短?在二维上是直线(线段),可在三维呢?地球上的两个点的最短距离可不是直线,它是把地球展开成二维平面后画的那条直线。 那条线在三维的地球上就是一条曲线。这条曲线就表示了两个点之间的最短距离,我们叫它测地线。更通俗一点,两点之间,测地线最短。

SGF方法:

迁移学习 参数迁移 特征迁移_迁移学习_08

SGF方法的主要贡献在于: 提出了这种变换的计算及实现了相应的算法。但是它有很明显的缺点:到底需要找几个中间点?SGF也没能给出答案, 就是说这个参数d是没法估计的,没有一个好的方法。这个问题在GFK中被回答了。

GFK(Geodesic Flow Kernel)方法:

迁移学习 参数迁移 特征迁移_python_09


迁移学习 参数迁移 特征迁移_迁移学习_10


迁移学习 参数迁移 特征迁移_迁移学习_11