迁移学习(三)--基于几何特征变换的迁移学习

本章介绍基于几何特征变换的迁移学习，与统计特征迁移不同的是考虑到数据中经常存在一种空间几何结构，这个时候通过空间几何结构能够简洁而有效迁移获得相应的结果。几何变换有以下几种方法，分别是子空间变化和流行空间变换以及最优传输法。接下里的内容就一一介绍这些内容。

问题定义

我们再来看迁移学习的统一表现形式。

f^{\\*}=arg\ min \frac{1}{N_{s}} \sum_{i=1}^{N_{2}} L(v_{i}f(x_{i}),y_{i})+\lambda R(T(D_{s}), T(D_{t})) \tag{1.1}

这里在考虑变换函数T的时候，往往从数据的几何特征出发，最终还是围绕同样的目标进行优化。

子空间变换法

子空间变换法通常假设源域和目标域在数据变换以后有着相似的分布。而自空间是可以进行数据的分布对齐，这里介绍一种最简单的自空间迁移法的方式SA， SA算法直接寻找一个线性变换M，将 $X_{s}, X_{t}$ 分别表示源域和目标域经过PCA以后的数据，前d维特征向量组成的特征矩阵，用这个特征向量表示其子空间。SA的优化目标如下

F(M)=|X_{s}M-X_{t}|^{T} \tag{2.1}

M是可以通过变换和学习获得。由于子空间的变换的正交性， $X_{s}X{t}=I$ , 可以对上述的优化直接求解

F(M)=|X_{s}^{T}X_{s}-X_{s}^{T}X_{t}|^{2}=|M-X_{s}^{T}X_{t}|^{2} \tag{2.2}

这样可以直接求的M。
我们通过求解一个转换矩阵M，使其能够对源域和目标域的特征进行转换后距离相近，那么使用这个子空间进行分类，优化这个分类效果就可以优化模型进行目标域的分类。其他的方法都是基于此类方法进行改进，这里就不在赘述啦。

流形学习

流形学习引入了许多的新的概念，其核心思想是在源域和目标域中间找到几个点，然后一步一步的将源域的知识迁移到目标域，从而达成迁移学习的目标。

最早期的方法是SGF(sampling geodesic flow)的方法，但是存在一个超参数d的问题，d是中间取几个点的问题，后来在测地线流式核方法中获得解答，而且还解决了如果存在多个源域的情况下，使用哪个源域来做迁移的决策（Rank of Domain）。这里的方法大家如果感兴趣可以自行调研，这里就不过多展开啦。

最优传输法

最优传输问题的描述是有M个仓库起火啦，需要往这M个仓库调用消防队员，现有的消防队员分布在N个仓库中，如何调用能够用最小化的成本解决N个仓库的火灾。进一步形式化定义N个仓库需要的消防员数量为 $H_{i}$ ,位置为 $y_{i}$ , 而这个N个仓库的消防员数量为 $G_{i}$ ,位置为 $x_{i}$ ，最后任意两个仓库的距离是 $c(x_{i}, y_{j})$ 。那么优化的目标是

min \sum_{i,j=1}^{N,M} T_{i,j} c(x_{i}, y_{i}) \\ s.t. \sum_{j} T_{ij}=G_{i}\\ \sum_{i} T_{ij}=H_{j}\\

$T_{i,j}$ 表示到N个仓库的消防员数。通过描述这个背景相信大家已经有点感觉知道怎么做这个迁移学习的方案啦，从一个分布最小化的代价迁移到另一个分布不就是迁移学习的本质吗？

最优传输到迁移学习

反映到迁移学习上，对应于需要做到一个映射函数，能够保证用最小化的代价将源域映射到目标域中。

D(P,Q)=\int_{X \times Y} π(x,y)c(x,y)dxdy \tag{3.1}

这个公式标的是对于分布P和Q，有很多种迁移方案π（运筹方案），每种方案的成本是c(x,y)，一般大家函数是 $c(x,y)=|x-y|^{2}$ , 所以转化以后就变成了

D(P,Q)=\int_{X \times Y} π(x,y)|x-y|^{2}dxdy \tag{3.2}

不同于传统的特征变化方法，最优的传输研究问题是学习一个源域到目标域的点一点的关联矩阵T, 经过T的变换后，源域能够用最小化的代价变成目标域。现在就关键点就变成了矩阵T如何获得的问题？最优传输通常是使用变换代价来衡量变换成本C(T).

C(T)=\int c(x,T(x))d \mu(x) \tag{3.3}

$\mu(x)$ 表示数据分布，c(x,T(x))表示代价函数，也可以是距离函数。进一步抽象

\gamma_{0}=arg\ min \int_{S \times T} c(x_{s}, x_{t}) d \gamma((x_{s}, x_{t}))

$\gamma$ 表示一种迁移策略。这里其实通过一个运筹策略，求解源域到目标域的最小代价迁移策略。
当我们使用的时候就可以使用这种迁移方案，将源域的输入进行加权（方案）进行学习。这样的模型就能在目标域使用啦。

总而言之

最后整体看看本节的迁移学习，核心思路其实没有任何变化，不管是几何变换还是特征变换，最终都是拉近源域和目标域的距离，能够通过源域的学习代替目标域的学习。

支付宝捐赠

微信捐赠