Tue Jan 25

元学习

元学习(六)--孪生神经网络

今天我们来介绍一种比较特殊的网络，孪生神经网络。这也是实现元学习的一种常见的方式。我们先来抛出一个问题，目前市面上人脸识别的应用十分多，那么它们是怎么做到的呢？如果让你来做一个人脸识别的应用，你怎么来实现这个算法呢？第一时间你的的想法是不是老子搞它每个人N多的数据集，然后弄个M分类，这样每次就变成一个图片识别的任务，easy。想想其实也是可以的，但是似乎不太符合时间，哪里弄来这么多的人的样本呢？话

Fri Jan 21

持续学习

一般人工智能--终身学习

终身学习什么是终身学习呢？其实就是当一个模型学会了任务A，当学习任务B的时候不会忘记任务A，这个时候你可能会有个问题，我们重新训练一个模型可以吗？当然可以，只不过这样的模型没有

Fri Jan 21

元学习

元学习(五)--MAML算法

今天我们来介绍经典的元学习方法MAML算法，首先我们需要明确MAML算法是用来做什么的呢？其实它主要是解决我们模型参数初始化的问题的，一个好的初始化是可以让我们快速达到全局最优并且训练成本也会骤降的，那么我们来看看MAML算法是怎么做的把？算法讲解这个算法的伪代码十分简单，咱们就对着源代码看看它的训练过程和使用方法。下面就是这个算法的伪代码啦。这里重要的部分分别是4到7行和第8行，双重梯度的思路。

Tue Jan 18

元学习

元学习(四)--度量学习(亲和网络学习)

本文我们来介绍一个度量学习方式，取材于论文Learning to Compare: Relation Network for Few-Shot Learning。数据集合度量学习中，数据集不仅仅是我们监督学习的中的训练集合测试集的概念，那我们就来介绍他的数据集。训练集：和普通的训练集一致，这里存放大量级别带有标签的数据。支撑集合：支撑集合也是带有标签的数据，但是数量量比较小，并且支撑集合的类别与

Sun Jan 16

元学习

元学习(二)--元学习和AutoML学习

本章咱们就不介绍一篇论文这么枯燥啦，由于元学习和AutoML学习经常会被弄混，所以本章主要就聊聊这两种学习方式的异同点。早期的时候这两种学习方式确实是比较相近的，甚至有一些争议，最近的研究中这这两种学习方式也开始越来越清晰。元学习是解决对于未知类别的识别上，而AutoML的目标是如何自动化的构建网络参数和网络形状等等。所以二者的目标已经被却分好啦。元学习之前咱们已经介绍了两个算法啦，下面咱们就好好

Sun Jan 16

元学习

元学习(一)--自适应神经网络

本章节中我们来介绍一个具有适应能力的神经网络学习框架CSN，接下来咱们就来看看这个网络是如何学习的。网络整体架构上面这个图是整个学习框架的整体架构，接下来我们来一点一点的讲解其中的细节。假设我们一大批数据的训练任务已经训练好，突然来了一个新的任务，怎么把我们已经训练好的网络进行一定的复用快速的应用到新任务呢？这就是本文一个要解决的问题。$$\begin{cases}\begin{align}\en

Wed Jan 12

元学习

元学习(零)--预训练神经网络

从本章节开始我们准备进入一个新的领域进行学习，元学习（meta learning），听起来是不是屌屌的，确实是这样，这里我们不得不总结一下之前咱们介绍各种的学习方法，包括经典的学习方法和神经网络的学习方法，毫不意外的它们有一个共同且残酷的名字(Weak AI)，是的凡是针对一个特定的一个领域进行学习的，都可以称之为弱学习器。而本章节的介绍的一系列建模方法它们学习的方式和角度与之前的学习方法会有很大

Thu Jan 6

强化学习深度强化学习

深度强化学习(一)--DQN深度强化学习

上篇文章咱们介绍了Qlearning，这个时候正好我们就机会来详细看看DQN的学习方式，同样的之前的章节中我们介绍了DQN的原理，但是没有一个特别好的例子，本节咱们就来补上这一块。DQN的使用场景就是我们发现使用Qlearning能够在离散状态空间下解决任何强化学习问题，但是如果状态空间是无限的或者是连续的怎么办呢？ DQN的核心思路是将原有的离散状态空间表示为一个函数f。$$f(s,a)=Q(s

Thu Jan 6

强化学习深度强化学习

强化学习(十一)--Qlearning实例

通过这一个系列的学习，是否发现学习了很多东西，又好像啥也没学到，学习经常就是这样一个状态，第一个学习的时候往往都是伪装自己明白啦，当某个时间点真正用到了，才知道原来这些知识能够这样的使用，本章咱们就为Qlearning讲解一个例子，方便我们理解。放学去网吧下面这个例子，咱们举一个放学去网吧的例子吧，空间图如下图。左上角的小孩就是你，中间的是老师，碰到老师肯定就不会让你去网吧啦，右下角的是最终目标带

Fri Dec 24

强化学习基础强化学习

马尔可夫决策过程(三)--值迭代算法

节咱们举例子讲到如何计算马尔可夫的值函数，本章节主要介绍一些常用的算法。值迭代算法对$i \in S$通过计算$$v^{n+1}(i)=max_{a \in A(i)}\{r(i,a)+\beta \sum_{j \in S} p(j|i,a)v^{n}(j)\}$$如果$$v^{n+1}(i)-v^{n}(i)<\frac{\sigma(1-\beta)}{2\beta}$$进入下一步，否

Thu Dec 23

强化学习基础强化学习

马尔可夫决策过程(二)--无限阶段折扣模型

决策者在整个决策阶段收到一系列的报酬折现以后累加起来就是具体的效用函数，我们称之为无限阶段的折扣模型。具体的表达如下$$V_{\beta}(i,\pi)=\sum_{0}^{\infty} \beta^{t} E_{\pi}^{i}[r(Y_{t}, \Delta_{t})]$$从上面的表达式折扣因子就是$\beta$, $\Delta_{t}$表示采用不同的动作，$Y_{t}$表示状态的变换。这

Sun Dec 19

强化学习基础强化学习

马尔可夫决策过程(一)--有限阶段模型

马尔可夫决策过程的经典五元组，我们再来看看。$${T, S, A(i), p(*|i,a), r(i,a)}$$这就是构成马尔可夫决策过程的环境，当你在业务问题找到这些变量的关系的，就能够使用马尔可夫决策构造一个经典的模型。本章节我们来讲解有限阶段模型。最优准则我们先来介绍报酬效用函数的定义

元学习(六)--孪生神经网络

一般人工智能--终身学习

元学习(五)--MAML算法

元学习(四)--度量学习(亲和网络学习)

元学习(二)--元学习和AutoML学习

元学习(一)--自适应神经网络

元学习(零)--预训练神经网络

深度强化学习(一)--DQN深度强化学习

强化学习(十一)--Qlearning实例

马尔可夫决策过程(三)--值迭代算法

马尔可夫决策过程(二)--无限阶段折扣模型

马尔可夫决策过程(一)--有限阶段模型

最新文章

分类

标签云

最新文章

标签

Your browser is out-of-date!