水熊虫
水熊虫
不认命,就拼命!
264文章 53分类

元学习(五)--MAML算法

今天我们来介绍经典的元学习方法MAML算法,首先我们需要明确MAML算法是用来做什么的呢?其实它主要是解决我们模型参数初始化的问题的,一个好的初始化是可以让我们快速达到全局最优并且训练成本也会骤降的,那么我们来看看MAML算法是怎么做的把?算法讲解这个算法的伪代码十分简单,咱们就对着源代码看看它的训练过程和使用方法。下面就是这个算法的伪代码啦。这里重要的部分分别是4到7行和第8行,双重梯度的思路。

神经网络之参数初始化

参数初始化我们在进行梯度下降算法的时候,需要进行参数初始化的操作,那就有一个貌似不重要的的问题,参数如何初始化,是真的随机初始化吗?本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问,什么是饱和呢?1.当我们的n趋近于正无穷,激活函数
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×