图神经网络(五)--注意力机制

注意力机制主要是解决当处理大量信息的时候,注意力机制会选择一些关键的信息进行处理,忽略与目标无关的噪声数据,从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素, 请求,键,值,如图1-1就是一个软性的注意力机制。(K,V)是输入的键值对向量数据,包含n项信息,每一项信息的建用kik_{i}ki​表示,值用xix_{i}xi​表示,Q表示与任务相关的查询向量。Value是在给定值的情况,通

优化中的梯度

对于梯度相信大家都不陌生,咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解,一阶导数是表示原函数的一个斜率信息,而二阶导数是告诉我们一阶导数随着输入是如何变化的,可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数,那就没有曲 率,也就是一条完全平坦的线,仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候,每次沿着梯度负方向

xgboost(五) -- 与其他模型融合

之前我们讲了很多xgboost的特性用法等等,接下来我们需要回答的一个问题是xgboost能够与其他模型融合吗?怎么融合?xgboost和DNN模型融合当我们使用xgboost的时候经常会发现,很多场景下我们只用xgboost模型的效果就能够达到一个最佳的效果,使用深度神经网络反而没有xgboost的效果好,这个经常让我们十分头疼,我想做点更nb的东西逻辑就这么难吗?其实个人认为xgboost效果

RNN代码拆解

rnn对于一些初学者来说被当成直接跳过的内容,因为如果需要使用RNN,那还不如直接用LSTM,好吧这个思路貌似也没什么问题,但是对于学习这件事情来讲的话,其实RNN是一个新型的网络结构,跳出神经网络的那个固定模式的开始,对大家学习还是有百利而无一害的。拆了的RNN[RNN]的经典过程本站也做过讲解,可以跳转过去看看完全的RNN样子,本节就是要将这一结构拆开来看的。上图就是其中一个RNN结构,初始化

图像算法--目标检测

目标检测基础目标检测算法主要分为两种,一种是one-stage检测算法,一种是two-stage检测算法。而对于two-stage检测算法来讲第一步是进行区域分割,然后第二步才是分类,代表方法有RCNN算法。而one-stage检测算法一般有YOLO和SSD算法。Selectivesearch和RC

图像算法--图像分割(Otsu算法)

Otsu算法图像分割是一个经典的图像任务,Otsu算法是借用图像的灰度值,计算几个阈值,然后起到分割图像的作用。本文介绍的Otsu算法常用于基于图像分割的聚类。该算法的理论依据是:假定图像包含两类像素(前景像素和背景像素),直方图为双峰直方图,然后计算使得两类像素能分开的最佳阈值(类内方差),或等价

图像算法--卷积

卷积CNN已经成为图片分类比较成熟的算法,但是,很少人了解其中的数学原理,这里就先从卷积讲起,后面也会主要到卷积神经网络。希望大家能够很好的理解这个内容,为了以后学习卷积神经网络做准备。卷积的定义连续下的定义$$(f*g)(n)=\intf(t)g(n-t)$$离散下的定义$$(f*g)(n)=\s

机器学习之xgboost算法

xgboostxgboost可能是现在用的最多的模型了,炒的火热的深度学习解决实际业务的落地点还是比价少的,比起这种可解释模型,在工程界可能更加受追捧。xgboost的组成话说xgboost是由什么组成的呢?答案就是一堆CART树,但是有了这些CART树怎么做预测呢,难倒是投票,好吧也是一种方式,但

图神经网络(七)--GAE神经网络

如果想了解GAE其实从VAE了解比较好,下面我就先来讲讲VAE自编码器。VAEVAE(VariationalAuto-encoder)图自编码器,是一种和GAN类似的神经网络。那么VAE有什么作用?它主要的解决问题的场景是,你给我一个向量,我给你一张图片,例如我想生成一个猫的图片,你的输入可以是描述

神经网络之BP算法

多层感知机​首先我们来介绍多层感知机,其实根据字面的意思我们已经能够了解大半,就是将一个简单的感知机进行连接,其中层数可以任意挑选,中的维度都可以任意挑选。它的样式是这样的。结构比较简单,输入层进来以后就和隐藏层进行权重转换,直到输出层。它的激活函数不是我们在我们的系统上搜索[感知机]的文章中提到的
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×