图神经网络(五)--注意力机制

注意力机制主要是解决当处理大量信息的时候,注意力机制会选择一些关键的信息进行处理,忽略与目标无关的噪声数据,从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素, 请求,键,值,如图1-1就是一个软性的注意力机制。(K,V)是输入的键值对向量数据,包含n项信息,每一项信息的建用kik_{i}ki​表示,值用xix_{i}xi​表示,Q表示与任务相关的查询向量。Value是在给定值的情况,通

可解释性机器学习(一)--内部解释模型

咱们继续讲解可解释性机器学习,咱们开始一起来看看一些算法啦。先从简单的算法开始。

可解释性机器学习(零)

这个系列介绍一下模型的可解释性,这一部分经常被算法同学忽略掉,其实也经常有同学不被其他的业务线理解,感觉算法同学是不是在撞大运。是否真的能对自己学习出来的模型负责。为什么要有模型解释性这个时候你是否会问,我模型效果好就行呗,为啥还要搞这个可解释性,有那个功夫我多做几个模型是不是就好了。其实这个是一个好的问题,算法同学对业务的产出只能是模型吗,模型数量代表工作量吗?这个也是我之前错误认知的理念。 目

优化中的梯度

对于梯度相信大家都不陌生,咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解,一阶导数是表示原函数的一个斜率信息,而二阶导数是告诉我们一阶导数随着输入是如何变化的,可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数,那就没有曲 率,也就是一条完全平坦的线,仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候,每次沿着梯度负方向

图像算法--卷积

卷积CNN已经成为图片分类比较成熟的算法,但是,很少人了解其中的数学原理,这里就先从卷积讲起,后面也会主要到卷积神经网络。希望大家能够很好的理解这个内容,为了以后学习卷积神经网络做准备。卷积的定义连续下的定义$$(f*g)(n)=\intf(t)g(n-t)$$离散下的定义$$(f*g)(n)=\s

图神经网络(七)--GAE神经网络

如果想了解GAE其实从VAE了解比较好,下面我就先来讲讲VAE自编码器。VAEVAE(VariationalAuto-encoder)图自编码器,是一种和GAN类似的神经网络。那么VAE有什么作用?它主要的解决问题的场景是,你给我一个向量,我给你一张图片,例如我想生成一个猫的图片,你的输入可以是描述

神经网络之参数初始化

参数初始化我们在进行梯度下降算法的时候,需要进行参数初始化的操作,那就有一个貌似不重要的的问题,参数如何初始化,是真的随机初始化吗?本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问,什么是饱和呢?1.当我们的n趋近于正无穷,激活函数

图神经网络(六)--GAT神经网络

GRAPHATTENTIONNETWORKS图注意力神经网络是既GCN神经网络后,有一个图结构深度学习的网络,本节我们来学习。原文地址可以点击GRAPHATTENTIONNETWORKS下载。在原来的GCN神经网络中,我们能够理解到GCN是存在一定的局限性的,在如下的场景下。GCN无法完成处理动态图

图神经网络(三)--GCN神经网络

今天我们来看一篇经典的论文,Semi-SupervisedClassificationwithGraphConvolutionalNetworks,这个论文一个经典的讲gcn的论文。我们经常遇到的卷积学习都是图上的卷积,具体形式可以在本站搜索『卷积神经网络』,我们发现卷积核都是方方正正的,就像为图片

PageRank 算法

Google的两位创始人都是斯坦福大学的博士生,他们提出的PageRank算法受到了论文影响力因子的评价启发。当一篇论文被引用的次数越多,证明这篇论文的影响力越大。正是这个想法解决了当时网页检索质量不高的问题。PageRank的计算过程最初pagerank算法是解决搜索引擎中的页面权重问题的,简而言
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×