Fri Jan 19

人工智能深度学习自然语言处理

自然语言处理之预训练模型(二)

之前咱们介绍的都是单一模型的预训练方法，这里介绍一个特殊一点的思路，且不说应用程度怎么样，先看看这个模型的设计思路。ELECTRAELECTRA是使用对抗网路的思路进行预训练的方式。其中生成器，一个小的MLM，就是在[MASK]的位置预测原来的词。判别器判断的是输入句子中的每个词是否被替换，需要注意的是这里没有下一句的预测任务。接下来我们来看每个模块。生成器对于生成器来说，其目的是将带有掩码的输入

Wed Sep 20

人工智能深度学习自然语言处理

自然语言处理之Transformer精讲(二)

本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

Tue May 30

人工智能深度学习自然语言处理

自然语言处理之Transformer精讲(一)

本节要详细介绍一些Transformer这个常用的神经网络组件，会举一些十分详细的例子，目的是将这个网络结构讲清楚。TransformerTransformer结构是主要是编码器和解码器组成，Transformer逐渐其实是并且了经典的LSTM循环的机构，使用了一种自注意力的机制。这些我们举一个机器翻译的例子，来讲解整个过程。编码器编码器的主要作用是从输入的语句中尽可能多的提取特征，其结构如图2-

Sun Apr 9

人工智能机器学习深度学习

机器学习之归一化

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

Sat Apr 8

人工智能机器学习深度学习

机器学习之Dropout

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

Sat Apr 8

人工智能深度学习图像算法

图像算法--骨架网络(三)

iGPT最近ChatGPT突然间火了起来，其实图像领域也有类似的模型，叫做iGPT。不仅在图像识别还有在图像补全上都起到很好地作用。

Fri Apr 7

人工智能深度学习图像算法

图像算法--骨架网络(二)

本节继续来介绍新的网络结构SENet网络SENet的提出动机十分简单。传统的方法将网络的特征图的值直接传递到下一层，而SENet的核心是建模通道之间的依赖关系，通过网络的全局损失函数自适应的重新校正通道之间的特征的相应的强度。SENet是由一系列的SE块组成，一个SE块包括压缩和激发两个步骤，其中压缩是通过特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，特征图通过两层全连接得到特征图中每

Wed Apr 5

人工智能深度学习图像算法

图像算法--骨架网络(一)

今天来讲一种更深的CNN网络，VGG神经网络。更深的网络：VGG神经网络VGG在卷积核方向最大的改进是将卷积核全部更换成了3×3,1×13 \times 3,1 \times 13×3,1×1的卷积核，而性能最好的VGG-16和VGG-19是由仅仅3×33 \times 33×3的卷积核构成，这样做的原因主要有以下几个方面根据感受野的计算方式rfsize=(out−1)×stride×ksizer

Fri Jan 27

人工智能深度学习图像算法

图像算法-图像的预处理

图像算法能够能够取得比较好的效果十分依赖预处理做的好坏，这里介绍几种图像预处理的算法、二值化二值化是指将像素点的灰度值设置为0或者255的过程，使图像呈现明显的黑白效果。一方面可以减少数据的维度，另一方面可以通过排除原图中噪声带来的干扰，凸显轮廓信息，这种方法在OCR（文字识别）的任务中尤为重要。全局阈值法该方法是对输入的图形中所有的像素点统一进行固定阈值的。然后重构整个图像。图下图的形式。上图是

Sun Jan 15

人工智能深度学习图神经网络

图神经网络(五)--注意力机制

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素，请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki表示，值用xix_{i}xi表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

自然语言处理之预训练模型(二)

自然语言处理之Transformer精讲(二)

自然语言处理之Transformer精讲(一)

机器学习之归一化

机器学习之Dropout

图像算法--骨架网络(三)

图像算法--骨架网络(二)

图像算法--骨架网络(一)

图像算法-图像的预处理

图神经网络(五)--注意力机制

分类

标签云

最新文章

标签

最新文章

Your browser is out-of-date!