iGPT最近ChatGPT突然间火了起来，其实图像领域也有类似的模型，叫做iGPT。不仅在图像识别还有在图像补全上都起到很好地作用。

本节继续来介绍新的网络结构SENet网络SENet的提出动机十分简单。传统的方法将网络的特征图的值直接传递到下一层，而SENet的核心是建模通道之间的依赖关系，通过网络的全局损失函数自适应的重新校正通道之间的特征的相应的强度。SENet是由一系列的SE块组成，一个SE块包括压缩和激发两个步骤，其中压缩是通过特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，特征图通过两层全连接得到特征图中每

今天来讲一种更深的CNN网络，VGG神经网络。更深的网络：VGG神经网络VGG在卷积核方向最大的改进是将卷积核全部更换成了3×3,1×13 \times 3,1 \times 13×3,1×1的卷积核，而性能最好的VGG-16和VGG-19是由仅仅3×33 \times 33×3的卷积核构成，这样做的原因主要有以下几个方面根据感受野的计算方式rfsize=(out−1)×stride×ksizer

二阶优化牛顿法

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

本文主要讲解使用梯度下降算法迭代熟悉的MSE损失函数。J(θ)=E[(y−θTx)2]=σy2−2θTp+θTϕθJ(\theta)=E[(y-\theta^{T}x)^{2}] \\=\sigma_{y}^{2}-2\theta^{T}p + \theta^{T} \phi \thetaJ(θ)=E[(y−θTx)2]=σy2​−2θTp+θTϕθMSE可以看上面这个博文了解上面这个公式。其中ϕ

本文想介绍一下MSE这个优化函数，通过MSE这个损失函数来看机器学习中一些底层的理论。标准方程J(θ)=E[(y−y^)2](1.1)J(\theta)=E[(y-\hat{y})^{2}] \tag{1.1}J(θ)=E[(y−y^​)2](1.1)公式1.1是均方误差的一个简单的表示，很明显我们就是要求的一个参数能够使得J(θ)J(\theta)J(θ)最小。最小化的代价函数J(θ)J(\th

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

首先我们还是要从交叉熵的损失函数说起，如公式1.1L=−ylog(p)−(1−y)log(1−p)(1.1)L=-y log(p)-(1-y)log(1-p) \tag{1.1}L=−ylog(p)−(1−y)log(1−p)(1.1)p为预测概率，y是真实标签。\begin{equation}L(CE)=\left\{\begin{array}{ll}-log(p) \\-log(1-0) \\

背景标签平滑产生的背景是当我们的标注数据不能保证100%的准确性的时候，导致训练过程中过度的信赖标注，对训练效果产生比较大的影响。这个时候我们一般选用标签平滑的方式缓解这种问题。