本节要详细介绍一些Transformer这个常用的神经网络组件，会举一些十分详细的例子，目的是将这个网络结构讲清楚。TransformerTransformer结构是主要是编码器和解码器组成，Transformer逐渐其实是并且了经典的LSTM循环的机构，使用了一种自注意力的机制。这些我们举一个机器翻译的例子，来讲解整个过程。编码器编码器的主要作用是从输入的语句中尽可能多的提取特征，其结构如图2-

这篇文章主要介绍当我们面对一个运筹问题的时候，如何求解一个问题。先来介绍一个基于python的集成框架pyomo，通过pyomo下面可以调用一系列的求解器，最终实现求解的过程。先给一个demofrom pyomo.environ import *# 创建一个模型model = ConcreteModel()# 定义变量model.x = Var(within=Reals)model.y = Var

今天这章主要介绍一些聚类算法。

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

iGPT最近ChatGPT突然间火了起来，其实图像领域也有类似的模型，叫做iGPT。不仅在图像识别还有在图像补全上都起到很好地作用。

本节继续来介绍新的网络结构SENet网络SENet的提出动机十分简单。传统的方法将网络的特征图的值直接传递到下一层，而SENet的核心是建模通道之间的依赖关系，通过网络的全局损失函数自适应的重新校正通道之间的特征的相应的强度。SENet是由一系列的SE块组成，一个SE块包括压缩和激发两个步骤，其中压缩是通过特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，特征图通过两层全连接得到特征图中每

今天来讲一种更深的CNN网络，VGG神经网络。更深的网络：VGG神经网络VGG在卷积核方向最大的改进是将卷积核全部更换成了3×3,1×13 \times 3,1 \times 13×3,1×1的卷积核，而性能最好的VGG-16和VGG-19是由仅仅3×33 \times 33×3的卷积核构成，这样做的原因主要有以下几个方面根据感受野的计算方式rfsize=(out−1)×stride×ksizer

二阶优化牛顿法

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

本文主要讲解使用梯度下降算法迭代熟悉的MSE损失函数。J(θ)=E[(y−θTx)2]=σy2−2θTp+θTϕθJ(\theta)=E[(y-\theta^{T}x)^{2}] \\=\sigma_{y}^{2}-2\theta^{T}p + \theta^{T} \phi \thetaJ(θ)=E[(y−θTx)2]=σy2​−2θTp+θTϕθMSE可以看上面这个博文了解上面这个公式。其中ϕ