今天突然想写一些比较虚的东西。想结合人类的决策因素来讲讲我对人工智能的理解。人来“决策”每个人在生活中要面临各种各样的决策/判定，那么一个问题是我比较好奇的， 我们平时决策的时候究竟有哪些因素影响我们，能让我们在漫漫人生长河中能做出来相对正确的决策到底是因为什么呢？ 如果能搞清楚，是不是就能推导出模型学习的过程到底在做什么呢？这个就是今天咱们要聊的核心话题。如果让你来给出一个事情的观点，你觉得需要

大模型的推理也是大模型领域需要研究的一个重要部分，涉及到推理的优化方法。● 减小模型尺寸：常见的方法包括模型量化、知识蒸馏、权重共享等。这些方法可以减少存储空间的占用、提高模型的加载速度和推理速度等。● 减少计算操作：常见的方法包括模型剪枝和稀疏激活等。这些方法的核心思想是用更高效、计算量更少的操作来代替模型中原有的操作知识蒸馏知识蒸馏不是一个新的概念， 相信大家应在其他的机器学习的背景知识上了解

本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

本节要详细介绍一些Transformer这个常用的神经网络组件，会举一些十分详细的例子，目的是将这个网络结构讲清楚。TransformerTransformer结构是主要是编码器和解码器组成，Transformer逐渐其实是并且了经典的LSTM循环的机构，使用了一种自注意力的机制。这些我们举一个机器翻译的例子，来讲解整个过程。编码器编码器的主要作用是从输入的语句中尽可能多的提取特征，其结构如图2-

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

今天来讲一种更深的CNN网络，VGG神经网络。更深的网络：VGG神经网络VGG在卷积核方向最大的改进是将卷积核全部更换成了3×3,1×13 \times 3,1 \times 13×3,1×1的卷积核，而性能最好的VGG-16和VGG-19是由仅仅3×33 \times 33×3的卷积核构成，这样做的原因主要有以下几个方面根据感受野的计算方式rfsize=(out−1)×stride×ksizer

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

今天咱们来介绍一个纯时序模型，N-BEATS模型，直接开门见山看看模型的机构，然后对着模型解读。N-BEATS模型结构图1.1就是N-BEATS模型的结构，看起来比较复杂，咱们拆开来看。首先来看模型的输入，输入的是观测序列$[y_{1},...,y_{T}]$, 输出是预测数据$[y_{T},...,y_{T+H}]$, 这里在原文中描述T=nH, n一般取2到7。看上图的模型主要有几个结构，分别

Deep Crossing简介Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。用户在搜索引擎中输人搜索词之后，搜索引擎除了会返回相关结果，还会返回与 搜索词相关的广告，这也是大多数搜索引擎的主要赢利模式。尽可能地增加搜索 广告的点击率，准确地预测广告点击率，并以此作为广告排序的指标之一 ，是非 常重要的工作，也是 Deep Crossing 模型的优化目标。核心