二阶优化牛顿法

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

本文主要讲解使用梯度下降算法迭代熟悉的MSE损失函数。J(θ)=E[(y−θTx)2]=σy2−2θTp+θTϕθJ(\theta)=E[(y-\theta^{T}x)^{2}] \\=\sigma_{y}^{2}-2\theta^{T}p + \theta^{T} \phi \thetaJ(θ)=E[(y−θTx)2]=σy2​−2θTp+θTϕθMSE可以看上面这个博文了解上面这个公式。其中ϕ

本文想介绍一下MSE这个优化函数，通过MSE这个损失函数来看机器学习中一些底层的理论。标准方程J(θ)=E[(y−y^)2](1.1)J(\theta)=E[(y-\hat{y})^{2}] \tag{1.1}J(θ)=E[(y−y^​)2](1.1)公式1.1是均方误差的一个简单的表示，很明显我们就是要求的一个参数能够使得J(θ)J(\theta)J(θ)最小。最小化的代价函数J(θ)J(\th

学习了很长时间的因果知识，人们经常想通过因果关系的发现，尽可能的解答反事实的问题，那么什么是反事实呢？ 白话的表达是， 当你做了动作A以后，如果不做会有什么样的后果就是一种因果表达。例如“如果选择复读，是否能考上清华的问题？”反事实因果模型我们先来介绍因果模型的一种形式化的定义。因果模型是一个三元组的模型，M=<U,V,F>M=<U,V,F>M=<U,V,F>.

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

首先我们还是要从交叉熵的损失函数说起，如公式1.1L=−ylog(p)−(1−y)log(1−p)(1.1)L=-y log(p)-(1-y)log(1-p) \tag{1.1}L=−ylog(p)−(1−y)log(1−p)(1.1)p为预测概率，y是真实标签。\begin{equation}L(CE)=\left\{\begin{array}{ll}-log(p) \\-log(1-0) \\

背景标签平滑产生的背景是当我们的标注数据不能保证100%的准确性的时候，导致训练过程中过度的信赖标注，对训练效果产生比较大的影响。这个时候我们一般选用标签平滑的方式缓解这种问题。

今天突然思考一个问题，工作中我们面对各式各样的事情，然后工作的几年时间里也完成了很多事情，那么回头去看这些事情我们究竟做的怎么样呢？ 就像算法的工作，经常听到同学们讲目前的现状和未来的规划，然后也能发现目前的问题，那如何看待这个问题是否做的好呢？ 接下来想把自己的一点感悟记录下来。做出来所谓的做出来就是我们面对一个事情的最初反应， 交给你一个任务你怎么尽快的做出来一个版本交差，然后心安理得的领到月

图像算法能够能够取得比较好的效果十分依赖预处理做的好坏，这里介绍几种图像预处理的算法、二值化二值化是指将像素点的灰度值设置为0或者255的过程，使图像呈现明显的黑白效果。一方面可以减少数据的维度，另一方面可以通过排除原图中噪声带来的干扰，凸显轮廓信息，这种方法在OCR（文字识别）的任务中尤为重要。全局阈值法该方法是对输入的图形中所有的像素点统一进行固定阈值的。然后重构整个图像。图下图的形式。上图是

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

本文来介绍精度更高的内部解释模型GAMI-Net。GAMI-NetGAMI-Net模型在广义加性模型的基础上，引入了神经网络与特征交互的信息，同时增加了稀疏性、遗传限制、边界清晰度的准则，这使得模型的精度和解释性得到进一步的提升。模型定义传统的广义加性模型对每个特征会拟合一个光滑函数sj(X)s_{j}(X)sj​(X)，再将各个sj(X)s_{j}(X)sj​(X)的结果累加得到最终结果，sj(