本文主要讲解使用梯度下降算法迭代熟悉的MSE损失函数。J(θ)=E[(y−θTx)2]=σy2−2θTp+θTϕθJ(\theta)=E[(y-\theta^{T}x)^{2}] \\=\sigma_{y}^{2}-2\theta^{T}p + \theta^{T} \phi \thetaJ(θ)=E[(y−θTx)2]=σy2​−2θTp+θTϕθMSE可以看上面这个博文了解上面这个公式。其中ϕ

本文想介绍一下MSE这个优化函数，通过MSE这个损失函数来看机器学习中一些底层的理论。标准方程J(θ)=E[(y−y^)2](1.1)J(\theta)=E[(y-\hat{y})^{2}] \tag{1.1}J(θ)=E[(y−y^​)2](1.1)公式1.1是均方误差的一个简单的表示，很明显我们就是要求的一个参数能够使得J(θ)J(\theta)J(θ)最小。最小化的代价函数J(θ)J(\th

学习了很长时间的因果知识，人们经常想通过因果关系的发现，尽可能的解答反事实的问题，那么什么是反事实呢？ 白话的表达是， 当你做了动作A以后，如果不做会有什么样的后果就是一种因果表达。例如“如果选择复读，是否能考上清华的问题？”反事实因果模型我们先来介绍因果模型的一种形式化的定义。因果模型是一个三元组的模型，M=<U,V,F>M=<U,V,F>M=<U,V,F>.

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

首先我们还是要从交叉熵的损失函数说起，如公式1.1L=−ylog(p)−(1−y)log(1−p)(1.1)L=-y log(p)-(1-y)log(1-p) \tag{1.1}L=−ylog(p)−(1−y)log(1−p)(1.1)p为预测概率，y是真实标签。\begin{equation}L(CE)=\left\{\begin{array}{ll}-log(p) \\-log(1-0) \\

背景标签平滑产生的背景是当我们的标注数据不能保证100%的准确性的时候，导致训练过程中过度的信赖标注，对训练效果产生比较大的影响。这个时候我们一般选用标签平滑的方式缓解这种问题。

图像算法能够能够取得比较好的效果十分依赖预处理做的好坏，这里介绍几种图像预处理的算法、二值化二值化是指将像素点的灰度值设置为0或者255的过程，使图像呈现明显的黑白效果。一方面可以减少数据的维度，另一方面可以通过排除原图中噪声带来的干扰，凸显轮廓信息，这种方法在OCR（文字识别）的任务中尤为重要。全局阈值法该方法是对输入的图形中所有的像素点统一进行固定阈值的。然后重构整个图像。图下图的形式。上图是

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

本文来介绍精度更高的内部解释模型GAMI-Net。GAMI-NetGAMI-Net模型在广义加性模型的基础上，引入了神经网络与特征交互的信息，同时增加了稀疏性、遗传限制、边界清晰度的准则，这使得模型的精度和解释性得到进一步的提升。模型定义传统的广义加性模型对每个特征会拟合一个光滑函数sj(X)s_{j}(X)sj​(X)，再将各个sj(X)s_{j}(X)sj​(X)的结果累加得到最终结果，sj(

咱们继续讲解可解释性机器学习，咱们开始一起来看看一些算法啦。先从简单的算法开始。

这个系列介绍一下模型的可解释性，这一部分经常被算法同学忽略掉，其实也经常有同学不被其他的业务线理解，感觉算法同学是不是在撞大运。是否真的能对自己学习出来的模型负责。为什么要有模型解释性这个时候你是否会问，我模型效果好就行呗，为啥还要搞这个可解释性，有那个功夫我多做几个模型是不是就好了。其实这个是一个好的问题，算法同学对业务的产出只能是模型吗，模型数量代表工作量吗？这个也是我之前错误认知的理念。 目

看了第一性原理一段时间了，其实工作中遇到了一些问题，其实并不是对错问题， 就是感觉看待事物的角度上会有一些显著的变化。从上往下看问题 or 从下往上看问题从下往上看问题从下往上看问题， 看到都是”问题“， 都是”缺点“。就像我们自己一样，让你找到身上的缺点，你能挑出来一大堆，这个时候你要把所有的精力全部投入进去改正缺点吗？你会发现过的巨累，但是不一定是越来越好的！映射工作中，这几年被炒的比较热的”