今天遇到有一个比较有趣的问题， 我想做一个分类问题，预测用户下单的概率，但是我出了对这个下单的概率感兴趣以外，还对下单的总人数感兴趣，中间可能考虑一些补贴的事宜，这个时候就有一个比较有意思的问题， 对于分类问题我们一般关注AUC即可，那么对于这个场景我是否能只关注AUC呢？因为考虑到下单人数的计数，我也想关注MAE，然后就产生了一个很好的问题， AUC和RMSE是否是完全同向的， 以及我们分类使用

本文想介绍一下MSE这个优化函数，通过MSE这个损失函数来看机器学习中一些底层的理论。标准方程J(θ)=E[(y−y^)2](1.1)J(\theta)=E[(y-\hat{y})^{2}] \tag{1.1}J(θ)=E[(y−y^​)2](1.1)公式1.1是均方误差的一个简单的表示，很明显我们就是要求的一个参数能够使得J(θ)J(\theta)J(θ)最小。最小化的代价函数J(θ)J(\th

首先我们还是要从交叉熵的损失函数说起，如公式1.1L=−ylog(p)−(1−y)log(1−p)(1.1)L=-y log(p)-(1-y)log(1-p) \tag{1.1}L=−ylog(p)−(1−y)log(1−p)(1.1)p为预测概率，y是真实标签。\begin{equation}L(CE)=\left\{\begin{array}{ll}-log(p) \\-log(1-0) \\

对数损失对数损失是对预测概率的似然估计，标准形式如下$$logloss=-log\ P(Y|X)$$对数损失最小化的本质是利用样本的已知分布，求解导致这种分布的最佳模型参数，使得这种分布出现的概率最大。它的二分类形式为$$logloss=-\frac{1}{N} \sum_{i=1}^{N} (y*log^{p_{i}}+(1-y)*log^{p_{i}})$$logloss衡量的是预测概率分布和

之前的章节中我们知道，xgboot是可以根据不同场景自定义损失函数的，如果我有一个损失函数，那么我究竟如何通过自定义的方式给到xgb呢，以及我最终的一阶导数和二阶导数到底是相对谁而言的呢？自定义损失函数这里我通过一个完整的例子来看看如果我有一个损失函数，怎么使用到我的xgboost模型的。我们来看

多层感知机​首先我们来介绍多层感知机，其实根据字面的意思我们已经能够了解大半，就是将一个简单的感知机进行连接，其中层数可以任意挑选，中的维度都可以任意挑选。它的样式是这样的。结构比较简单，输入层进来以后就和隐藏层进行权重转换，直到输出层。它的激活函数不是我们在我们的系统上搜索[感知机]的文章中提到的

神经网络神经网络是比较初级的一个深度学习模型，但是它的变形有很多种，因为其不可解释的特性，也给这种模型蒙上一层面纱，本章就讲解这个神经网络。下图就是一个简单的神经网络的结构，从整体上看分为输入层、隐藏层、输出层。损失函数首先要确定损失函数是凸函数还是非凸函数，如果是凸函数，那么将会不依赖选取的初始值