今天遇到有一个比较有趣的问题， 我想做一个分类问题，预测用户下单的概率，但是我出了对这个下单的概率感兴趣以外，还对下单的总人数感兴趣，中间可能考虑一些补贴的事宜，这个时候就有一个比较有意思的问题， 对于分类问题我们一般关注AUC即可，那么对于这个场景我是否能只关注AUC呢？因为考虑到下单人数的计数，我也想关注MAE，然后就产生了一个很好的问题， AUC和RMSE是否是完全同向的， 以及我们分类使用

首先我们还是要从交叉熵的损失函数说起，如公式1.1L=−ylog(p)−(1−y)log(1−p)(1.1)L=-y log(p)-(1-y)log(1-p) \tag{1.1}L=−ylog(p)−(1−y)log(1−p)(1.1)p为预测概率，y是真实标签。\begin{equation}L(CE)=\left\{\begin{array}{ll}-log(p) \\-log(1-0) \\

背景标签平滑产生的背景是当我们的标注数据不能保证100%的准确性的时候，导致训练过程中过度的信赖标注，对训练效果产生比较大的影响。这个时候我们一般选用标签平滑的方式缓解这种问题。

对数损失对数损失是对预测概率的似然估计，标准形式如下$$logloss=-log\ P(Y|X)$$对数损失最小化的本质是利用样本的已知分布，求解导致这种分布的最佳模型参数，使得这种分布出现的概率最大。它的二分类形式为$$logloss=-\frac{1}{N} \sum_{i=1}^{N} (y*log^{p_{i}}+(1-y)*log^{p_{i}})$$logloss衡量的是预测概率分布和

RankNet是一种pairwise的排序方法，它将排序问题转换为比较$<d_{i},d_{j}>$对的排序概率问题，即比较$d_{i}$排在$d_{j}$前面的概率。RankNet提出了一种概率损失函数来学习排序模型，并通过排序模型对文档进行排序。这里的排序模型可以是任意对参数可微的模型，如增强树、神经网络等。

熵熵的计算公式为:$$H(x)=-\sump(x)log^{p(x)}$$这个公司我们并不陌生，在决策树切割的时候会记住熵增益，逻辑回归的损失函数交叉熵函数等，那我们今天就来认识不用的熵有何种物理意义。若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小条件熵假设随机变量(X,Y