今天来讲一个有趣的话题， 如何训练一个好的模型呢？如果让你训练一个模型， 效果不好， 你会从哪些方面入手呢？ 下面我们就一个一个说， 从上到下应该越来天花板越低。特征丰富程度这一节就是我们经常提到的特征工程。特征利用率数据增强程度模型拟合能力模型拟合成本

今天遇到有一个比较有趣的问题， 我想做一个分类问题，预测用户下单的概率，但是我出了对这个下单的概率感兴趣以外，还对下单的总人数感兴趣，中间可能考虑一些补贴的事宜，这个时候就有一个比较有意思的问题， 对于分类问题我们一般关注AUC即可，那么对于这个场景我是否能只关注AUC呢？因为考虑到下单人数的计数，我也想关注MAE，然后就产生了一个很好的问题， AUC和RMSE是否是完全同向的， 以及我们分类使用

今天想和大家讲解

今天来讨论一个问题，就是xgboost是否能支持类似多任务学习的事情呢?之前听到这个问题还是挺惊奇的，这竟然也可以，今天查阅了部分相关的资料，发现竟然真的可以，我们知道深度学习中的多任务学习是通过一个共享层，建立各个任务之间的关系，通过构建多个任务的帕累托最优解,从而解决多任务的问题，而xgb选择了使用树一条路走到黑，接下来咱们来看看xgb是如何实现多任务学习的。

今天这章主要介绍一些聚类算法。

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

二阶优化牛顿法

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

本文主要讲解使用梯度下降算法迭代熟悉的MSE损失函数。J(θ)=E[(y−θTx)2]=σy2−2θTp+θTϕθJ(\theta)=E[(y-\theta^{T}x)^{2}] \\=\sigma_{y}^{2}-2\theta^{T}p + \theta^{T} \phi \thetaJ(θ)=E[(y−θTx)2]=σy2​−2θTp+θTϕθMSE可以看上面这个博文了解上面这个公式。其中ϕ