[{"source":{"position":2,"lines":["xgboost可能是现在用的最多的模型了，炒的火热的深度学习解决实际业务的落地点还是比价少的，比起这种可解释模型，在工程界可能更加受追捧。"],"changePosition":null},"target":{"position":2,"lines":["xgboost可能是现在用的最多的模型了，炒的火热的深度学习解决实际业务的落地点还是比较少的，比起这种可解释模型，在工程界可能更加受追捧。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":29,"lines":[""],"changePosition":null},"target":{"position":29,"lines":[],"changePosition":null},"type":"DELETE"},{"source":{"position":73,"lines":["假设我们正在优化第11棵CART树，也就是说前10棵 CART树已经确定了。这10棵树对样本$(x_i,y_i=1)$的预测值是$y\\^i=-1$，假设我们现在是做分类，我们的损失函数是交叉熵."],"changePosition":null},"target":{"position":72,"lines":["假设我们正在优化第11棵CART树，也就是说前10棵 CART树已经确定了。这10棵树对样本$(x_i,y_i=1)$的预测值是$y^i=-1$，假设我们现在是做分类，我们的损失函数是交叉熵."],"changePosition":null},"type":"CHANGE"},{"source":{"position":75,"lines":["$$\begin{gathered}L=\\sum y\\^i ln(1+e\\^\\{-y\\^i\\}) + (1-y\\^i)ln(1+e\\^\\{y\\^i\\})\end{gathered}$$"],"changePosition":null},"target":{"position":74,"lines":["$$\begin{gathered}L=\\sum y^i ln(1+e^{-y^i}) + (1-y^i)ln(1+e^{y^i})\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":78,"lines":["$$\begin{gathered}L=ln(1+e\\^\\{-y\\^i\\})\end{gathered}$$"],"changePosition":null},"target":{"position":77,"lines":["$$L=ln(1+e^{-y^i})$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":82,"lines":["$$\begin{gathered}\\frac\\{-e\\^y\\}\\{1+e\\^y\\}\end{gathered}$$"],"changePosition":null},"target":{"position":81,"lines":["$$\begin{gathered}\\frac{-e^y}{1+e^y}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":84,"lines":["将$y=-1$带入，就得到了-0.27=g，这个值是负的，也就是说，如果我们想要减小这10棵树在该样本点上的预测损失，我们应该沿着梯度的反方向去走，也就是要增大$y\\^i$ 的值,使其趋向于正，因为我们的$y_i=1$就是正的。你也许会说，这肯定要计算很多个g和h，对的 你说的很对，但是想想这些g和h的计算是独立的，无非就是并行程度就能解决这些计算量，所以对我们来说也是好事。"],"changePosition":null},"target":{"position":83,"lines":["将$y=-1$带入，就得到了-0.27=g，这个值是负的，也就是说，如果我们想要减小这10棵树在该样本点上的预测损失，我们应该沿着梯度的反方向去走，也就是要增大$y^i$ 的值,使其趋向于正，因为我们的$y_i=1$就是正的。你也许会说，这肯定要计算很多个g和h，对的 你说的很对，但是想想这些g和h的计算是独立的，无非就是并行计算就能解决这些计算量，所以对我们来说也是好事。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":94,"lines":["其实我们还有一个问题灭有解决，那就是正则化项去哪里了，这个其实是我们之前回避的一个问题，那么现在我们来好好说说。让我们来重新定义$f(x)$，"],"changePosition":null},"target":{"position":93,"lines":["其实我们还有一个问题没有解决，那就是正则化项去哪里了，这个其实是我们之前回避的一个问题，那么现在我们来好好说说。让我们来重新定义$f(x)$，"],"changePosition":null},"type":"CHANGE"},{"source":{"position":106,"lines":["当然这所以这么定义，完全是经验的结果。"],"changePosition":null},"target":{"position":105,"lines":["当然之所以这么定义，完全是经验的结果。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":133,"lines":["看看咱们对于$w\\^*$的解释，加入分到第j个叶子上的节点只有一个对象，那w应该是什么样子。"],"changePosition":null},"target":{"position":132,"lines":["看看咱们对于$w^*$的解释，加入分到第j个叶子上的节点只有一个对象，那w应该是什么样子。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":135,"lines":["$$\begin{gathered}w*=\\frac\\{1\\}\\{h_j+\\lambda\\} (-g_j)\end{gathered}$$"],"changePosition":null},"target":{"position":134,"lines":["$$\begin{gathered}w*=\\frac{1}{h_j+\\lambda} (-g_j)\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":137,"lines":["咱们是不是可以这么看，$\\frac\\{1\\}\\{h_j+\\lambda\\}$ 这个就是学习率，而$(-g_j)$很显然是一阶导数也就是梯度的负方向。"],"changePosition":null},"target":{"position":136,"lines":["咱们是不是可以这么看，$\\frac{1}{h_j+\\lambda}$ 这个就是学习率，而$(-g_j)$很显然是一阶导数也就是梯度的负方向。"],"changePosition":null},"type":"CHANGE"}]