今天要讲的这个网络同样是出自阿里巴巴，这个模型能够被提出来的核心点是阿里巴巴想通过模型模拟了用户兴趣的进化过程。玄乎一点就是想你和用户兴趣转移过程，这一点被提出来还是十分吸引人的。那么接下来咱们就看看DIEN的“进化”动机。DIEN模型上文提到了，如果想要刻画出用户兴趣转移应该从哪方面入手呢？ 刻画一个事务的变化过程一定是通过一个序列进行表达是最合适的，所以大方向确定了，接下来咱们看看是如何使用的

今天要说的DIN模型是产自阿里巴巴推荐团队，它的应用场景是阿里巴巴的电商广告推荐。无论是用户还是广告，都含有两个非常重要的特征--商品id(good_id)和商铺id(shop_id)。用户特征里的商品id是一个序列， 代表用户曾经点击过的商品集合，商铺id 同理;而广告特征里的商品 id 和商铺 id 就是广告对应的商品 id 和商铺 id。基于base模型的一些缺点，例如用户特征组中的商品序列

讲过了Wide&Deep模型以后，貌似已经全面了，是不是就是重点了呢？ 其实还会有后文可以继续补充咱们的知识面。有请Deep&Cross网络登场。Deep&Cross模型之前咱们讲过使用简单模型增强网络的记忆功能， 实际上，我们还想进一步的增加它的交叉能力，所以顺理成章的引进了Cross网络进行补充，接下来咱们看一按下Deep&Cross模型的模型结构。设计Cros

Wide&Deep现在咱们就要看一下在推荐领域最经典的Wide&Deep模型了。被冠以集合了记忆和泛化能力的模型。其Wide 部分的主要作用是让模型具有较强的“记忆能力” memorization);Deep部分的主要作用是让模型具有“泛化能力”(generalization).记忆能力“记忆能力”可以被理解为模型直接学习并利用历史数据中物品或者特征的 “共现频率”的能力。般来说，

PNN加强特征交叉能力PNN 模型的提出同样是为了解决 CTR 预估和推荐系统的问题。对于上文中讲到的DeepCrossing模型，PNN模型在输人、Embedding层、多层 神经网络 以及最终的输出层部分并没有结构上的不同。唯一的区别在于 PNN 模型用乘积层 ProductLayer)代替了DeepCrossing模型中的Stacking层。也就 是说，不同特征的 Embedding 向量不

Deep Crossing简介Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。用户在搜索引擎中输人搜索词之后，搜索引擎除了会返回相关结果，还会返回与 搜索词相关的广告，这也是大多数搜索引擎的主要赢利模式。尽可能地增加搜索 广告的点击率，准确地预测广告点击率，并以此作为广告排序的指标之一 ，是非 常重要的工作，也是 Deep Crossing 模型的优化目标。核心

这个话题咱们要开启一个新的系列啦，尽可能的讲清楚推荐系统的演变过程，以及其中都需要那些问题，并做出什么样的改动，最终取得什么样的效果。希望你能学到一些历史的基础上，还能思考自己做事情的过程。上面是为数不多能把整个推荐发展过程讲清楚的一张图，接下来的章节中，咱们会按照这个图一点一点的讲清楚技术的发展历程。AutoRec 单隐层神经网络推荐模型AutoRec 模型是一个标准的自编码器，它的基本原理是利

对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲 率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

有时我们需要衡量一个矢量的大小。在机器学习中，我们经常使用称为 (norm)的函数来衡量矢量大小。形式上范数的定义如下。$$||x||_{p}=(\sum |x_{i}|^{p})^{\frac{1}{p}}$$

本文咱们来看下L1正则化的深入分析。L1正则化的表达形式如下$$||w||_{1}=\sum_{i} |w_{i}|$$通过上面的计算方式能够看出L1正则化的计算方式是将所有权重的绝对值求和。接下来还是从线性回归中看L1正则化的影响。$$\bar{J}(w;X;y)=\alpha ||w||_{1} + J(w; X;y)$$对应的梯度为$$\triangledown_{w} \bar{J}(w;

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

对数损失对数损失是对预测概率的似然估计，标准形式如下$$logloss=-log\ P(Y|X)$$对数损失最小化的本质是利用样本的已知分布，求解导致这种分布的最佳模型参数，使得这种分布出现的概率最大。它的二分类形式为$$logloss=-\frac{1}{N} \sum_{i=1}^{N} (y*log^{p_{i}}+(1-y)*log^{p_{i}})$$logloss衡量的是预测概率分布和