今天要说的DIN模型是产自阿里巴巴推荐团队，它的应用场景是阿里巴巴的电商广告推荐。无论是用户还是广告，都含有两个非常重要的特征--商品id(good_id)和商铺id(shop_id)。用户特征里的商品id是一个序列， 代表用户曾经点击过的商品集合，商铺id 同理;而广告特征里的商品 id 和商铺 id 就是广告对应的商品 id 和商铺 id。基于base模型的一些缺点，例如用户特征组中的商品序列

讲过了Wide&Deep模型以后，貌似已经全面了，是不是就是重点了呢？ 其实还会有后文可以继续补充咱们的知识面。有请Deep&Cross网络登场。Deep&Cross模型之前咱们讲过使用简单模型增强网络的记忆功能， 实际上，我们还想进一步的增加它的交叉能力，所以顺理成章的引进了Cross网络进行补充，接下来咱们看一按下Deep&Cross模型的模型结构。设计Cros

Wide&Deep现在咱们就要看一下在推荐领域最经典的Wide&Deep模型了。被冠以集合了记忆和泛化能力的模型。其Wide 部分的主要作用是让模型具有较强的“记忆能力” memorization);Deep部分的主要作用是让模型具有“泛化能力”(generalization).记忆能力“记忆能力”可以被理解为模型直接学习并利用历史数据中物品或者特征的 “共现频率”的能力。般来说，

PNN加强特征交叉能力PNN 模型的提出同样是为了解决 CTR 预估和推荐系统的问题。对于上文中讲到的DeepCrossing模型，PNN模型在输人、Embedding层、多层 神经网络 以及最终的输出层部分并没有结构上的不同。唯一的区别在于 PNN 模型用乘积层 ProductLayer)代替了DeepCrossing模型中的Stacking层。也就 是说，不同特征的 Embedding 向量不

Deep Crossing简介Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。用户在搜索引擎中输人搜索词之后，搜索引擎除了会返回相关结果，还会返回与 搜索词相关的广告，这也是大多数搜索引擎的主要赢利模式。尽可能地增加搜索 广告的点击率，准确地预测广告点击率，并以此作为广告排序的指标之一 ，是非 常重要的工作，也是 Deep Crossing 模型的优化目标。核心

这个话题咱们要开启一个新的系列啦，尽可能的讲清楚推荐系统的演变过程，以及其中都需要那些问题，并做出什么样的改动，最终取得什么样的效果。希望你能学到一些历史的基础上，还能思考自己做事情的过程。上面是为数不多能把整个推荐发展过程讲清楚的一张图，接下来的章节中，咱们会按照这个图一点一点的讲清楚技术的发展历程。AutoRec 单隐层神经网络推荐模型AutoRec 模型是一个标准的自编码器，它的基本原理是利

对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲 率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

有时我们需要衡量一个矢量的大小。在机器学习中，我们经常使用称为 (norm)的函数来衡量矢量大小。形式上范数的定义如下。$$||x||_{p}=(\sum |x_{i}|^{p})^{\frac{1}{p}}$$

本文咱们来看下L1正则化的深入分析。L1正则化的表达形式如下$$||w||_{1}=\sum_{i} |w_{i}|$$通过上面的计算方式能够看出L1正则化的计算方式是将所有权重的绝对值求和。接下来还是从线性回归中看L1正则化的影响。$$\bar{J}(w;X;y)=\alpha ||w||_{1} + J(w; X;y)$$对应的梯度为$$\triangledown_{w} \bar{J}(w;

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

对数损失对数损失是对预测概率的似然估计，标准形式如下$$logloss=-log\ P(Y|X)$$对数损失最小化的本质是利用样本的已知分布，求解导致这种分布的最佳模型参数，使得这种分布出现的概率最大。它的二分类形式为$$logloss=-\frac{1}{N} \sum_{i=1}^{N} (y*log^{p_{i}}+(1-y)*log^{p_{i}})$$logloss衡量的是预测概率分布和

多臂赌博机问题 ( Multi-armed bandit problem, K-armed bandit problem, MAB )。相比大家都是知道的，就是有多个把手每次坂动一个把手的时候会有不同的收益，也可能没有收益，那么怎么做才能知道收益最大的方法呢？这就是一个典型的如何分配Explore和Exploit的次数的问题，就是著名的探索-利用困境(Explore-Exploit dilemma