图神经网络的发展经历了几个阶段，也体现了研究工作者在研究工作上精益求精的态度，接下来咱们一起看看这个发展历程。基于谱分解的方法基于谱分解的方式是2014年提出的，Spectral Network在傅里叶中定义了卷积的运算。该运算可以被定义为信号x（每个节点对应该向量中的一个标量）和一个卷积核gθ=diag(θ)g_{\theta}=diag(\theta)gθ​=diag(θ)的乘积gθ⋆x=Ug

前面的章节中讲解了第一性原理，第二曲线是在假设第一性原理既定且正确的情况下，进行第二曲线创新。创新不等于发明创造这经常是生活中面临的一个误区，有些同学在工作中往往没有成就感，主要原因是感觉自己做的工作都是既定的，所有的知识也是既定的，感觉自己成为了知识的搬运工啦。包括有些时候大家在讲解自己的工作的时候，多少都透漏这不自信，因为总是借鉴了这个借鉴啦那么，搞的自己一无是处。以上就是我们经常遇到的误区，

最近看到一本比较好的书籍，算是打破了天窗，这里分享给大家。 首先我们来看人类认识世界的两种方式。归纳法归纳法相信每个人都不会模型，这就是人们成长中必经的阶段，通过实践推导结论，把连续的经验推广到一切时空。然而并不是所有的事情都具有连续性，从而会陷入了归纳的谬论里。这里举一个小例子， 你在中国见到天鹅是白色的，然后你到了欧洲发现天鹅也是白色的，这个时候你心底就会认为，天鹅都是白色的。但是实际生活中是

咱们先通过一个例子来引出今天的话题。大家一直怀疑避孕药会在女性的身体形成血栓，同时还能降低怀孕率。怀孕又对血栓的形成具有负面的作用（怀孕导致血栓的形成。）所以如果我们想要探索避孕药和血栓形成的关系仅仅通过控制中间变量怀孕是不足够看清楚关系的。必须要对那些使用避孕药之前就怀孕的，以及通过非药物手段进行避孕的女性进行研究。详细的说是通过条件化中间变量（怀孕），即使避孕药和血栓形成没有直接效应，也可能产

本文介绍一下因果图中最经典的概念，d分离和前门准则和后门准则。d分离d分离在概率图中用来判断变量独立的一个很有效的方法，下面来看看D分离的定义。当路径p被结点集Z，d-分离（或被blocked掉）时，当且仅当以下条件成立： 1. 若p包含形式如下的链i->m->j 或i<-m->j，则结点m在集合Z中。2. 若p中包含collider（碰撞点）i->m<-j,则

DISN有用户历史行为虽然好，但是也需要节制。把用户的行为序列先分片(session) 能过滤掉一些噪声序列。DSIN 针对 DIN 和 DIEN 没有考虑用户历史行为中的 Session 信息，因为每个 Session 中的行为是相近的，而在不同 Session 之间的差别很大，它在 Session 层面上对用户的行为序列进行建模；MIMNMIMN算是本系列中，用户长期行为序列建模的开端，既然是

FFM 模型采用引入特征域的方式增强了模型的特征交叉能力，但无论如何， FFM 只能做二阶的特征交叉，如果继续提高特征交叉的维度，会不可避免地产生 组合爆炸和计算复杂度过高的问题。那么就引入今天要说的新的模型趋势LR+GBDTLR+GBDT模型的结构如图1所示。用 GBDT 构建特征工程，利用 LR 预估 CTR 这两步是独立 训练的，所以不存在如何将 LR 的梯度回传到 GBDT 这类复杂的问题

本节主要讲完整数据集下的参数学习， 在贝叶斯网络中参数就是计算路径概率的时候，每条连边的概率。对于这个概率主要有两种做法，这一种是 频率学派， 一种贝叶斯学派。频率学派这种方法是最容易理解和做的，直接调过证明过程，看一个小例子。看如图1的概率关系。MFRm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badNm0m

上一个章节中，讲到了贝叶斯网络常用的评分函数，本节主要讲下搜索的算法，搭配上搜索算法，对于贝叶斯网络的结构学习就完整啦。贝叶斯网络的结构学习问题是一个NP-hard问题，所以实际上计算中并不是对所有的结构分别计算并且评分的，而是采用搜索算法按照某种评分在可能的拓扑结构中进行搜索来获取结构。最基本的搜索算法是启发式的局部搜索算法，主要是K2搜索，Hill-climbing算法、随机重复爬山算法、禁忌

本节介绍在完整数据集合下如何来构建概率图的模型。主要分为两个部分，一部分是结构的学习，一部分是参数的学习。结构学习基于评分-搜索的结构学习基于评分-搜索的结构学习主要有两部分组成，就是评分函数和搜索算法。常用的评分函数有BDe评分函数。MDL评分函数和BIC评分函数，搜算法包括启发式局部搜索算法和全局搜索算法。BDe评分函数基于BDe评分函数的结构学习是以贝叶斯统计学为理论基础的，主要的思想是假设

贝叶斯网络一般是指带有概率信息的有向无环图。贝叶斯网络的信息有两部分组成。首先是表示独立信息的一个网络结构S，S中每个节点表示特定域中的一个概念或者变量，节点间的弧表示了可能的因果关系，体现了域知识的特征。其次每个节点都负有一个与该变量相联系的概率分布函数(CPD)， 如果概率是离散的，那么在给定了父母节点的时候取不同值的条件概率表(CPT).CPT体现了域知识的定量方面的特征。可见，贝叶斯网络是

本节主要介绍为贝叶斯网络网络开个头，介绍一些名词和背景知识。贝叶斯网络对于概率图而言是一个很大的话题，以边的属性作为区分可以分为两种模型，有向图模型和无向图模型。其中无向图称为马尔可夫网络，视觉领域有比较大的应用，而有向图也就是BN(belief network).当然也有无向图和有向图相结合的网络，称为链图（Chain graph）。图1给出了一个完整的架构，当然这些模型具有一定的转换性，通过降