[{"source":{"position":8,"lines":["$$\begin{gathered}\\zeta=\\zeta_0+\\lambda \\zeta_\\{reg\\} \\tag\\{1.1\\}\end{gathered}$$"],"changePosition":null},"target":{"position":8,"lines":["$$\begin{gathered}","\\zeta=\\zeta_0+\\lambda \\zeta_{reg} \\tag{1.1}","\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":10,"lines":["其中$\\zeta_\\{reg\\}$,公式如下"],"changePosition":null},"target":{"position":12,"lines":["其中$\\zeta_{reg}$,公式如下"],"changePosition":null},"type":"CHANGE"},{"source":{"position":12,"lines":["$$\begin{gathered}\\zeta_\\{reg\\} = \\sum_\\{ij\\} A_\\{ij\\}||f(X_i)-f(X_j)||^2\end{gathered}$$"],"changePosition":null},"target":{"position":14,"lines":["$$\begin{gathered}\\zeta_{reg} = \\sum_{ij} A_{ij}||f(X_i)-f(X_j)||^2\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":22,"lines":["这样一来，拉普拉斯矩阵的意义就比较明显了，它是一种基于欧式距离的测度，如果$w_\\{ij\\}=1$,上式对应就是多个数据点的距离之和，同时也可以看出：D对应二次项，W对应不同一次项相乘。拉普拉斯矩阵是半正定的，且对应的n个实数特征值都大于等于0"],"changePosition":null},"target":{"position":24,"lines":["这样一来，拉普拉斯矩阵的意义就比较明显了，它是一种基于欧式距离的测度，如果$w_{ij}=1$,上式对应就是多个数据点的距离之和，同时也可以看出：D对应二次项，W对应不同一次项相乘。拉普拉斯矩阵是半正定的，且对应的n个实数特征值都大于等于0"],"changePosition":null},"type":"CHANGE"},{"source":{"position":26,"lines":["$\\zeta_0$,就是普通的损失函数，而关键的$\\zeta_\\{reg\\}$我们可以好好看一下，$f(.)$表示可以通使用神经网络转换的可微函数，$\\lambda$是一个权重系数，$X$是节点的特征向量，$\\bigtriangleup=D-A$，表示非规范化的拉普拉斯矩阵。$A$就是一个图的邻接矩阵，$D_\\{ii\\}=\\sum_\\{j\\} A_\\{ij\\}$表示一个图的度矩阵。"],"changePosition":null},"target":{"position":28,"lines":["$\\zeta_0$,就是普通的损失函数，而关键的$\\zeta_{reg}$我们可以好好看一下，$f(.)$表示可以通使用神经网络转换的可微函数，$\\lambda$是一个权重系数，$X$是节点的特征向量，$\\bigtriangleup=D-A$，表示非规范化的拉普拉斯矩阵。$A$就是一个图的邻接矩阵，$D_{ii}=\\sum_{j} A_{ij}$表示一个图的度矩阵。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":28,"lines":["我们可以理解一下$\\zeta_\\{reg\\}$,先来看$\\sum_\\{j\\} A_\\{ij\\}$，表示$i,j$节点的度矩阵，然后节点$i,j$节点经过函数$f$转换后做差，然后与我们的度矩阵相乘，也就是是这个公式中能够看出，这个公式成立的先决条件是，节点之间的相连，我们两个的标签就越一样，这个假设太严格了，极大限制模型能力，因为节点相连不一定都是相似，但会包含附加信息。"],"changePosition":null},"target":{"position":30,"lines":["我们可以理解一下$\\zeta_{reg}$,先来看$\\sum_{j} A_{ij}$，表示$i,j$节点的度矩阵，然后节点$i,j$节点经过函数$f$转换后做差，然后与我们的度矩阵相乘，也就是是这个公式中能够看出，这个公式成立的先决条件是，节点之间的相连，我们两个的标签就越一样，这个假设太严格了，极大限制模型能力，因为节点相连不一定都是相似，但会包含附加信息。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":34,"lines":["1. 基于空间的方法(spatial domain):将图数据规则化，这样就可以直接用CNN来处理了","2. 基于谱方法(spectral domain):利用谱图理论（spectral graph theory）直接处理图数据，本文是该类方法的代表作，简短介绍下相关的工作。"],"changePosition":null},"target":{"position":36,"lines":["1. 基于空间的方法(spatial domain):将图数据规则化，这样就可以直接用CNN来处理了","2. 基于谱方法(spectral domain):利用谱图理论（spectral graph theory）直接处理图数据，本文是该类方法的代表作，简短介绍下相关的工作。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":41,"lines":["$$\begin{gathered}g_\\theta \\star x = U g_\\theta U^T x \\tag\\{1.2\\}\end{gathered}$$"],"changePosition":null},"target":{"position":43,"lines":["$$\begin{gathered}g_\\theta \\star x = U g_\\theta U^T x \\tag{1.2}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":49,"lines":["$$\begin{gathered}A=Q \\sum Q^\\{-1\\} \\tag\\{1.3\\}\end{gathered}$$"],"changePosition":null},"target":{"position":51,"lines":["$$\begin{gathered}A=Q \\sum Q^{-1} \\tag{1.3}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":57,"lines":["$U$是拉普拉斯矩阵$L = I_N - D\\^{-\\frac{1}{2}} A D\\^{\\frac{1}{2}}=U\\Lambda U\\^T$的特征向量，$\\Lambda$是由特征值组成的度矩阵，$U\\^TX$表示对图上的特征$x$的傅立叶变换，那么我们会发现，公式1.2中其实$g_\\theta$是一个关于矩阵$A$的特征值的函数，看样子已经说的明白啦，但是有个问题，这个计算的复杂度可是不低，$O(n\\^2)$,所以我们需要简化这个计算。"],"changePosition":null},"target":{"position":59,"lines":["$U$是拉普拉斯矩阵$L = I_N - D^{-\\frac{1}{2}} A D^{\\frac{1}{2}}=U\\Lambda U^T$的特征向量，$\\Lambda$是由特征值组成的度矩阵，$U^TX$表示对图上的特征$x$的傅立叶变换，那么我们会发现，公式1.2中其实$g_\\theta$是一个关于矩阵$A$的特征值的函数，看样子已经说的明白啦，但是有个问题，这个计算的复杂度可是不低，$O(n^2)$,所以我们需要简化这个计算。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":63,"lines":["$$\begin{gathered}g_\\theta(\\Lambda)=\\sum^\\{K\\}_\\{k=0\\}\\theta_k'T_k(\\vec\\{\\Lambda\\}) \\tag\\{1.4\\}\end{gathered}$$"],"changePosition":null},"target":{"position":65,"lines":["$$\begin{gathered}g_\\theta(\\Lambda)=\\sum^{K}_{k=0}\\theta_k'T_k(\\vec{\\Lambda}) \\tag{1.4}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":65,"lines":["这里的$\\vec\\{\\Lambda\\}=\\frac\\{2\\}\\{\\lambda\\}\\Lambda-I_N$,$\\lambda$代表的是矩阵L的最大特征值，$\\theta_k'$表示的是切比雪夫系数。$T_k$表示的是切比雪夫多项式,$T_k(x)=2xT_\\{k-1\\}-T_\\{k-2\\}(x)$."],"changePosition":null},"target":{"position":67,"lines":["这里的$\\vec{\\Lambda}=\\frac{2}{\\lambda}\\Lambda-I_N$,$\\lambda$代表的是矩阵L的最大特征值，$\\theta_k'$表示的是切比雪夫系数。$T_k$表示的是切比雪夫多项式,$T_k(x)=2xT_{k-1}-T_{k-2}(x)$."],"changePosition":null},"type":"CHANGE"},{"source":{"position":69,"lines":["$$\begin{gathered}g_\\theta \\star x=\\sum_\\{k=0\\}^\\{K\\}\\theta_k'T_k(\\vec\\{L\\})x \\tag\\{1.5\\}\end{gathered}$$"],"changePosition":null},"target":{"position":71,"lines":["$$\begin{gathered}g_\\theta \\star x=\\sum_{k=0}^{K}\\theta_k'T_k(\\vec{L})x \\tag{1.5}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":71,"lines":["$\\vec\\{L\\}=\\frac\\{2\\}\\{\\lambda\\}L-I_N$,卷积的k阶邻居的特征，$(U\\Lambda U\\^T)\\^k=U\\Lambda\\^kU\\^T$."],"changePosition":null},"target":{"position":73,"lines":["$\\vec{L}=\\frac{2}{\\lambda}L-I_N$,卷积的k阶邻居的特征，$(U\\Lambda U^T)^k=U\\Lambda^kU^T$."],"changePosition":null},"type":"CHANGE"},{"source":{"position":79,"lines":["$$\begin{gathered}H^{l+1}=\\delta(\\vec\\{D\\}\\^\\{-\\frac{1}{2}\\} \\vec\\{A\\}\\vec\\{D\\}\\^\\{-\\frac{1}{2}\\} H\\^t W\\^l) \\tag\\{1.6\\}\end{gathered}$$"],"changePosition":null},"target":{"position":81,"lines":["$$\begin{gathered}H^{l+1}=\\delta(\\vec{D}^{-\\frac{1}{2}} \\vec{A}\\vec{D}^{-\\frac{1}{2}} H^t W^l) \\tag{1.6}\end{gathered}$$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":81,"lines":["$H\\^l$是上一层的输出，$H\\^0$是节点自身特征， $\\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\} \\vec\\{A\\} \\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\} H\\^l$为一阶近似卷积核，可以简单理解成加权平均邻接特征。"],"changePosition":null},"target":{"position":83,"lines":["$H^l$是上一层的输出，$H^0$是节点自身特征， $\\vec{D}^{-\\frac{1}{2}} \\vec{A} \\vec{D}^{-\\frac{1}{2}} H^l$为一阶近似卷积核，可以简单理解成加权平均邻接特征。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":83,"lines":["1.增加自循环，$\\vec\\{A\\}=A+I$,"],"changePosition":null},"target":{"position":85,"lines":["1.增加自循环，$\\vec{A}=A+I$,"],"changePosition":null},"type":"CHANGE"},{"source":{"position":85,"lines":["2.对$\\vec\\{A\\}$进行对称归一化，$\\vec\\{A\\}=\\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\} \\vec\\{A\\} \\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\}$，避免邻居数量越多，卷积后结果越大的情况以及考虑了邻居的度大小对卷积的影响。"],"changePosition":null},"target":{"position":87,"lines":["2.对$\\vec{A}$进行对称归一化，$\\vec{A}=\\vec{D}^{-\\frac{1}{2}} \\vec{A} \\vec{D}^{-\\frac{1}{2}}$，避免邻居数量越多，卷积后结果越大的情况以及考虑了邻居的度大小对卷积的影响。"],"changePosition":null},"type":"CHANGE"},{"source":{"position":105,"lines":["输入节点特征矩阵，$X\\in R\\^\\{N \\times C\\}$,以及邻接矩阵$A \\in R\\^\\{N \\times N\\}$"],"changePosition":null},"target":{"position":107,"lines":["输入节点特征矩阵，$X\\in R^{N \\times C}$,以及邻接矩阵$A \\in R^{N \\times N}$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":107,"lines":["预处理邻接矩阵A：$\\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\} \\vec\\{A\\} \\vec\\{D\\}\\^\\{-\\frac\\{1\\}\\{2\\}\\}$"],"changePosition":null},"target":{"position":109,"lines":["预处理邻接矩阵A：$\\vec{D}^{-\\frac{1}{2}} \\vec{A} \\vec{D}^{-\\frac{1}{2}}$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":109,"lines":["第一层卷积+ 非线性变换, $H\\^0=RELU(\\vec\\{A\\}XW)$"],"changePosition":null},"target":{"position":111,"lines":["第一层卷积+ 非线性变换, $H^0=RELU(\\vec{A}XW)$"],"changePosition":null},"type":"CHANGE"},{"source":{"position":113,"lines":["$H^1=softmax(\\vec\\{A\\}H\\^0W\\^1)$"],"changePosition":null},"target":{"position":115,"lines":["$H^1=softmax(\\vec{A}H^0W^1)$"],"changePosition":null},"type":"CHANGE"}]