协方差矩阵
在很多论文中都会提到协方差矩阵的概念,如果你不知道协方差矩阵是怎么来的就很难看懂论文,本文会介绍协方差矩阵是如何计算的?
首先我们来说下协方差, 协方差是衡量两列特征的相关度的,但是协方差矩阵又是什么呢?
我们先来看协方差是如何计算的?
COV(X,Y)=E[(X−μx)(Y−μy)]
协方差矩阵的定义
矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是按行排列。即每一行是一个observation(or sample),那么每一列就是一个随机变量。
协方差矩阵:
协方差矩阵的维度等于随机变量的个数,即每一个 observation 的维度。在某些场合前边也会出现 1 / m,而不是 1 / (m - 1).
协方差矩阵如何求解
举个例子,矩阵 X 按行排列:
1.求每个维度的平均值
2.将 X 的每一列减去平均值
ci=ci−ciˉ
3.计算协方差矩阵