数学之协方差矩阵

协方差矩阵

在很多论文中都会提到协方差矩阵的概念,如果你不知道协方差矩阵是怎么来的就很难看懂论文,本文会介绍协方差矩阵是如何计算的?

首先我们来说下协方差, 协方差是衡量两列特征的相关度的,但是协方差矩阵又是什么呢?

我们先来看协方差是如何计算的?

COV(X,Y)=E[(Xμx)(Yμy)]COV(X, Y)=E[(X-\mu_x)(Y-\mu_y)]

协方差矩阵的定义

矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是按行排列。即每一行是一个observation(or sample),那么每一列就是一个随机变量。

covariance_matrix_0.gif

协方差矩阵:

covariance_matrix_1.gif

协方差矩阵的维度等于随机变量的个数,即每一个 observation 的维度。在某些场合前边也会出现 1 / m,而不是 1 / (m - 1).

协方差矩阵如何求解

举个例子,矩阵 X 按行排列:

covariance_matrix_2.gif

1.求每个维度的平均值

covariance_matrix_3.gif

2.将 X 的每一列减去平均值

covariance_matrix_4.gif

ci=ciciˉc_i=c_i-\bar{c_i}

3.计算协方差矩阵

covariance_matrix_5.gif

# math 
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×