范数
有时我们需要衡量一个矢量的大小。在机器学习中，我们经常使用称为 (norm)的函数来衡量矢量大小。形式上范数的定义如下。
∣∣x∣∣p=(∑∣xi∣p)p1
就称为Lp范数，范数的物理含义表示的是当前点x到原点的距离，当p=2的时候就是熟知的欧几里得范数，也就是表达x到原点的欧几里得距离，而L2范数也经常表示为xTx. 这里有个冷知识，其实L2范数在机器学习的时候并不是特别受欢迎，特别是区分恰好是零的元素和非零但值很小的元素是很重要的场景下。这个时候一般会比较倾向于使用L1范数，也就是每个元素的绝对值之和的形式。
对角矩阵
对角矩阵(diagonal matrix)只在主对角线上含有非零元素，其他位置 都是零。对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。如果想把对角矩阵放大n倍，只需要将对角线上的元素乘以n就可以啦。而且对角矩阵还有一个很好的特性是，当对角元素都不为0的情况下，会有如下关系
diag(v)−1=[v11,v21,..,vn1]
通过这样的方式求逆矩阵十分简单且快捷。
对称(symmetric)矩阵
对称矩阵是转置和自己相等的矩阵。即满足如下表达式。
AT=A
正交矩阵
正交矩阵(orthogonal matrix)指行矢量和列矢量是分别标准正交的方阵。
什么是标准正交呢？
当xTy=0,那么矢量x和矢量y相互正交，如果两个矢量都有非0范数，那么两个矢量夹角90度，在n维空间内，至多有n个范数非零矢量互相正交。如果这些矢量不但互相正交，而 且范数都为1，那么我们称它们是(orthonormal)。
正交矩阵满足如下的表达式
ATA=IA−1=AT
正交矩阵受到关注是因为求逆计算代价小。我们需要注意正交矩阵的定 义。违反直觉的是，正交矩阵的行矢量不仅是正交的，还是标准正交 的。对于行矢量或列矢量互相正交但不是标准正交的矩阵，没有对应的专有术语。