如何理解特征值和特征向量

学完线性代数的同学,可能会对线性代数的很多概念有所疑惑.

这个东西有什么用?那个玩意定义出来有什么意义?

本文将探讨线性代数中及其重要的两个概念:特征值与特征向量.

(PS:下文中的矩阵A均认为是方阵)

从一般的角度看，这个映射无非就是矩阵乘向量，说得具体一点，就是$n$次的向量点积计算。(矩阵的一行乘上向量，并对结果向量的所有元素求和，就是一次点积)

错!实际上,这个映射本质是一个缩放操作.

举一个简单的例子，矩阵$A=\left(\begin{array}{cc}4& -2\\ 3& -1\end{array}\right)$，它的特征值分别是2和1,特征向量是$\left(\begin{array}{c}1\\ 1\end{array}\right)$和$\left(\begin{array}{c}2\\ 3\end{array}\right)$。

设向量$\overrightarrow{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)$，那么显然结果$\overrightarrow{y}=A\overrightarrow{x}=\left(\begin{array}{c}0\\ 1\end{array}\right)$。

我们使用另一种方法计算，首先我们将$\overrightarrow{x}$表示成特征向量$\left(\begin{array}{c}1\\ 1\end{array}\right)$和$\left(\begin{array}{c}2\\ 3\end{array}\right)$的线性组合。即

$$\overrightarrow{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)=-1\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$$

然后,我们将特征值和对应的系数相乘,得到:

$$\overrightarrow{y}=-1\ast 2\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast 1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)=-2\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$$

显然，如果你继续计算下去，你也会得到$\overrightarrow{y}=\left(\begin{array}{c}0\\ 1\end{array}\right)$。

特征值和特征向量的意义就在于此！矩阵所充当的映射，实际上就是对特征向量的缩放，每个特征向量的缩放程度就是特征值。

因此，我们需要将向量$\overrightarrow{x}$表示成特征向量的线性组合(相当于以特征向量为基)，得到相应的特征向量的权重。然后，每个权重与特征值相乘，就是这个映射最本质的缩放操作。

基于这样的理解，我们可以很简单地解释很多结论.

对角化分解

对角化分解实际上就是我们解释特征值含义的过程。

$A=P\mathrm{\Lambda }{P}^{-1}$，其中$P$是由特征向量组成的矩阵,$\Lambda$是由特征值组成的对角矩阵.

那么$\overrightarrow{y}=A\overrightarrow{x}=P\mathrm{\Lambda }{P}^{-1}\overrightarrow{x}$，我们就可以解释了.

首先，$P^{-1}\overrightarrow{x}$是将$\overrightarrow{x}$转变成用特征向量表示，上文$\vec{x}=\left( $$\begin{array}{c}1\\ 2\end{array}$$ \right)=-1\left( $$\begin{array}{c}1\\ 1\end{array}$$ \right) + 1 \left( $$\begin{array}{c}2\\ 3\end{array}$$ \right)$，\mathrm{就}\mathrm{是}\mathrm{把}$\left( $$\begin{array}{c}1\\ 2\end{array}$$ \right)$\mathrm{变}\mathrm{成}\mathrm{了}$\left( $$\begin{array}{c}-1\\ 1\end{array}$$ \right)$，\mathrm{然}\mathrm{后}$\Lambda P^{-1} \vec{x}$\mathrm{就}\mathrm{是}\mathrm{对}\mathrm{应}\mathrm{的}\mathrm{特}\mathrm{征}\mathrm{值}\mathrm{与}\mathrm{权}\mathrm{重}\mathrm{作}\mathrm{乘}\mathrm{法}，\mathrm{得}\mathrm{到}$\left( $$\begin{array}{c}-2\\ 1\end{array}$$ \right)$。\mathrm{最}\mathrm{后}$\vec{y}=P\Lambda P^{-1} \vec{x}$\mathrm{就}\mathrm{是}\mathrm{把}$\left( $$\begin{array}{c}-2\\ 1\end{array}$$ \right)$\mathrm{重}\mathrm{新}\mathrm{转}\mathrm{换}\mathrm{成}\mathrm{坐}\mathrm{标}\mathrm{轴}\mathrm{为}\mathrm{基}\mathrm{的}\mathrm{表}\mathrm{示}，\mathrm{得}\mathrm{到}$\left( $$\begin{array}{c}0\\ 1\end{array}$$ \right)$。

逆矩阵的特征值分别是原矩阵特征值的倒数

是因为原矩阵放大了2倍，逆矩阵就要相应地缩小到原本的$\frac{1}{2}$.

当然，特征向量要保持对应，因此这也解释了为什么逆矩阵的特征向量和原矩阵一样。

特征值为0,意味着不可逆

参考第2点，0没有倒数.

通过解$A\overrightarrow{x}=\lambda \overrightarrow{x}$来寻找特征值

显然，在这里$\lambda$是特征值，$\overrightarrow{x}$是特征向量。

把$\overrightarrow{x}$变成以$A$的特征向量为基来表示的话，那么权重肯定只有1个1，其他都为0，那个1对应的特征向量当然是$\overrightarrow{x}$本身.

这个时候进行缩放，那么只有$\overrightarrow{x}$的权重被缩放了，其他特征向量的权重都是0，0乘任何数为0.

那么，$A\overrightarrow{x}$的结果就相当于$\lambda \overrightarrow{x}$，因为$\lambda \overrightarrow{x}$就是$\overrightarrow{x}$作了相应的缩放，缩放因子就是特征值$\lambda$.

参考

如何理解特征值和特征向量