向量与向量组的线性相关性

Tldr

• 向量组中，若某个向量是另一个向量的 $k$ 倍，则二者线性相关。
• 若把所有线性相关的向量分别合并，余下的称为极大线性无关组。
• 向量的个数称为向量组的秩（独立信息个数）。

向量

$[1,2,3]$

矩阵中的若干行/列都是向量。有 $n$ 个数就是 $n$ 维向量。

Note

向量的 相等、相加、数乘 过于简单，此处略过。

内积

设 $\mathbf{\alpha }=[a_1,a_2,\cdots ,a_n{]}^T$ , $\mathbf{\beta }=[b_1,b_2,\cdots ,b_n{]}^T$ ，则称 ${\mathbf{\alpha }}^T\mathbf{\beta }={\sum }_{i=1}^n{a}_i{b}_i$ 为向量 $\mathbf{\alpha }$，$\mathbf{\beta }$ 的内积，记为 $(\mathbf{\alpha },\mathbf{\beta })$

正交

当 ${\mathbf{\alpha }}^T\mathbf{\beta }=0$ ，称两个向量正交（垂直）。

模

$||\mathbf{\alpha }||=\sqrt{\sum _{i=1}^n{a}_i^2}$ 称为向量 $\mathbf{\alpha }$ 的模（长度）。

当 $||\mathbf{\alpha }||=1$ ，称 $\mathbf{\alpha }$ 为单位向量。

Tip

设： $A=\left[\begin{array}{cc}\alpha & \beta \end{array}\right]$ 则： $A^{T}A=\left[\begin{array}{c}{\alpha }^T\\ {\beta }^T\end{array}\right]\left[\begin{array}{cc}\alpha & \beta \end{array}\right]=\left[\begin{array}{cc}||\alpha |{|}^2& ||\alpha ||\cdot ||\beta ||\cdot \cos \theta \\ ||\alpha ||\cdot ||\beta ||\cdot \cos \theta & ||\beta |{|}^2\end{array}\right]$ 若 $\alpha \perp \beta$ ： $A^{T}A=\left[\begin{array}{cc}||\alpha |{|}^2& 0\\ 0& ||\beta |{|}^2\end{array}\right]$ 若 $||\alpha ||=||\beta ||=1$ ： $A^{T}A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=E$ 此时称 $A$ 为 $n$ 阶正交矩阵。

向量组

$[1,2,3],[4,5,6]$

几个向量拼在一起即为向量组。

标准正交向量组

若列向量组 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$ 满足：

${\alpha }_i^T{\alpha }_j=\{\begin{array}{ll}1& i=j\\ 0& i\ne j\end{array}$

则称之为标准或单位正交向量组，也称规范正交基。

正交矩阵

设 $A$ 是 $n$ 阶方阵，且满足 $A^{T}A=E$ ，则称 $A$ 是正交矩阵。

$A$ 是正交矩阵 $\iff A^{T}A=E\iff A^T=A^{-1}\iff A$ 的行/列向量组是规范正交基

Note

以二维为例：最典型的正交矩阵就是 $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$ ，可以理解为 $x,y$ 轴的单位向量。其他正交矩阵只需要将这两个向量以一个整体，绕原点旋转得到： $\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$ 。三维等以此类推。

可知： $A$ 是由两两正交的单位向量组构成的。

作用：将数据进行正交旋转。

逆时针旋转 $\theta$

向量组的线性表示

线性组合

有 $m$ 个 $n$ 维向量 $\alpha$，每个乘以自己的倍数，然后进行相加： $k_1{\alpha }_1+\cdots +k_m{\alpha }_m$

Note

如果不对 $k$ 进行限制，则线性组合可以形成向量组张成空间内的所有向量。

线性表示

如果一个向量 $\beta$ 能够成为某向量组的线性组合，即可以找到合适的倍数 $k$ 分配给所有 ${\alpha }_m$ ，则称向量 $\beta$ 能被向量组线性表示。

线性相关

若能够找到 不全为零 的 $k$ ，使得向量组中的所有向量满足： $k_1{\alpha }_1+\cdots +k_m{\alpha }_m=0$ 则向量组线性相关。

含有零向量或有比例的向量的向量组必定线性相关。

Example

$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],\left[\begin{array}{c}2\\ 4\\ 6\end{array}\right],\left[\begin{array}{c}7\\ 8\\ 9\end{array}\right]$ 前两个向量成比例，因此线性相关。 $\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],\left[\begin{array}{c}2\\ 4\\ 5\end{array}\right],\left[\begin{array}{c}3\\ 6\\ 9\end{array}\right]$ 前两个向量可以组合得到最后一个向量，因此线性相关。

线性无关

只有当系数全为零时，线性相关才成立时，则称向量组线性无关。

单个非零向量和两个不成比例得向量线性无关。

向量组线性相关或线性无关必须占且只能占一个，不能一个不占或同时满足。

Example

$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],\left[\begin{array}{c}4\\ 5\\ 6\end{array}\right],\left[\begin{array}{c}7\\ 8\\ 9\end{array}\right]$ 线性无关。

Summary

线性相关/无关讲的是：向量组中的每个向量是否都携带了自己独特的信息。

假如某个向量能被其余的部分通过四则运算组合出来，那么这个向量就是多余的、不携带信息的，因此称之为线性相关。反之则为线性无关。

或者说：是否每个向量都为张成的空间提供了额外的维度。

判别线性相关性的定理

定理 1

向量组 ${\alpha }_1,\cdots {\alpha }_n$ 线性相关的充要条件是：向量组中至少有一个向量可由其余 $n-1$ 个向量线性表示。

逆否命题：线性无关的充要条件是：任一向量都不能由其余 $n-1$ 个向量线性表示。

定理 2

若 ${\alpha }_1,\cdots ,{\alpha }_m$ 线性无关，而 $\beta ,{\alpha }_1,\cdots ,{\alpha }_m$ 线性相关，则 $\beta$ 可由余下的向量组线性表示，且表示法唯一。

定理 3

如果向量组 $\beta$ 可以被另一个向量组 $\alpha$ 线性表示，且 $\beta$ 的数量大于 $\alpha$ ，则 $\beta$ 向量组一定线性相关。

Tldr

以少表多，多的相关。

3个向量挤在一个2维平面，一定会线性相关。

定理 4

待完善 向量组 ${\alpha }_1,\cdots ,{\alpha }_m$ 线性无关的充分非必要条件是：齐次线性方程组只有零解。

定理 5

向量 $\beta$ 可由向量组 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$ 表出，则向量组 ${\alpha }_1{x}_1+{\alpha }_2{x}_2+\cdots +{\alpha }_n{x}_n=[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n][x_1,x_2,\cdots ,x_n{]}^T=\beta$ 有解，即 $r([{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n])=r([{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n,\beta ])$。否则则不能表出，则方程无解，$r([{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n])+1=r([{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n,\beta ])$

定理 6

向量组${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$存在一部分向量线性相关，则整个向量组线性相关。若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性无关，则任意一部分向量组线性无关。

定理 7

设$m$个$n$维向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性无关，则把这些向量中每个各任意添加$s$个分量所得到的新向量组（$n+s$维）${\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_m^{\ast }$也是线性无关的；如果${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性相关，则每个各去掉相同的若干分量得到的新向量组也线性相关。（原来无关延长无关，原来相关缩短相关）

Tldr

部分相关，整体相关； 整体无关，部分无关； 原来无关，延长无关； 重要 原来相关，缩短相关。