线性代数

线性代数是研究向量空间与线性映射的数学分支.

这里会主要介绍 LADR思维和量子力学下的线性代数.

向量

向量可以是任何东西只要满足

定义了加法
定义了标量乘法
满足向量空间的公理

向量空间

为了泛化所有满足以下条件的空间并讨论它们所满足的一般性性质向量空间因此而生:

严格的定义为: 向量空间是带有加法与标量乘法的集合V 满足如下性质

交换性
结合性
存在加法单位元
存在加法逆元
存在乘法单位元
具有分配率

我们记实数域为R 复数域为C, F表示R或C.

正例太多了我们举一个反例:

单位圆: $x^2 + y^2 = 1$ 向量为(x,y). 那么标量乘法比如10乘(1,0) 会直接逃逸出去.
抛物线: 向量为(x,x^2). 很多标量乘法会直接不满足.

F

我们生活的空间是 $F^3$ 但是通过线性代数我们可以研究n维情况.

所以我们定义 $F^n$ , $F^n$ 是 F上的向量空间

有

\[ \boxed{ F^n = {(x_1,..,x_n)} \]

其中 $x_i \in F$

运算性质

加法: 对应坐标相加
加法交换性
0表示所有坐标为0且长度n的组
加法逆元: -x
标量乘法: 分别乘向量的每个坐标

函数向量空间

实际上许多函数也可以相加与相乘. 那么满足这些条件的函数的集合也是向量空间.

首先若函数 f与g 是从 S映射到F 即$f: S->F$, $g: S->F$

我们记所有的 从S到F的所有函数的集合 为 $F^S$

加性: 对于 $f + g \in F^S$ 有 $(f+g)(x) = f(x) + g(x)$
乘性: 对于 $\lambda f \in F^S$ 有 $(\lambda f)(x) = \lambda f(x)$.

那么显然的:

具有交换性

$ (f+g)(x) = f(x) + g(x) $ ,而 f与g 映射到 F,F具有交换性, 故$f(x) + g(x) = g(x) + f(x) = (g+f)(x)$

子空间

一个向量空间中自己也能独立自洽即也能独立完成所有线性运算的子集. 满足:

加法单位元0存在
加法封闭
标量乘法封闭

上述的条件表明: 子空间的任何运算不会逃逸出这个子空间. 它是封闭且自洽的.

子空间的和

子空间的和定义为: 子空间中元素所有可能的和所构成的集合.

子空间的和是包含这些子空间最小子空间

子空间的直和

当 子空间的和 中的元素可以被唯一的表示为每个子空间的一个向量的和时这样的子空间的和被称为直和.

直和揭示了: 一个向量能不能唯一地拆成来自几个子空间的向量的和

任何一个子空间里的非零向量都不能表示成其他子空间向量的线性组合.

若U与W都是V的子空间,U+W为直和当且仅当$U \cap W$ = {0}

线性组合

两个数乘向量的组合被称为这两个向量的线性组合.

考虑向量v与向量w 线性组合为

\[ a v + b w \]

张成空间

给定向量 所有的 线性组合 的向量的集合被称为张成空间.

\[ span(v,w) \]

对于二维向量来说

若不共线则它们张成整个二维空间
若共线则它们长成一条直线

线性相关/线性无关

一组向量中至少有一个向量是多余的没有对张成空间做贡献或者说

至少有一个向量可以被其他向量给线性组合出来即这个向量落入了其他向量的张成空间. 那么它们是线性相关的.

反之若向量不是线性相关的那它们就是线性无关的.

有限维向量空间

若一个向量空间可以由该空间中的某个向量组张成那么这个向量空间是有限维的

多项式

多项式是一个函数 P: F -> F, 其中 $a_i \in F$

\[ p(x) = a_0 + a_1 x + a_2 x^2 + ... + a_n x^n \]

我们发现: 多项式具有交换性(因为a和x都属于F) 结合性单位元(0) 逆元 -p(x).

加法封闭: a_0 + a_1 x + a_2 x^2 + b_0 + b_1 x + b_2 x^2 = (a_0 + b_0) + (a_1 + b_1) x + (a_2 + b_2) x^2
标量乘法封闭: $ \lambda a_0 + a_1 x + a_2 x^2 $ 仍然是多项式

所以多项式是向量空间

多项式的次数定义为多项式的最高次项的次数
$P_m (F)$ 是次数<=m的所有多项式的集合

基

若向量空间V中的一个向量组既线性无关又张成V 那么这个向量组是V的基

线性变换(线性映射)

线性变换(线性映射)的定义为: 具有加性与齐性的函数.

\[ T: V -> W \]

其中

加性: $T(u+v) = Tu + Tv$ ,其中 u与v属于V
齐性: $T(\lambda v) = \lambda (Tv)$,其中$\lambda$属于F,v属于V

从几何上讲: 原来在坐标系中的直线经过线性变换后仍然是直线.

假设一条直线: $ p + tv $ 其中 p是向量 v也是向量.

那么线性变换后得到: T(p+tv) = T(p) + tT(v) 仍然为直线

线性映射与基

线性映射可以根据一组基来构造且由在基上的取值唯一确定

设$v_1,...,v_n$是V的基,$w_1,..,w_n \in W$ 那么存在唯一的线性映射而 T: V -> W 使得 $T v_j = w_j$

线性映射的集合

我们记从V到W的所有线性映射的集合为 L(V,W)

若M与N都属于L(V,W) 那么:

(M+N)(v) = Sv + Tv
$(\lambda M)(v) = M(\lambda v)$
(MN)(v) = M(Nv)
具有单位元
具有分配性
V的基到W上的线性映射是唯一确定的.
L(V,W)是向量空间
0只会被线性映射为0

null空间

被线性变换T映射为0的向量的集合称为 T的零空间 null T.

若Tu = Tv 当且仅当u=v 则 T是单射
若T是单射那么0只能被0经过T变成0 其他的非0向量不可能被T变成0.

值域

对于V映射到W的映射T, T的值域定义为: W中所有Tv组成的向量

值域是W的子空间
满射: T的值域等于W

线性映射基本定理

若V是有限维的, $T \in L(V,W), 那么 range T是有限维的且 dim V = dim numm T + dim range T

维度

从有限维向量空间到更小的向量空间的映射 必不为单
从有限维向量空间到更大的向量空间的映射 必不为满

常见线性变换

根据加性与齐性我们发现这些操作都是线性变换

0函数
微分: T(f+g) = Tf + Tg, $T(\lambda f) = \lambda T f$
积分: T(f+g) = Tf + Tg, $T(\lambda f) = \lambda T f$

算子

算子是将向量空间到其自身的线性映射

即 T: V -> V

我们用 L(V) 表示 V映射到V的算子

由于算子总是映射到自己的空间所以 算子的矩阵一定是方阵

算子有个非常好的特性: 算子可以自乘为幂, 因为它的运算不会逃逸出向量空间V. 换句话说, nn方阵的自乘还是nn.

矩阵

矩阵是用来表示线性变换的一个记号. 省略掉基然后列出来就是矩阵.

但是注意: 线性变换才是线性代数研究的本质 矩阵是线性变换选取特定基的表示.

同一个线性变换,在不同基下对应不同的矩阵.

矩阵与基

实际上线性变换可以理解为: 系数不变改变基底.

我们来看一个2*2的矩阵:

\[\begin{split} \begin{bmatrix} 3 ,& 2 \\ -2 ,& 1 \end{bmatrix} \end{split}\]

作用于向量

\[\begin{split} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \end{split}\]

实际上就等于

\[\begin{split} 2 \begin{bmatrix} 3 \\ -2 \end{bmatrix} + 1 \begin{bmatrix} 2 \\ 1 \end{bmatrix} \end{split}\]

而这两个向量就是变换后的基.

矩阵与空间

根据矩阵实际上是对基的变换我们可以来研究矩阵的维度了.

2 x 2 矩阵实际上是把 1 x 2的基底映射为 1 x 2的基底
3 x 2 矩阵实际上是把 1 x 3的基底映射为 1 x 2的基底这就造成了空间的压缩

矩阵乘法

线性变换是可以复合的.

比如线性变换T与G,先做G变换后做T变换.

\[ T(G(u)) \]

若

\[\begin{split} T = \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} \end{split}\]

\[\begin{split} G = \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \end{split}\]

那么对u=(2,1)的两次线性变换可以写为

\[\begin{split} \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} ( \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} ) \end{split}\]

我们看出: 矩阵的线性变换是从右往左读的

现在我们通过对 基向量的变换自然而然的可以推导出矩阵的乘法.

\[\begin{split} \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \end{split}\]

首先基向量(1,0) 与 (0,1) 在经过G的变化后:

\[\begin{split} i = \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \end{split}\]

那么我们再使用T对i和j做线性变换

\[\begin{split} i = 2 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 3 \\ -2 \end{bmatrix} \end{split}\]

\[\begin{split} j = 0 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \end{split}\]

那么i与j合并为线性变换矩阵就是

\[\begin{split} \begin{bmatrix} 3 , & 1 \\ -2 , & 0 \end{bmatrix} \end{split}\]

那么矩阵的结合律 便自然的出现了:

ABC = A(BC)

因为矩阵是从右向左的线性变换所以这是自然的.

逆

我们将在线性方程组使用到矩阵的逆但在此我们会说说矩阵的逆的性质和条件.

可逆的定义为: 若存在$S \in L(W,V)$ 使得ST等于V上的恒等映射且TS等于W上的恒等映射则 $T \in L(V,W)$ 是可逆.

即:

\[ ST = TS = I \]

逆是唯一的
可逆性等价于这个线性映射是单且满的. 注意这个结论非常的重要.

我们可以得出

可逆可以得出很多性质: 0空间只有0;单射;满射

同构

若两个向量空间存在一个可逆的线性映射, 那么这两个向量空间是同构的.

维度

dim V为V的向量组的长度也叫维度.

那么有以下结论

若向量组中向量的数量大于n 那么一定线性相关
任意n个线性无关的向量一定构成一组基
任意n个张成整个空间的向量一定构成一组基

行列式

前面我们线性变换研究的是基的变换. 自然的我们也想研究线性变换对空间的缩放效果.

考虑线性变换:

\[\begin{split} \begin{bmatrix} 3, & 0 \\ 0, & 2 \end{bmatrix} \end{split}\]

变换后的基为 (3,0) 与 (0,2). 初始面积为1 变换后为6 所以线性变换拉伸了6倍的面积.

这个线性变换的比例被称为行列式

至于行列式的计算:

二维是

\[ \begin{bmatrix} a, & b c, & d \end{bmatrix} = \]

线性方程组

大量的例子告诉我们这类方程是极其常见的:

\[\begin{split} 6x - 3y + 2z = & 7 \\ x + 2y + 5z = & 0 \\ 2x - 8y - z = & -2 \end{split}\]

我们称之为 齐次线性方程组.

根据向量空间往大映射必不单往小映射必不满可以推出:

当变量多于方程时方程必有非0解
当变量多余方程时必有一组常数使得方程无解

求解矩阵方程

我们发现这组方程可以写为对向量(x,y,z)的线性映射.

\[\begin{split} \begin{bmatrix} 2, & 5, & 3 \\ 4, & 0, & 8 \\ 1, & 3, & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix} \end{split}\]

简化为

\[ A v = u \]

相当于: 我们要求解向量v 它在经过A变换后变为u

那么我们可以使用逆变换把u变到v.

\[\begin{split} A^{-1} A v = A^{-1} u \\ v = A^{-1} u \end{split}\]

其中 $A^{-1}$是A的逆矩阵

列空间与秩

方程的解让我们聚焦于变换和逆变换的性质.

从行列式的角度来说:

当行列式不等于0时: A逆存在.

因为若行列式不等于0 也就是说映射后的基的单位体积不为0 也就是说:空间没有被压到低维度

从映射与空间的角度来说:

若逆存在: 0空间只有0;A是单射且是满射揭示了

\[ \boxed{可逆映射不会丢失任何方向也不会创造新的自由度} \]

那么自然而然的我们想研究: 一个映射到底保留了多少空间或者能映射到多大的空间.

变换后的基张成的空间称之为列空间 而这个被张成的空间的维度也就是列空间的维度就是秩. 揭示了变换后空间被压缩到的维度.

点积与叉积

内积是点积的推广所以这里我们先引入点积.

点积

两个维数相同向量的点积即为将相应坐标配对相乘再相加

\[\begin{split} \begin{bmatrix} 1 \\ 2 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ 4 \end{bmatrix} = 1 * 3 + 2 * 4 = 11 \end{split}\]

注意点积的结果是scalar标量.

实际上,将第一个向量转置后与第二个向量的矩阵乘积得到的1x1矩阵的结果也是点积的结果.

所以点积实际上给出了线性泛函

\[ a \cdot b = a^{T} b \]

我们可以用线性变换来理解这个点积.

原来的基底i和j 是 1*2的向量. 在经过矩阵a的线性变换后 压缩到了一维的数轴上 变换后的基底变成了一维的数.

投影

向量的点积还有一种直观的几何理解

\[ v \cdot w \]

实际上就是v在w上或者w在v上的投影向量的长度乘被投影向量的长度.

叉积

二维

二维空间的叉积定义为:

\[ v_1 \times v_2 \]

它的几何意义是两个向量张成的平行四边形的面积.

实际上我们可以看作这两个向量是二维空间基向量 i与j的线性变换.

\[\begin{split} i = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} \end{split}\]

那么 $v_1$ 与 $v_2$ 张成的平行四边形的面积实际上是基向量张成的面积为1的正方形缩放而来.

至于缩放的比例其实就是 行列式的值.

所以: 二维叉积的值是行列式的值.

三维

两个三维向量 $v_1$ $v_2$ 叉积得到的结果是: 一个新的向量 $v_3$.

且

$v_3$ 垂直于 $v_1 和 v_2 $ 张成的二维空间.
$v_3$ 的长度等于 $v_1$ 和 $v_2$ 张成的平行四边形的面积.

向量空间的积与商

积

向量空间的积就是将两个向量空间打包.

两个向量空间 V与W, 那么V与W的积

\[ VxW = (v,w) \]

向量空间的积的维数等于所有子空间的维数相加.

我们发现这个概念其实和 子空间的直和 很像. 都是将两个空间合并在一起.

其实子空间的积与直和是同一个结构的两个描述方式.

\[ (v,w) = (v,0) + (0,w) = ( V \times {0} ) \oplus ( {0} \times W ) \]

积空间的作用可以组合映射

\[\begin{split} T: U -> V \\ S: U -> W \end{split}\]

那么

\[ (T,S): U -> V \times W \]

商空间

商空间的作用是踢出一个子空间.

一个向量空间V关于子空间N的商是将N 坍塌为零得到的向量空间为商空间.

而商空间就是所有陪集的集合.

\[ V/U = {v + U: v \in V} \]

陪集

陪集是 向量 + 子空间

\[\begin{split} v \in V \\ v + U = {v + u : u \in U} \end{split}\]

对偶与线性泛函

我们在使用点积的时候, 如果使用线性变换 来看待两个向量的点积,

实际上它代表对第一个向量转置然后做矩阵乘.

\[ a \cdot b = a^{T} b \]

我们将这种 把一个向量映射为一个标量 的线性变换 叫做 线性泛函.

线性泛函: $ f: V -> F$

也就是说: f是 L(V,F)的元素. 本质就是一个线性变换 只不过是映射到标量的线性变换.

对偶空间

V上 所有线性泛函构成的空间就是对偶空间. 记为V'

也就是说

\[ V' = L(V,F) \]

对偶空间就是对 向量点积 的抽象化，能够为 测度分布希尔伯特空间量子力学提供重要观点.

对偶基

对偶基揭示了: 向量空间的一组基对应着对偶空间内一组专门用来读取坐标的基。

在普通向量空间的基中, 取一组基: $e_1,e_2, ..., e_n$ 对于任意向量v 可以展开为:

\[ v = a_1 e_1 + a_2 e_2 + ... + a_n e_n \]

写为 $(a_1,a_2,...,a_n)$

而对偶基的用处是 使用线性泛函直接读取普通基在某个方向的坐标.

比如线性泛函 $f^1$: 有 $f^1 (a_1 e_1 + a_2 e_2 + ...) = a_1$ 直接取出a_1的坐标

那么对偶基的定义为:

若 $e_1 , e_2 ,..., e_n$ 都是V的基, 存在 唯一的 线性泛函 $e^1,...,e^n$ 使得:

\[ e^i (e_j) = \delta^i_j \]

这里的Kronecker delta 用于筛选出 i和j 是否相等.

其中

\[\begin{split} \delta^i_j = \begin{cases} 1 , & i = j \\ 0 , & i != j \end{cases} \end{split}\]

对偶映射

有两个向量空间 V 与 W.

有一个线性映射T , T: V -> W

我们在W的 对偶空间 W' 中, 有一个 线性泛函 f: W-> F

那么先作用 线性映射T 再作用 线性泛函f 就可以将 V 映射到F.

也就是说

\[\begin{split} T: V -> W \\ f \in W', f : W -> F \\ f \circ T : V -> F \end{split}\]

那么 $f \circ T$ 实际上就是V的 线性泛函.

所以

\[ f \circ T \in V' \]

那么原来的映射T: V-> W , 会诱导出一个新的映射 T' : W' -> V' .

T' 就是 T 的 对偶映射

对偶映射对应的线性变换就是转置.

基变换

矩阵/向量都是依赖于基的选取. 那么自然的如何 更换基 去表示线性变换是值得研究的.

基变换研究的是: 同一个 线性变换T 换了一组基后矩阵变成的样子.

我们研究原本在基A下的线性变换T 在基B的线性变换 T'

首先在基B下的向量为 $u_B$

我们对它乘B的基在A下的坐标P

\[ P u_B \]

这是将 $u_B$ 转换为了在A下的坐标.

然后就可以运用线性变换T. 因为T也是A下描述的.

\[ T P u_B \]

目前得到的是在A下将 $u_B$ 线性变换得到的坐标.

最后我们需要将这个坐标再变回B基.

\[ P^{-1} T P u_B \]

这就得到了在A的线性变换T 变到B后的线性变换 T'

\[ T' = P^{-1} T P \]

本征

在线性变换中有一些向量经过某些线性变换后其方向不会发生改变 这类向量称之为 本征向量 , 它们缩放的倍率称之为 本征值.

\[ T v = \lambda v \]

不变子空间

U是V的子空间,且T是V上的算子,若对所有的 $u \in U$ 都有

\[ T u \in U \]

则称U为V的不变子空间.

本征值

若存在 $v \in V$ 且 $v \ne 0$ 有 $T v = \lambda v$

那么$\lambda \in F$ 是T的本征值

等价条件

如果 $\lambda$ 是 T的本征值那么

$T - \lambda I$ 不是单的不是满的不是可逆的

\[ T v = \lambda v \]

那么

\[\begin{split} T v = \lambda I v \\ (T - \lambda I) v = 0 \end{split}\]

若v非0 而前面的线性映射把v映射到了0

说明零空间不止有0 这个线性映射把v 降维了.

存在性

复向量空间上的算子都有本征值

本征向量

刚才本征值定义中的v就是本征向量.

不同本征值对应的本征向量都是 线性无关 的.

因为一个方向的本征向量对应一个缩放倍率如果两个向量同向的话那么也应该被缩放相同倍率.

三角矩阵

上三角矩阵就是: 位于对角线下方的元素全为0.

复向量空间的每个算子都有上三角矩阵

等价条件

下列条件等价于上三角矩阵

对于 $j \in [1,n]$ , $T v_j \in span(v_1,..,v_j) $ ,也就是说: 向量v构成了一串被T 逐层保留的不变子空间

j = 1 时, $T v_1 = \lambda_1 v_1$, 所以$V_1$是不变子空间

j = 2 时, $T v_2 \in span(v_1,v_2)$, 而 $T v_1 \in span(v_1,v_2)$ , $V_2$是不变子空间

这构成了一个不变子空间链条

\[ T v_j = a_1j v_1 + ... + a_jj v_j \]

可逆性与本征值

当且仅当上三角矩阵的对角线非0 这个算子才可逆.
上三角矩阵的对角线就是本征值

本征空间

本征向量的集合加上0向量就是本征空间.

对角矩阵

除了对角线其他全是0的矩阵就是对角矩阵.

等价条件

T可对角化等价于下列条件:

V有由T的本征向量构成的基
V有在T下不变的一维子空间使得 V = $\U_1 \oplus ... \oplus U_n$
T有dim V个不同的本征值

内积

内积是点积的推广