# 线性代数 线性代数是研究**向量空间与线性映射**的数学分支. 这里会主要介绍 LADR思维和量子力学下的线性代数. ## 向量 向量可以是任何东西 只要满足 - 定义了加法 - 定义了**标量**乘法 - 满足向量空间的公理 ## 向量空间 为了泛化所有满足以下条件的空间 并讨论它们所满足的一般性性质 向量空间因此而生: 严格的定义为: 向量空间是带有**加法**与**标量乘法**的集合V 满足如下性质 - 交换性 - 结合性 - 存在加法单位元 - 存在加法逆元 - 存在乘法单位元 - 具有分配率 我们记实数域为R 复数域为C, F表示R或C. 正例太多了 我们举一个反例: - 单位圆: $x^2 + y^2 = 1$ 向量为(x,y). 那么标量乘法 比如10乘(1,0) 会直接逃逸出去. - 抛物线: 向量为(x,x^2). 很多标量乘法会直接不满足. ### F 我们生活的空间是 $F^3$ 但是通过线性代数 我们可以研究n维情况. 所以我们定义 $F^n$ , $F^n$ 是 F上的向量空间 有 $$ \boxed{ F^n = {(x_1,..,x_n)} $$ 其中 $x_i \in F$ #### 运算性质 - 加法: 对应坐标相加 - 加法交换性 - 0表示所有坐标为0且长度n的组 - 加法逆元: -x - 标量乘法: 分别乘向量的每个坐标 #### 函数向量空间 实际上 许多函数也可以相加与相乘. 那么满足这些条件的函数的集合也是向量空间. 首先 若函数 f与g 是从 S映射到F 即$f: S->F$, $g: S->F$ 我们记所有的 **从S到F的所有函数的集合** 为 $F^S$ - 加性: 对于 $f + g \in F^S$ 有 $(f+g)(x) = f(x) + g(x)$ - 乘性: 对于 $\lambda f \in F^S$ 有 $(\lambda f)(x) = \lambda f(x)$. 那么显然的: - 具有交换性 $ (f+g)(x) = f(x) + g(x) $ ,而 f与g 映射到 F,F具有交换性, 故$f(x) + g(x) = g(x) + f(x) = (g+f)(x)$ ### 子空间 一个**向量空间**中 自己也能独立自洽 即 也能独立完成所有线性运算的**子集**. 满足: - 加法单位元0存在 - 加法封闭 - **标量**乘法封闭 上述的条件表明: 子空间的任何运算不会 **逃逸** 出这个子空间. 它是**封闭且自洽的**. #### 子空间的和 子空间的和定义为: 子空间中元素**所有可能的和**所构成的集合. - 子空间的和是包含这些子空间**最小**子空间 #### 子空间的直和 当 **子空间的和** 中的元素 可以被**唯一的**表示为每个子空间的一个向量的和时 这样的子空间的和被称为直和. 直和揭示了: 一个向量能不能**唯一地**拆成来自几个子空间的向量的和 任何一个子空间里的非零向量 都不能表示成其他子空间向量的线性组合. - 若U与W都是V的子空间,U+W为直和当且仅当$U \cap W$ = {0} ## 线性组合 两个数乘向量的组合 被称为这两个向量的线性组合. 考虑向量v与向量w 线性组合为 $$ a v + b w $$ ## 张成空间 给定向量 **所有的** **线性组合** 的向量的集合 被称为**张成空间**. $$ span(v,w) $$ 对于二维向量来说 - 若不共线 则它们 **张成** 整个二维空间 - 若共线 则它们 **长成** 一条直线 ## 线性相关/线性无关 一组向量中**至少有一个**向量是多余的 没有对张成空间做贡献 或者说 至少有一个向量 可以被其他向量给**线性组合**出来 即这个向量落入了其他向量的**张成空间**. 那么它们是线性相关的. 反之 若向量不是线性相关的 那它们就是线性无关的. ## 有限维向量空间 若 一个向量空间 可以由 该空间中的某个向量组**张成** 那么这个向量空间是有限维的 ## 多项式 多项式是一个函数 P: F -> F, 其中 $a_i \in F$ $$ p(x) = a_0 + a_1 x + a_2 x^2 + ... + a_n x^n $$ 我们发现: 多项式具有交换性(因为a和x都属于F) 结合性 单位元(0) 逆元 -p(x). - 加法封闭: a_0 + a_1 x + a_2 x^2 + b_0 + b_1 x + b_2 x^2 = (a_0 + b_0) + (a_1 + b_1) x + (a_2 + b_2) x^2 - 标量乘法封闭: $ \lambda a_0 + a_1 x + a_2 x^2 $ 仍然是多项式 所以多项式是**向量空间** - 多项式的次数定义为多项式的最高次项的次数 - $P_m (F)$ 是次数<=m的所有多项式的集合 ## 基 若向量空间V中的一个向量组既**线性无关**又**张成V** 那么这个向量组是V的基 ## 线性变换(线性映射) 线性变换(线性映射)的定义为: 具有**加性**与**齐性** 的函数. $$ T: V -> W $$ 其中 - 加性: $T(u+v) = Tu + Tv$ ,其中 u与v属于V - 齐性: $T(\lambda v) = \lambda (Tv)$,其中$\lambda$属于F,v属于V 从几何上讲: 原来在坐标系中的直线 经过线性变换后仍然是直线. 假设一条直线: $ p + tv $ 其中 p是向量 v也是向量. 那么线性变换后得到: T(p+tv) = T(p) + tT(v) 仍然为直线 ### 线性映射与基 线性映射可以根据一组**基**来构造 且由在**基**上的取值**唯一确定** - 设$v_1,...,v_n$是V的基,$w_1,..,w_n \in W$ 那么存在唯一的线性映射而 T: V -> W 使得 $T v_j = w_j$ ### 线性映射的集合 我们记从V到W的所有线性映射的集合为 L(V,W) 若M与N都属于L(V,W) 那么: - (M+N)(v) = Sv + Tv - $(\lambda M)(v) = M(\lambda v)$ - (MN)(v) = M(Nv) - 具有单位元 - 具有分配性 - V的基到W上的线性映射是**唯一确定**的. - L(V,W)是向量空间 - **0只会被线性映射为0** ### null空间 被线性变换T映射为0的**向量**的集合称为 T的零空间 null T. - 若Tu = Tv 当且仅当u=v 则 T是**单射** - 若T是单射 那么0只能被0经过T变成0 其他的非0向量不可能被T变成0. ### 值域 对于V映射到W的映射T, T的值域定义为: W中 所有Tv组成的向量 - 值域是W的子空间 - 满射: T的值域等于W ### 线性映射基本定理 若V是有限维的, $T \in L(V,W), 那么 range T是有限维的 且 dim V = dim numm T + dim range T ### 维度 - 从有限维向量空间到更小的向量空间的映射 **必不为单** - 从有限维向量空间到更大的向量空间的映射 **必不为满** ### 常见线性变换 根据加性与齐性 我们发现这些操作都是线性变换 - 0函数 - 微分: T(f+g) = Tf + Tg, $T(\lambda f) = \lambda T f$ - 积分: T(f+g) = Tf + Tg, $T(\lambda f) = \lambda T f$ ### 算子 算子是将 向量空间到其 **自身** 的线性映射 即 T: V -> V 我们用 L(V) 表示 V映射到V的算子 由于算子总是映射到自己的空间 所以 **算子的矩阵一定是方阵** 算子有个非常好的特性: 算子可以自乘为幂, 因为它的运算不会逃逸出向量空间V. 换句话说, n*n方阵的自乘还是n*n. ## 矩阵 矩阵是用来表示线性变换的一个记号. 省略掉基 然后列出来 就是矩阵. 但是注意: **线性变换才是线性代数研究的本质** **矩阵是线性变换选取特定基的表示**. 同一个线性变换,在不同基下对应不同的矩阵. ### 矩阵与基 实际上线性变换可以理解为: 系数不变 改变基底. 我们来看一个2*2的矩阵: $$ \begin{bmatrix} 3 ,& 2 \\ -2 ,& 1 \end{bmatrix} $$ 作用于向量 $$ \begin{bmatrix} 2 \\ 1 \end{bmatrix} $$ 实际上就等于 $$ 2 \begin{bmatrix} 3 \\ -2 \end{bmatrix} + 1 \begin{bmatrix} 2 \\ 1 \end{bmatrix} $$ 而这两个向量就是变换后的**基**. ### 矩阵与空间 根据矩阵实际上是对基的变换 我们可以来研究矩阵的维度了. - 2 x 2 矩阵实际上是把 1 x 2的基底 映射为 1 x 2的基底 - 3 x 2 矩阵实际上是把 1 x 3的基底 映射为 1 x 2的基底 这就造成了空间的压缩 ### 矩阵乘法 线性变换是可以复合的. 比如线性变换T与G,先做G变换后做T变换. $$ T(G(u)) $$ 若 $$ T = \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} $$ $$ G = \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} $$ 那么对u=(2,1)的两次线性变换可以写为 $$ \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} ( \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \end{bmatrix} ) $$ 我们看出: 矩阵的线性变换是**从右往左**读的 现在我们通过对 **基向量**的变换 自然而然的可以推导出矩阵的乘法. $$ \begin{bmatrix} 1, & 1 \\ -1, & 0 \end{bmatrix} \begin{bmatrix} 2, & 0 \\ 1, & 1 \end{bmatrix} $$ 首先 基向量(1,0) 与 (0,1) 在经过G的变化后: $$ i = \begin{bmatrix} 2 \\ 1 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} $$ 那么我们再使用T对i和j做线性变换 $$ i = 2 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 3 \\ -2 \end{bmatrix} $$ $$ j = 0 \begin{bmatrix} 1 \\ -1 \end{bmatrix} + 1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} $$ 那么i与j合并为线性变换矩阵就是 $$ \begin{bmatrix} 3 , & 1 \\ -2 , & 0 \end{bmatrix} $$ 那么矩阵的**结合律** 便自然的出现了: - ABC = A(BC) 因为矩阵是从右向左的线性变换 所以 这是自然的. ### 逆 我们将在线性方程组使用到矩阵的逆 但在此我们会说说矩阵的逆的性质和条件. 可逆的定义为: 若存在$S \in L(W,V)$ 使得ST等于V上的恒等映射 且TS等于W上的恒等映射 则 $T \in L(V,W)$ 是可逆. 即: $$ ST = TS = I $$ - 逆是**唯一**的 - 可逆性等价于 这个线性映射是**单且满**的. 注意这个结论非常的重要. 我们可以得出 可逆可以得出很多性质: 0空间只有0;单射;满射 ### 同构 若两个向量空间存在一个**可逆的线性映射**, 那么这两个向量空间是**同构**的. ## 维度 dim V为V的向量组的长度 也叫维度. 那么有以下结论 1. 若向量组中向量的数量大于n 那么一定线性相关 2. 任意n个**线性无关**的向量一定构成一组基 3. 任意n个**张成整个空间**的向量一定构成一组基 ## 行列式 前面我们线性变换研究的是**基**的变换. 自然的 我们也想研究线性变换对空间的**缩放效果**. 考虑线性变换: $$ \begin{bmatrix} 3, & 0 \\ 0, & 2 \end{bmatrix} $$ 变换后的基为 (3,0) 与 (0,2). 初始面积为1 变换后为6 所以线性变换拉伸了6倍的面积. 这个线性变换的比例被称为**行列式** 至于行列式的计算: 二维是 $$ \begin{bmatrix} a, & b c, & d \end{bmatrix} = $$ ## 线性方程组 大量的例子告诉我们 这类方程是极其常见的: $$ 6x - 3y + 2z = & 7 \\ x + 2y + 5z = & 0 \\ 2x - 8y - z = & -2 $$ 我们称之为 **齐次线性方程组**. 根据向量空间往大映射必不单 往小映射必不满 可以推出: - 当变量多于方程时 方程必有非0解 - 当变量多余方程时 必有一组常数使得方程无解 ### 求解矩阵方程 我们发现 这组方程可以写为对向量(x,y,z)的线性映射. $$ \begin{bmatrix} 2, & 5, & 3 \\ 4, & 0, & 8 \\ 1, & 3, & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \end{bmatrix} = \begin{bmatrix} -3 \\ 0 \\ 2 \end{bmatrix} $$ 简化为 $$ A v = u $$ 相当于: **我们要求解向量v 它在经过A变换后变为u** 那么我们可以使用逆变换 把u变到v. $$ A^{-1} A v = A^{-1} u \\ v = A^{-1} u $$ 其中 $A^{-1}$是A的逆矩阵 ### 列空间与秩 方程的解让我们聚焦于变换和逆变换的性质. - 从行列式的角度来说: 当行列式不等于0时: A逆存在. 因为若行列式不等于0 也就是说映射后的**基的单位体积**不为0 也就是说:空间**没有被压到低维度** - 从映射与空间的角度来说: 若逆存在: 0空间只有0;A是单射且是满射 揭示了 $$ \boxed{可逆映射不会丢失任何方向 也不会创造新的自由度} $$ 那么自然而然的 我们想研究: 一个映射到底保留了多少空间 或者能映射到多大的空间. - 变换后的**基** **张成**的空间称之为**列空间** 而这个被张成的空间的维度也就是列空间的维度就是**秩**. 揭示了变换后空间被压缩到的维度. ## 点积与叉积 内积是点积的**推广** 所以这里我们先引入点积. ### 点积 两个**维数相同向量**的点积 即为将相应坐标配对相乘再相加 $$ \begin{bmatrix} 1 \\ 2 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ 4 \end{bmatrix} = 1 * 3 + 2 * 4 = 11 $$ 注意 点积的结果是scalar标量. 实际上,将第一个向量转置后与第二个向量的矩阵乘积得到的1x1矩阵的结果也是点积的结果. > 所以点积实际上给出了**线性泛函** $$ a \cdot b = a^{T} b $$ 我们可以用**线性变换**来理解这个点积. 原来的基底i和j 是 1*2的向量. 在经过矩阵a的线性变换后 **压缩到了一维的数轴上** 变换后的基底变成了一维的数. #### 投影 向量的点积还有一种直观的几何理解 $$ v \cdot w $$ 实际上就是v在w上或者w在v上的**投影向量的长度**乘被投影向量的长度. ### 叉积 #### 二维 二维空间的叉积定义为: $$ v_1 \times v_2 $$ 它的 几何意义是 两个向量 **张成** 的平行四边形的面积. 实际上我们可以看作 这两个向量是 二维空间基向量 i与j的线性变换. $$ i = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \\ j = \begin{bmatrix} 0 \\ 1 \end{bmatrix} $$ 那么 $v_1$ 与 $v_2$ 张成的平行四边形的面积 实际上是 基向量 张成的 面积为1的正方形 缩放而来. 至于缩放的比例 其实就是 **行列式**的值. 所以: 二维叉积的值是 行列式的值. #### 三维 两个三维向量 $v_1$ $v_2$ 叉积得到的结果是: 一个新的向量 $v_3$. 且 - $v_3$ **垂直** 于 $v_1 和 v_2 $ 张成的 二维空间. - $v_3$ 的长度 等于 $v_1$ 和 $v_2$ 张成的 平行四边形的 面积. ## 向量空间的积与商 ### 积 向量空间的积就是将 两个向量空间 **打包**. 两个向量空间 V与W, 那么V与W的积 $$ VxW = (v,w) $$ - 向量空间的积的**维数** 等于所有子空间的维数相加. 我们发现 这个概念其实和 **子空间的直和** 很像. 都是将两个空间 **合并** 在一起. 其实子空间的 **积** 与 **直和** 是同一个结构的两个描述方式. $$ (v,w) = (v,0) + (0,w) = ( V \times {0} ) \oplus ( {0} \times W ) $$ 积空间的作用 可以**组合映射** $$ T: U -> V \\ S: U -> W $$ 那么 $$ (T,S): U -> V \times W $$ ### 商空间 商空间的作用是踢出一个子空间. 一个向量空间V关于子空间N的商是将N **坍塌** 为零得到的向量空间 为商空间. 而商空间就是**所有陪集**的集合. $$ V/U = {v + U: v \in V} $$ #### 陪集 陪集是 **向量 + 子空间** $$ v \in V \\ v + U = {v + u : u \in U} $$ ## 对偶与线性泛函 我们在使用**点积**的时候, 如果使用**线性变换** 来看待两个向量的点积, 实际上它代表对第一个向量 **转置** 然后做矩阵乘. $$ a \cdot b = a^{T} b $$ 我们将这种 **把一个向量映射为一个标量** 的**线性变换** 叫做 **线性泛函**. - 线性泛函: $ f: V -> F$ 也就是说: f是 L(V,F)的元素. 本质就是一个**线性变换** 只不过是映射到标量的线性变换. ### 对偶空间 V上 **所有线性泛函**构成的空间就是对偶空间. 记为V' 也就是说 $$ V' = L(V,F) $$ 对偶空间就是对 **向量点积** 的抽象化， 能够为 **测度 分布 希尔伯特空间 量子力学**提供重要观点. ### 对偶基 对偶基揭示了: **向量空间的一组基 对应着对偶空间内一组专门用来读取坐标的基**。 在普通向量空间的基中, 取一组基: $e_1,e_2, ..., e_n$ 对于**任意向量v** 可以展开为: $$ v = a_1 e_1 + a_2 e_2 + ... + a_n e_n $$ 写为 $(a_1,a_2,...,a_n)$ 而对偶基的用处是 **使用线性泛函直接读取普通基在某个方向的坐标**. 比如线性泛函 $f^1$: 有 $f^1 (a_1 e_1 + a_2 e_2 + ...) = a_1$ 直接取出a_1的坐标 那么对偶基的定义为: 若 $e_1 , e_2 ,..., e_n$ 都是V的基, 存在 **唯一的** 线性泛函 $e^1,...,e^n$ 使得: $$ e^i (e_j) = \delta^i_j $$ 这里的Kronecker delta 用于**筛选出** i和j 是否相等. 其中 $$ \delta^i_j = \begin{cases} 1 , & i = j \\ 0 , & i != j \end{cases} $$ ### 对偶映射 有两个向量空间 V 与 W. 有一个线性映射T , T: V -> W 我们在W的 **对偶空间** W' 中, 有一个 **线性泛函** f: W-> F 那么 先作用 **线性映射T** 再作用 **线性泛函f** 就可以 将 V 映射到F. 也就是说 $$ T: V -> W \\ f \in W', f : W -> F \\ f \circ T : V -> F $$ 那么 $f \circ T$ 实际上就是V的 **线性泛函**. 所以 $$ f \circ T \in V' $$ 那么 原来的映射T: V-> W , 会诱导出一个新的映射 T' : W' -> V' . T' 就是 T 的 **对偶映射** 对偶映射对应的线性变换 就是 **转置**. ## 基变换 矩阵/向量 都是依赖于 **基** 的选取. 那么自然的 如何 **更换基** 去表示线性变换 是值得研究的. 基变换研究的是: **同一个** 线性变换T 换了一组基后 矩阵变成的样子. 我们研究 原本在基A下的线性变换T 在基B的线性变换 T' 首先 在基B下的向量为 $u_B$ 我们对它乘B的基在A下的坐标P $$ P u_B $$ 这是将 $u_B$ 转换为了 在A下的坐标. 然后就可以运用线性变换T. 因为T也是A下描述的. $$ T P u_B $$ 目前得到的是在A下 将 $u_B$ 线性变换得到的坐标. 最后 我们需要将这个坐标再变回B基. $$ P^{-1} T P u_B $$ 这就得到了在A的线性变换T 变到B后的线性变换 T' $$ T' = P^{-1} T P $$ ## 本征 在线性变换中 有一些向量经过某些线性变换后 其**方向不会发生改变** 这类向量称之为 **本征向量** , 它们缩放的倍率 称之为 **本征值**. $$ T v = \lambda v $$ ### 不变子空间 U是V的子空间,且T是V上的算子,若对所有的 $u \in U$ 都有 $$ T u \in U $$ 则称U为V的不变子空间. ### 本征值 若存在 $v \in V$ 且 $v \ne 0$ 有 $T v = \lambda v$ 那么$\lambda \in F$ 是T的本征值 #### 等价条件 如果 $\lambda$ 是 T的本征值 那么 - $T - \lambda I$ 不是单的 不是满的 不是可逆的 $$ T v = \lambda v $$ 那么 $$ T v = \lambda I v \\ (T - \lambda I) v = 0 $$ 若v非0 而前面的线性映射把v映射到了0 **说明零空间不止有0** 这个线性映射把v **降维了**. #### 存在性 - 复向量空间上的算子都有本征值 ### 本征向量 刚才本征值定义中的v就是本征向量. - 不同本征值对应的本征向量都是 **线性无关** 的. 因为一个方向的本征向量对应一个缩放倍率 如果两个向量同向的话 那么也应该被缩放相同倍率. ### 三角矩阵 上三角矩阵就是: 位于对角线下方的元素全为0. 复向量空间的每个算子都有上三角矩阵 #### 等价条件 下列条件等价于上三角矩阵 - 对于 $j \in [1,n]$ , $T v_j \in span(v_1,..,v_j) $ ,也就是说: 向量v构成了一串被T 逐层保留的**不变子空间** j = 1 时, $T v_1 = \lambda_1 v_1$, 所以$V_1$是不变子空间 j = 2 时, $T v_2 \in span(v_1,v_2)$, 而 $T v_1 \in span(v_1,v_2)$ , $V_2$是不变子空间 这构成了一个不变子空间链条 $$ T v_j = a_1j v_1 + ... + a_jj v_j $$ #### 可逆性与本征值 - 当且仅当 上三角矩阵的对角线非0 这个算子才可逆. - 上三角矩阵的对角线就是本征值 ### 本征空间 本征向量的集合 加上0向量 就是本征空间. ### 对角矩阵 除了对角线其他全是0的矩阵就是对角矩阵. #### 等价条件 T可对角化 等价于下列条件: - V有由T的本征向量构成的基 - V有在T下不变的一维子空间 使得 V = $\U_1 \oplus ... \oplus U_n$ - T有dim V个不同的本征值 ## 内积 内积是点积的 **推广**