2020-02-26 21:39:16

算法工程师的数学基础|线性代数中的向量和向量空间

17 / 0 / 0 / 0

作者: 搜索与推荐Wiki 来源: 搜索与推荐Wiki

新的系列文章开启了,本系列文章主要是定位于【算法工程师的数学基础】,将会从线性代数、微积分、数值优化、概率论、信息论五个方面进行介绍,感兴趣的欢迎关注【搜索与推荐Wiki】公众号,获得最新文章。

《算法工程师的数学基础》已更新:

  • 1、算法工程师的数学基础|线性代数中的向量和向量空间

线性代数主要包含向量、向量空间(或称线性空间)以及向量的线性变换和有限维的线性方程组。本篇文章主要介绍线性代数部分中的向量和向量空间。

向量和向量空间

向量

标量(Scalar)是一个实数,只有大小,没有方向。而向量(Vector)是由一组实数组成的有序数组,同时具有大小和方向。

一个维向量是由个有序实数组成,表示为:

其中称为向量的第个分量,或者第维。向量符号一般用黑色小写字母、、或者小写字母、、表示。

为了书写方便期见,本系列文章向量并没有进行黑色加粗,但读者也要进行区分。

向量空间

向量空间(Vector Space) 也称为线性空间(Linear Space),是指由向量组成的集合,并满足以下的两个条件:

  • 向量加法+:向量空间中的两个向量、,他们的和也属于向量空间
  • 标量乘法:向量空间中的任一向量和任一标量,他们的乘积也属于向量空间

欧式空间(Euclidean Space) 是一个常用的线性空间,通常表示为,其中为空间维度(Dimension)。欧式空间中向量加法和标量乘法定义为:

其中向量加法需要满足两个向量的维度必须一致。

线性子空间 向量空间的线性子空间是的一个子集,并且满足向量空间的两个条件(向量加法和标量乘法)。

线性无关 线性空间中的一组向量,如果对任意的一组标量,满足,则必然,那么是线性无关的,也称为线性独立。

注意 中 0 表示 维的0向量

线性相关性是线性代数的重要概念,因为线性无关的一组向量可以生成一个向量空间,而这组向量则是这向量空间的基。

补充wiki上的线性相关性判断:

  • 含有零向量的向量组,必定线性相关。若有向量组,其中,则。
  • 含有两个相等向量的向量组,必定线性相关。若有向量组,其中,则。
  • 若一向量组相关,则加上任意个向量后,仍然线性相关;即局部线性相关,整体必线性相关。
  • 整体线性无关,局部必线性无关。
  • 向量个数大于向量维数,则此向量组线性相关。
  • 若一向量组线性无关,即使每一向量都在同一位置处增加一分量,仍然线性无关。
  • 若一向量组线性相关,即使每一向量都在同一位置处减去一分量,仍然线性相关。
  • 若线性无关,而线性相关,则,b必可由线性表示,且表示系数唯一。
  • 有向量组和,其中,且中每个向量都可由线性表示,则向量组必线性相关。即向量个数多的向量组,若可被向量个数少的向量组线性表示,则向量个数多的向量组必线性相关。
  • 若一向量组可由向量组线性表示,且线性无关,则。即线性无关的向量组,无法以向量个数较少的向量组线性表示。

基向量 向量空间的基(bases)是的有限子集,其元素之间线性无关。向量空间所有的向量都可以按唯一的方式表达为中向量的线性组合。对任意,存在一组标量使得:

其中基中的向量称为基向量(base vector)。如果基向量是有序的,则标量称为向量关于基的坐标(coordinates)。

维空间的一组标准基(standard basis) 为:

中的任一向量可以唯一表示为:

也称为向量的笛卡尔坐标(Carterian coordinates)。

向量空间中的每个向量可以看作是一个线性空间中的笛卡儿坐标。

内积 一个 维线性空间中的两个向量,其内积为:

正交 如果向量空间中两个向量的内积为0,则他们正交(orthogonal)。如果向量空间中一个向量与子空间中的每个向量都正交,那么向量和子空间正交。

范数

范数(norm)是一个表示向量长度得函数,为向量空间内得所有向量赋予非零得正长度或大小。对于一个维向量,一个常见得范数函数为范数

其中为一个标量的参数。常用的的取值有等。

范数 为向量各个元素的绝对值之和。

范数 为向量各个元素的平方和再开方

范数又称为Euclidean范数或者Frobenius。从几何角度,向量也可以表示为从原点出发的一个带箭头的有向线段,其范数为线段的长度,也常称为向量的模。

范数  为向量各个元素的最大绝对值。

下图给出了常见的不同范数示例。

常见的向量

全0向量 指所有元素都为0的向量,用0表示。全0向量为笛卡尔坐标系中的原点。

全1向量 指所有元素都为1的向量,用1表示。

one-hot向量 为有且已有一个元素为1,其余元素都为0的向量。

PS: 如本文对您有疑惑,可加QQ:1752338621 进行讨论。

0 条评论

0
0
官方
微信
官方微信
Q Q
咨询
意见
反馈
返回
顶部