企业官网建设流程全解析

服装品牌网站怎么做,wordpress唯美破解主题,免费行情软件网站大全,页游和做网站1. 引言最小二乘可以说是现代科学与工程的“隐形骨架”#xff0c;几乎无处不在。比如#xff1a;测绘与空间信息科学#xff1a;摄影测量平差、GNSS/RTK定位、控制网平差。机器人与自动驾驶#xff1a;视觉SLAM/LiDAR SLAM、传感器融合、手眼标定、运动学/动力学参数辨识。…1. 引言最小二乘可以说是现代科学与工程的“隐形骨架”几乎无处不在。比如测绘与空间信息科学摄影测量平差、GNSS/RTK定位、控制网平差。机器人与自动驾驶视觉SLAM/LiDAR SLAM、传感器融合、手眼标定、运动学/动力学参数辨识。计算机视觉与计算机图形学图像配准、三维重建、光照估计、纹理映射。机器学习与数据科学线性回归、岭回归、主成分分析、支持向量机、神经网络训练。笔者之前对最小二乘问题也只是一知半解这里就详细学习总结一下。2. 最小二乘2.1 定义最小二乘是一种从有误差的数据中寻找最佳拟合模型的数学方法它的核心思想是让模型的预测值与实际观测值之间的“误差平方和”最小。比如经典的最小二乘拟合直线的问题给定一组有噪声的数据点需要拟合一条直线ykxb那么不可能所有点都正好在一条直线上合理的方案是找到最佳的斜率k和截距b使得所有点到这条直线的竖直距离的平方和最小。最小二乘的数学表达为minθm∑i1ri(θ)2minθ∥r(θ)∥2其中ri(θ)是第i个观测的残差residualriyi−f(xi;θ)r(θ)是所有残差组成的向量θ是待估计的参数向量虽然定义出来了但是另一个问题是——为什么最小二乘用“平方和”而不是“绝对值和”、“四次方和”或其他方式这背后其实有深刻的数学原理从统计学的角度上来讲最小二乘就是在误差服从高斯分布时的最大似然估计。从几何的角度上来讲平方和是欧氏距离的平方是最自然的距离度量。不过要说清楚这两点有点麻烦我们可以先暂时通过高数知识来简单的理解。函数f(r)r2是一个凸函数所谓凸函数直观来说就是任意两点之间的线段始终在函数图像之上只有一个“谷底”这个“谷底”就是全局最小值。这意味着任何局部最小值就是全局最小值在求解优化问题的时候可以通过梯度下降等算法收敛到全局最优。2.2 线性最小二乘问题可以分为线性最小二乘和非线性最小二乘来讨论。首先我们先来讨论一个比较本质的问题什么叫做线性在《初等线性代数》中线性指的是可加性和齐次性例如一个变换T能满足如下两个条件T(xy)T(x)T(y)T(αx)αT(x)突然地引入数学上的定义确实有点难以理解不过我们只需要明白线性是一种非常优良的性质。比如说满足线性的函数/变换显然是连续的、可导的以及光滑的这意味着这个函数/变换不仅结构简单也易于预测和控制。科学家和工程师都喜欢假设问题的模型是线性的开始研究即使真实世界的问题模型大多数是非线性的也会通过数学方法将非线性问题转换成线性问题。因此要研究最小二乘首先需要理解线性最小二乘。3. 线性最小二乘3.1 定义需要明确指出的是问题模型的线性还是非线性是相对于待定参数θ而言的而不是已知参数x。线性最小二乘的问题模型可以写成如下形式f(x;θ)Aθ那么线性最小二乘的数学表达为minθ∥Aθ−b∥2(2)其中A设计矩阵m×nm是数据点数n是参数数θ未知参数向量n×1b观测向量m×13.2 具体化数学上的概念比较抽象这里还是结合前面最小二乘拟合直线的例子来理解。给定一组有噪声的数据点(x1,y1),(x2,y2),…,(xm,ym)我们希望拟合一条直线ykxb0其中k是斜率b0是截距。很显然对于待定参数k和b0来说这个问题模型是线性的需要使用线性最小二乘来估计参数。将数据点带入这个问题模型可得方程组⎧⎪⎪⎪⎨⎪⎪⎪⎩y1kx1b0y2kx2b0⋮ymkxmb0将方程组写成矩阵形式⎡⎢⎢⎢⎢⎣x11x21⋮⋮xm1⎤⎥⎥⎥⎥⎦[kb0]⎡⎢⎢⎢⎢⎢⎣y1y2⋮ym⎤⎥⎥⎥⎥⎥⎦(1)令设计矩阵A⎡⎢⎢⎢⎢⎣x11x21⋮⋮xm1⎤⎥⎥⎥⎥⎦m×2参数向量θ[kb0]2×1观测向量b⎡⎢⎢⎢⎢⎢⎣y1y2⋮ym⎤⎥⎥⎥⎥⎥⎦m×1问题模型函数f(x;θ)kxb1[x1][kb1]那么问题模型的残差就是r(θ)Aθ−b线性最小二乘问题可归纳为minθ[k,b1]T∥Aθ−b∥23.3 求解先不谈如何求解最小二乘公式(2)的问题先说说如何解决方程组(1)毕竟如果能正确求解方程组(1)那么这个问题就解决了。很显然方程组(1)就是《初等线性代数》中的线性方程组根据《初等线性代数》中的知识这种方程个数m比未知数多的线性方程组n是没有解的。但是归结到具体的显式问题中来说这个方程组应该要有解假设所有的数据点(xi,yi)都没有噪声那么选取任意n组数据即可计算出唯一解。但是真实世界的数据是有噪声的不能这么做。回忆《初等线性代数》中的知识求解线性方程组Aθb最容易理解就是矩阵求逆法但是这个方程组m要远大于n明显是没办法求解逆矩阵的。但是我们可以改造这个方程组在两边都乘以相同的矩阵AT:ATAθATb这个方程就是正规方程。ATA是方阵在满秩的情况下可以求逆矩阵其解为θ∗(ATA)−1ATb(3)这个解其实就是最小二乘公式(2)的解即最小二乘解。3.4 原理为什么说上文的式(3)恰好就是式(2)的最小二乘解呢为什么我们会知道在两边都乘以相同的矩阵AT呢这里就来推导一下。3.4.1 代数推导之前已经提到过最小二乘是“误差平方和”是一个凸函数可以求它的极小值。令J(θ)∥Aθ−b∥2根据《高等数学》中的知识要求函数的极小值需要对θ求导并令梯度导数为 0∂J∂θ2(Aθ−b)∂Aθ−b∂θ0根据矩阵微积分的知识f(θ)aTθ的导数是a因此2AT(Aθ−b)0调换位置也就得到了正规方程ATAθATb3.4.2 几何推导在回答这个问题之前我们必须要对《线性代数》中的矩阵有更深刻的认识矩阵的列向量张成了一个​列空间Column Space​​由该矩阵所有列向量的线性组合所构成。而矩阵与向量相乘的结果正是这些列向量以向量中对应分量为系数的线性组合。例如设矩阵A[a1a2⋯an]其中ai是列向量。对于任意向量x[x1x2⋮xn]有Axx1a1x2a2⋯xnan这个结果Ax显然是矩阵A的列向量的一个线性组合因此它属于列空间。所以矩阵乘以一个向量的结果是其列向量的一个线性组合且这个结果落在矩阵的列空间中。那么对于线性最小二乘问题Aθb中来说观测向量b会落到设计矩阵A的列空间中吗由于噪声的存在肯定是不行的只能尽量寻找一个θ使得Aθ尽量靠近b。那么什么样的θ才能满足尽可能接近的要求呢答案很简单就是做正交投影。形象的解释就是一个向量b投影平面A的影子Aθ∗才是最接近b的并且最接近的投影方式是正交投影而这个θ就是最小二乘解θ∗。所谓正交投影指的是一个点向一个平面或直线作垂线垂足就是投影点也就是说b−Aθ应该垂直于A的列空间。这也意味着b−Aθ与A的每一个列向量都正交那么就有AT(b−Aθ)0调换位置同样得到正规方程ATAθATb以上推论也说明了一个原理在欧几里得空间中点到子空间的最短欧式距离是通过正交投影实现的最小二乘利用的就是这个原理。