线性和非线性最小二乘问题的各种解法

先看这篇博客，非常好：线性和非线性最小二乘问题的各种解法

1. 线性最小二乘问题有最优解

但是面对大型稀疏矩阵的时候使用迭代法效率更好。
迭代法有Jacobi迭代法、 Seidel迭代法及Sor法
【数值分析】Jacobi、Seidel和Sor迭代法求解线性方程组（附matlab代码）
解线性方程组的迭代法

基于分解的方法
线性和非线性最小二乘问题的各种解法
这篇文章总结的很好。

梯度下降
牛顿法
高斯牛顿法
LM方法等。

光流
在LK特征点跟踪光流法中使用线性最小二乘求解 du，dv
在dis_flow中也是。这两者的区别在哪里？
VariationalRefinement 中的sor迭代方法。

染色
Colorization using Optimization 构建了线性稀疏矩阵，然后利用迭代的方法求解。具体来说就是用到雅可比迭代法
在这里插入图片描述

还有哪些应用？