视觉slam十四讲ch6 非线性优化

视觉slam十四讲实践部分记录——ch6 非线性优化 建议修复。修改后部分代码:然后保存重新编译即可。 阅读详情

视觉slam十四讲ch6 非线性变换

一:状态估计问题

1:批量状态估计与最大后验估计

(1)经典SLAM模型的运动方程和观测方程

  • 运动方程:Xk=f(Xk−1 ,Uk)+WkX_k=f(X_k-1~,U_k)+W_kXk​=f(Xk​−1 ,Uk​)+Wk​
    XXX表示相机的位姿,每个时刻位姿记为X1,X2……X(k)构成了运动的位姿,XkX_kXk​可以由TkT_kTk​变换矩阵SE(3)SE(3)SE(3)给出
    UkU_kUk​是传感器的输入
    WkW_kWk​是运动噪声,WkW_kWk​~N(0,RkR_kRk​)
    运动方程解释了从k-1时刻到k时刻,机器人的位姿是如何变化的。SLAM的关键问题就是解决估计X的问题

  • 观测方程:Zk=h(Yj,Xk)+Vk,jZ_k=h(Y_j,X_k)+V_k,_jZk​=h(Yj​,Xk​)+Vk​,j​

    YjY_jYj​是对应的路标

    Zk,jZ_k,_jZk​,j​是对应图像的像素位置

    Vk,jV_k,_jVk​,j​是观测噪声,VkV_kVk​~N(0,Qk,jQ_k,_jQk​,j​)

(2)视觉SLAM的观测方程(由针孔模型给定):

s∗Zk,j=K(Rk,∗Yj+tk)s*Z_k,_j=K(R_k,*Y_j+t_k)s∗Zk​,j​=K(Rk​,∗Yj​+tk​)

其中:

  • K为相机内参
  • s为像素点距离,也是(Rk∗tkR_k*t_kRk​∗tk​)的第三个分量

若使用变换矩阵TkT_kTk​描述位姿,则YjY_jYj​必须用齐次坐标来描述,计算完成后要转换为非齐次坐标(见第五讲)

(3)视觉SLAM的问题

通过带噪声的数据ZZZ和UUU推测位姿XXX和地图YYY(以及他们的概率分布(即状态估计问题)

解决这种状态估计问题方法:

  1. 滤波器(增量/渐进)法:持有一个当前时刻的估计状态,然后用新的数据来更新它
  2. 批量法:把数据“攒”起来一并处理(例:把0-k时刻的所有输入和观测数据放在一起,在这样的输入和观测下,如何估计整个0-k时刻的轨迹与地图)------SfM(Structure from Motion) 具有不实时性,不符合SLAM的应用场景
  3. 滑动窗口估计法:固定一些历史轨迹,仅对当前时刻附近的一些轨迹进行优化

(4)批量方法

考虑从1到N的所有时刻,并假设有M个路标点,定义所有时刻的机器人位姿及路标点坐标

X=(X1,X2,......,XN),Y=(Y1,Y2,......,YM)X=({X_1,X_2,......,X_N}), Y=({Y_1,Y_2,......,Y_M})X=(X1​,X2​,......,XN​),Y=(Y1​,Y2​,......,YM​)

  • 不带下标的U代表所有时刻的输入
  • Z代表所有时刻的观测数据

从概率学的角度,视觉SLAM的问题就是:已知输入数据U和观测数据Z的条件下,求状态X,Y的概率分布

当我们不知道控制输入U时候,只有一张张图片时候,即只考虑观测方程带来的数据时,相当于估计P(X,Y∣Z)P(X,Y|Z)P(X,Y∣Z)的概率分布,此问题也称SfM,即:如何从一张张图像中重构三维空间结构

由贝叶斯法则:P(A|B)=P(B∣A)∗P(A)P(B)\frac{P(B|A)*P(A)}{P(B)}P(B)P(B∣A)∗P(A)​

P(X,Y∣Z)=P(Z∣X,Y)∗P(X,Y)P(Z)∝P(Z∣X,Y)∗P(X,Y)P(X,Y|Z)=\frac{P(Z|X,Y)*P(X,Y)}{P(Z)}\propto P(Z|X,Y)*P(X,Y)P(X,Y∣Z)=P(Z)P(Z∣X,Y)∗P(X,Y)​∝P(Z∣X,Y)∗P(X,Y)

  • 其中:P(X,Y|Z)称为后验概率,P(Z|X,Y)称为似然,P(X|Y)称为先验
  • 直接求解后验估计是困难的,但是求一个状态最优估计,使得在该状态下后验概率最大是可行的

(X,Y)∗MAP=argmaxP(X,Y∣Z)=argmaxP(Z∣X,Y)∗P(X,Y)(X,Y)^*MAP=arg max P(X,Y|Z)=argmaxP(Z|X,Y)*P(X,Y)(X,Y)∗MAP=argmaxP(X,Y∣Z)=argmaxP(Z∣X,Y)∗P(X,Y)

  • 由于P(X,Y|Z)的分母部分与待估计的状态X,Y无关,故可以忽略
  • 贝叶斯法则可以得知求解最大后验概率等价于最大似然和先验的乘积

在实际现实中,我们也无法大概知道机器人的位姿或路标,此时就不知道了先验

那么就可以求解最大似然估计(Maximize Likelihood Estimation,MLE)

(X,Y)∗MLE=argmaxP(Z∣X,Y)(X,Y)^*MLE=arg max P(Z|X,Y)(X,Y)∗MLE=argmaxP(Z∣X,Y)

  • 似然:在当前的位姿和路标下,可能产生什么样的观测数据

    由于观测到的数据是已知的,最大似然估计就可以理解为:“在什么样的·状态下,最可能产生现在观测到的数据”

2:最小二乘的引出

怎么求最大似然估计?

在高斯分布的前提假设下,最大似然能够有较为简单的形式:

对于某一次观测:

Zk,j=h(Yj,Xk)+Vk,jZ_k,_j=h(Y_j,X_k)+V_k,_jZk​,j​=h(Yj​,Xk​)+Vk​,j​

由于噪声VkV_kVk​~N(0,Qk,jQ_k,_jQk​,j​),故观测数据的条件概率为

P(Zj,k∣Xk,Yj)=N((h(Yj,Xk),Qk,j)P(Z_j,_k|X_k,Y_j)=N((h(Y_j,X_k),Q_k,_j)P(Zj​,k​∣Xk​,Yj​)=N((h(Yj​,Xk​),Qk​,j​)

它仍然是一个高斯分布,高斯分布的概率密度函数:

P(X)=1(2π)Ndet(cov)∗e−12(X−u)Tcov−1(X−u)P(X)=\frac{1}{\sqrt{(2\pi)^Ndet(cov)}}*e^{-\frac{1}{2}(X-u)^Tcov^{-1}(X-u)}P(X)=(2π)Ndet(cov)​1​∗e−21​(X−u)Tcov−1(X−u)

其中:

  • N为分布的维度
  • cov为对应的协方差矩阵,det为对应的行列式
  • u是均值

考虑单次观测的最大似然估计,可以用最小负对数将高斯分布概率密度函数化简,通过求解负对数的最小值得到原函数的最大值

取负对数得:

−ln(X)=12ln(2π)Ndet(cov)+12(X−u)Tcov−1(X−u)-ln(X)=\frac{1}{2}ln(2\pi)^Ndet(cov)+\frac{1}{2}(X-u)^Tcov^{-1}(X-u)−ln(X)=21​ln(2π)Ndet(cov)+21​(X−u)Tcov−1(X−u)


  • 负对数的右侧第一项与X无关,可以略去
  • 最小化右侧的二次项,即可得到对状态的最大似然估计

(Xk,Yk)∗=argmaxN(h(Yj,Xk),Qk,j)=argmin((Zk,j−h(Xk,Yj)TQk,j−1(Zk,j−h(Xk,Yj))(X_k,Y_k)^*=arg max N(h(Y_j,X_k),Q_k,_j)=arg min((Z_k,_j-h(X_k,Y_j)^TQ_{k,j}^{-1}(Z_k,_j-h(X_k,Y_j))(Xk​,Yk​)∗=argmaxN(h(Yj​,Xk​),Qk​,j​)=argmin((Zk​,j​−h(Xk​,Yj​)TQk,j−1​(Zk​,j​−h(Xk​,Yj​))

其中:

  • Zk,jZ_k,_jZk​,j​对应上述的自变量X
  • h(Xk.Yj)h(X_k.Y_j)h(Xk​.Yj​)对应均值u
  • Qk,jQ_{k,j}Qk,j​对应协方差cov

该式等价于:最小化误差项(即误差)的一个二次型,这个二次型称为“马哈拉诺比斯距离(Mahalanobis distance)”,又称“马氏距离”,可以看成由Qk,j−1Q_{k,j}^{-1}Qk,j−1​加权后的欧式距离,Qk,j−1Q_{k,j}^{-1}Qk,j−1​也叫做信息矩阵(高斯分布协方差矩阵之逆)


现在我们考虑批量时刻的数据,通常假设:各个时刻的输入和观测是相互独立的,这意味着:各个输入之间是相互独立的,各个观测之间是也是相互独立的

依据以下结论:

  • 在概率论中:若事件A和事件B是相互独立的,则:P(AB)=P(A)P(B)

  • 经典SLAM运动模型:

    Xk=f(Xk−1 ,Uk)+WkX_k=f(X_k-1~,U_k)+W_kXk​=f(Xk​−1 ,Uk​)+Wk​

    Zk,j=h(Yj,Xk)+Vk,jZ_{k,j}=h(Y_j,X_k)+V_{k,j}Zk,j​=h(Yj​,Xk​)+Vk,j​

推出:

P(Z,U∣X,Y)=∏kP(Uk∣Xk−1,k)∏k,jP(Zk,j∣Xk,Yj)P(Z,U|X,Y)=\prod_{k}{P(U_k|X_{k-1,k})\prod_{k,j}P(Z_{k,j}|X_k,Y_j)}P(Z,U∣X,Y)=k∏​P(Uk​∣Xk−1,k​)k,j∏​P(Zk,j​∣Xk​,Yj​)

定义:各次输入和观测数据与模型之间的误差

eu,k=Xk−f(Xk−1,Uk)e_{u,k}=X_k-f(X_{k-1},U_k)eu,k​=Xk​−f(Xk−1​,Uk​)

eZ,j,k=Zj,k−h(Xk,Yj)e_{Z,j,k}=Z_{j,k}-h(X_k,Y_j)eZ,j,k​=Zj,k​−h(Xk​,Yj​)

最小化所有时刻估计值与真实读数之间的马氏距离,等价于求最大似然估计

利用负对数,把乘积变成求和:

minJ(X,Y)=∑eu,kTRk−1eu,k+∑k∑jeZ,k,jTQk,j−1eZ,k,jmin J(X,Y)=\sum{e_{u,k}^{T}R_k^{-1}e_{u,k}}+\sum_k{\sum_j{e_{Z,k,j}^{T}Q_{k,j}^{-1}e_{Z,k,j}}}minJ(X,Y)=∑eu,kT​Rk−1​eu,k​+k∑​j∑​eZ,k,jT​Qk,j−1​eZ,k,j​

  • k是对应时刻
  • j是对应某个路标Y

这样就得到了一个最小二乘问题,它的解等价于状态的最大似然估计。

直观上看,由于噪声的存在,当我们将估计的轨迹与地图代入SLAM的运动,观测方程中时,它们并不会完美地成立。

这时候我们需要把对状态的估计值进行微调,使得整体的误差下降一些,使其达到一个极小值,这个就是典型的非线性优化的过程

仔细观察上式,可以发现SLAM中的最小二乘问题具有一些特定结构:

  1. 整个问题的目标函数由许多个误差的(加权的)二次型组成。虽然总体变量维数很高,但每个误差项都是简单的,仅与一两个状态变量有关。

    例如:运动误差只与Xk−1,XkX_{k-1},X_kXk−1​,Xk​有关,观测误差只与Xk,YKX_k,Y_KXk​,YK​有关。这种关系会让整个问题具有一种稀疏的形式

  2. 若用李代数表示增量,则该问题是无约束的最小二乘问题。若用旋转/变换矩阵描述位姿,则会引入旋转矩阵自身的约束(RRT=IRR^T=IRRT=I,det®=1),额外的约束会使优化变得困难,这体现了李代数的优势

  3. 使用二次型度量误差。误差的分布将会影响此项在整个问题中的权重

    例如:若某次的观测非常准确,那么协方差矩阵将会“小”,而信息矩阵将会“大”

3:例子:批量状态估计

考虑一个非常简单的离散时间系统:

Xk=Xk−1+Uk+WkX_k=X_{k-1}+U_k+W_kXk​=Xk−1​+Uk​+Wk​ WkW_kWk​~N(0,QkQ_kQk​)

Zk=Xk+nkZ_k=X_k+n_kZk​=Xk​+nk​ nkn_knk​~N(0,RkR_kRk​)

这个可以表达一辆沿X轴前进或后退的汽车

  • 第一个方程为运动方程:UkU_kUk​为输入,WkW_kWk​为噪声
  • 第二个方程为观测方程:ZkZ_kZk​是对汽车位置的测量,取时间k=1,2,…3

现在希望根据已有的V,YV,YV,Y进行状态估计。设初始状态X0X_0X0​已知,下面推导批量状态估计的最大似然估计

首先令批量状态变量为X=[x0,x1,x2,x3]TX=[x_0,x_1,x_2,x_3]^TX=[x0​,x1​,x2​,x3​]T,令批量观测为Z=[z1,z2,z3]TZ=[z_1,z_2,z_3]^TZ=[z1​,z2​,z3​]T,U=[u1,u2,u3]TU=[u_1,u_2,u_3]^TU=[u1​,u2​,u3​]T

依照之前的推导,最大似然估计:

Xmap∗=argmaxP(X∣U,Z)=argmaxP(U,Z∣X)=∏k=13P(Uk∣Xk−1,Xk)∏k=13P(Zk∣Xk)X^*_{map}=arg max P(X|U,Z)=argmax P(U,Z|X)=\prod^{3}_{k=1}P(U_k|X_{k-1},X_{k})\prod^{3}_{k=1}P(Z_k|X_k)Xmap∗​=argmaxP(X∣U,Z)=argmaxP(U,Z∣X)=k=1∏3​P(Uk​∣Xk−1​,Xk​)k=1∏3​P(Zk​∣Xk​)

对于每一项:

  • 运动方程:P(Uk∣Xk−1,Xk)=N(Xk−Xk−1,Qk)P(U_k|X_{k-1},X_k)=N(X_k-X_{k-1},Q_k)P(Uk​∣Xk−1​,Xk​)=N(Xk​−Xk−1​,Qk​)
  • 观测方程:P(Zk∣Xk)=N(Xk,Rk)P(Z_k|X_k)=N(X_k,R_k)P(Zk​∣Xk​)=N(Xk​,Rk​)

构造误差变量:
eu,k=Xk−Xk−1−Uke_{u,k}=X_k-X_{k-1}-U_keu,k​=Xk​−Xk−1​−Uk​

ez,k=Zk−Xke_{z,k}=Z_k-X_kez,k​=Zk​−Xk​

于是最小二乘的目标函数为:

min∑k=13eu,kTQk−1eu,k+∑k=13ez,kTRk−1ez,kmin\sum^3_{k=1}e_{u,k}^TQ_k^{-1}e_{u,k}+\sum_{k=1}^3e_{z,k}^TR_{k}^{-1}e_{z,k}mink=1∑3​eu,kT​Qk−1​eu,k​+k=1∑3​ez,kT​Rk−1​ez,k​

此外这个系统是线性系统,我们可以很容易地将它写成向量形式。定义向量y=[u,z]Ty=[u,z]^Ty=[u,z]T,可以写出矩阵HHH ,使得y−Hx=ey-Hx=ey−Hx=e~N(0,∑\sum∑)

H=[1−10001−10001−1010000100001]H=\begin{bmatrix} 1&-1&0&0 \\ 0&1&-1&0\\ 0&0&1&-1 \\ 0&1&0&0 \\ 0&0&1&0\\0&0&0&1 \end{bmatrix}H=​100000​−110100​0−11010​00−1001​​

且:∑=diag(Q1,Q2,Q3,R1,R2,R3)\sum=diag(Q_1,Q_2,Q_3,R_1,R_2,R_3)∑=diag(Q1​,Q2​,Q3​,R1​,R2​,R3​)

整个问题可以写成:

xmap∗=argmin(eT∑−1e)x^*_{map}=arg min(e^T{\sum}^{-1}e)xmap∗​=argmin(eT∑−1e)

这个问题的唯一解:

xmap∗=(HT∑−1H)−1HT∑−1y)x^*_{map}=(H^T{\sum}^{-1}H)^{-1}H^T{\sum}^{-1}y)xmap∗​=(HT∑−1H)−1HT∑−1y)



二:非线性最小二乘

先考虑一个简单的最小二乘问题:
minxF(x)=12∣∣f(x)∣∣22min_{x}F(x)=\frac{1}{2}||f(x)||^2_2minx​F(x)=21​∣∣f(x)∣∣22​

其中:

  • 自变量x∈Rnx{\in}R^nx∈Rn
  • f是任意标量非线性函数f(x):Rn→Rf(x):R^n{\to}Rf(x):Rn→R
  • 系数12\frac{1}{2}21​是无关紧要的

如何求解这样一个最小值问题?

若f是个数学形式上很简单的函数:可以直接利用求导得到能够取到极小值的点

dFdx=0\frac{dF}{dx}=0dxdF​=0

这个方程是否容易求解也是个问题。

  • 若f的导函数是一个简单的线性函数,那么这个问题就是一个简单的线性最小二乘问题

  • 若f的导函数比较复杂,我们可以采用迭代的方式==,从一个初始值出发,不断地更新当前的优化变量,使目标函数下降==

    具体步骤如下:

1:给定某个初始值X_0
2:对于第k次迭代,寻找一个增量delta(X_k),使得||f(X_k+delta(X_k))||达到最小值
3:若delat(X_k)足够小,则停止
4:否则,令X_{k+1}=X_k+delta(X_k),返回第二步

这让求解导函数为零的问题变成了一个不断寻找下降增量δXk\delta{X_k}δXk​的问题

当函数下降到增量非常小的时候,就认为算法收敛,目标函数达到了一个极小值(这个是一个局部的问题,我们只关心f在迭代处的局部性质而非全局性质)

接下来我们将考察如何寻找这个增量δXk\delta{X_k}δXk​

1:一阶和二阶梯度法

现在考虑第k次迭代,假设在XkX_kXk​处,想要找到增量△Xk{\triangle}X_k△Xk​,最直观的方式是将目标函数在XkX_kXk​附近进行泰勒展开:

F(Xk+△Xk)≈F(Xk)+J(Xk)T△Xk+12△XkTH(Xk)△XkF(X_k+{\triangle}X_k){\approx}F(X_k)+J(X_k)^T{\triangle}X_k+{\frac{1}{2}}{\triangle}X_k^TH(X_k){\triangle}X_kF(Xk​+△Xk​)≈F(Xk​)+J(Xk​)T△Xk​+21​△XkT​H(Xk​)△Xk​

其中:

  • J(Xk)J(X_k)J(Xk​)是F(X)F(X)F(X)关于XXX的一阶导数(也叫梯度,雅可比矩阵)
  • H则是二阶导数(海塞矩阵)

(1)一阶梯度法

若保留一阶梯度,那么取增量为反向的梯度,即可保证函数下降

△X∗=−J(Xk){\triangle}X^*=-J(X_k)△X∗=−J(Xk​)

这个只是一个方向,我们还要指定一个步长λ\lambdaλ。这个步长可以根据一定的条件来计算,这种方法称为“最速下降法”–只要我们沿着反向梯度的方向前进,在一阶线性近似下,目标函数必然会下降。

(2)二阶梯度法

注意以上讨论都是在第k次迭代时进行的,并不涉及其他的迭代信息,所以为了简化符号,省略下标k,并认为这些讨论对任意一次迭代都成立

保留二阶梯度信息,此时增量方程为:

△X∗=argmin(F(X)+J(X)T△X+12△XTH△X){\triangle}X^*=arg min(F(X)+J(X)^T{\triangle}X+\frac{1}{2}{\triangle}X^TH{\triangle}X)△X∗=argmin(F(X)+J(X)T△X+21​△XTH△X)

右侧只含△X{\triangle}X△X的零次,一次,二次项。求右侧等式关于△X{\triangle}X△X的导数并令它等于零,得到:

J+H△X=0→H△X=−JJ+H{\triangle}X=0 {\to} H{\triangle}X=-JJ+H△X=0→H△X=−J

求解这个方程就得到了增量,该方法又称为==”牛顿法“ ==


(3)最速下降法和牛顿法的缺点

  • 最速下降法:

    过于贪心,容易走出锯齿路线,反而增加了迭代次数

  • 牛顿法

    需要计算目标函数的H矩阵,在问题规模比较大时,非常困难,尽量避免H的计算。

    对于一般的问题,一些拟牛顿法可以得到较好的结果

2:高斯牛顿法

高斯牛顿法是最优化算法中最简单的方法之一。

它的思想:将f(x)f(x)f(x)进行一阶项的泰勒展开 (注意这里不是目标函数F(x)F(x)F(x),而是f(x)f(x)f(x),否则就是牛顿法了)

f(x+△x)≈f(x)+J(x)T△x(1)f(x+{\triangle}x){\approx}f(x)+J(x)^T{\triangle}x \tag{1}f(x+△x)≈f(x)+J(x)T△x(1)

  • J(x)TJ(x)^TJ(x)T为f(x)f(x)f(x)关于xxx的导数,为nx1的向量

根据前面的框架,当前的目标是寻找△x{\triangle}x△x,使得∣∣f(x+△x)∣∣2||f(x+{\triangle}x)||^2∣∣f(x+△x)∣∣2达到最小

为了求△x{\triangle}x△x,需要一个线性最小二乘问题:
△x∗=argmin12∣∣f(x)+J(x)T△x∣∣{\triangle}x^*=argmin\frac{1}{2}||f(x)+J(x)^T{\triangle}x||△x∗=argmin21​∣∣f(x)+J(x)T△x∣∣

这个方程与之前的有什么不同吗?先展开目标函数的平方项:
12∣∣f(x)+J(x)T△x∣∣2=12(f(x)+J(x)T△x)T(f(x)+J(x)T△x)=12(∣∣f(x)∣∣22+2f(x)J(x)T△x+△xTJ(x)J(x)T△x)\frac{1}{2}||f(x)+J(x)^T{\triangle}x||^2=\frac{1}{2}(f(x)+J(x)^T{\triangle}x)^T(f(x)+J(x)^T{\triangle}x)=\frac{1}{2}(||f(x)||^2_2+2f(x)J(x)^T{\triangle}x+{\triangle}x^TJ(x)J(x)^T{\triangle}x)21​∣∣f(x)+J(x)T△x∣∣2=21​(f(x)+J(x)T△x)T(f(x)+J(x)T△x)=21​(∣∣f(x)∣∣22​+2f(x)J(x)T△x+△xTJ(x)J(x)T△x)

求上式关于△x{\triangle}x△x的导数,并令其等于零:

J(x)f(x)+J(x)J(x)T△x=0J(x)f(x)+J(x)J(x)^T{\triangle}x=0J(x)f(x)+J(x)J(x)T△x=0

  • 令J(x)J(x)T=H(x)J(x)J(x)^T=H(x)J(x)J(x)T=H(x), −J(x)f(x)=g(x)-J(x)f(x)=g(x)−J(x)f(x)=g(x),则上式可以改写为:

    H△x=gH{\triangle}x=gH△x=g

    这个方程式关于变量△x{\triangle}x△x的线性方程,我们称之为增量方程,也可称为高斯牛顿方程或正规方程

高斯牛顿法将JJTJJ^TJJT作为牛顿法中二阶矩阵H的近似,从而省略了计算H的过程

高斯牛顿的算法步骤:

1:给定初始值x_0
2:对于第k次迭代,求出当前的雅可比矩阵J(x_k)和误差f(x_k)
3:求解增量方程:H*delta(x_k)=g
4:若delta(x_k)足够小,则停止。否则,令x_k+1=x_k+delta(x_k),返回第二步

从算法步骤中可以看出,增量方程的求解占据着主要地位。只要我们能够正确解出增量,就能保证目标函数能够正确的下降

为了求解增量方程,我们需要求解H−1H^{-1}H−1,这需要HHH矩阵可逆,但实际的矩阵JJTJJ^TJJT只有半正定性。

  • 即使用高斯牛顿法时候,可能JJTJJ^TJJT为奇异矩阵或者病态矩阵的情况,此时增量的稳定性较差,导致算法不收敛。直观来说,原函数在这个点的1局部近似不像一个二次函数。
  • 更严重的是,假设HHH非奇异也非病态,如果我们求解出来的步长△x{\triangle}x△x太大,也会导致我们采用的局部近似式($f(x+{\triangle}x){\approx}f(x)+J(x)^T{\triangle}x $)不够准确,这样一来我们甚至无法保证它的迭代收敛,甚至有可能让目标函数更大都是有可能的

列文伯格–马夸尔特方法在一定程度上修正了这些问题。一般认为它比高斯牛顿法更健壮,但它的收敛速度可能比高斯牛顿法更慢,被称为“阻尼牛顿法”

3:列文伯格–马夸尔特方法

高斯牛顿法中采用的近似二阶泰勒展开只能在展开点附近有较好的近似效果,所以我们很自信想到应该给△x{\triangle}x△x添加一个范围,称为信赖区域。在这个范围内,二阶近似是有效的,离开这个区域,近似可能会出问题,这类方法也称为“信赖区域方法”

如何确认这个信赖区域的范围呢?

如果近似模型与实际函数之间的差异越小,近似效果越好,应该扩大近似的范围;反之差异越大,近似效果越差,应该缩小近似的范围

定义一个指标来刻画近似的好坏程度:

p=f(x+△x)−f(x)J(x)T△x(6.34)p=\frac{f(x+{\triangle}x)-f(x)}{J(x)^T{\triangle}x} \tag{6.34}p=J(x)T△xf(x+△x)−f(x)​(6.34)

  • 分母J(x)T△xJ(x)^T{\triangle}xJ(x)T△x是实际下降的值
  • 分子f(x+△x)−f(x)f(x+{\triangle}x)-f(x)f(x+△x)−f(x)是近似模型下降的值

根据ppp的值

  • ppp接近1,则近似是好的
  • ppp太小,说明实际减小的值远小于近似减小的值,则认为近似比较差,需要缩小近似范围
  • ppp太大,说明实际下降的值远大于近似减小的值,则需要扩大近似范围

构建一个改良版高斯牛顿法框架:

1:给定初始值x_0,以及初始优化半径u
2:对于第k次迭代,在高斯牛顿法的基础上加上信赖区域,求解min(1/2)*||f(x_k)+J(x_k)^T*delta(x)||^2,限制条件为:||D*delta(x)||^2<=u
  其中u是信赖区域的半径,D是系数矩阵
3:根据式6.34计算p
4:若p>3/4,则设置u=2u
  若p<1/4,则设置u=0.5u
5:如果p大于某阈值,则认为近似可行。令x_k+1=x_k+delta(x_k)
6:判断算法是否收敛。如果不收敛则返回第二步,否则结束

这里近似范围扩大的倍数和阈值都是经验值,可以替换成别的值。

可以将上述带有约束的优化问题,我们用拉格朗日乘子把约束项放入到目标函数中,构造拉格朗日函数:

L(△x,λ)=12∣∣f(xk)+J(xk)T△x∣∣2+λ2(∣∣D△xk∣∣2−u)L({\triangle}x,\lambda)=\frac{1}{2}||f(x_k)+J(x_k)^T{\triangle}x||^2+\frac{\lambda}{2}(||D{\triangle}x_k||^2-u)L(△x,λ)=21​∣∣f(xk​)+J(xk​)T△x∣∣2+2λ​(∣∣D△xk​∣∣2−u)

其中λ\lambdaλ为拉格朗日乘子,类似高斯牛顿方法,令该拉格朗日函数关于△x{\triangle}x△x的导数为零,它的核心仍是计算增量的线性方程:

(H+λDTD)△xk=g(H+{\lambda}D^TD){\triangle}x_k=g(H+λDTD)△xk​=g

相比高斯牛顿法,该办法多一项:λDTD{\lambda}D^TDλDTD,考虑简单形式D=I的情况:

(H+λI)△xk=g(H+{\lambda}I){\triangle}x_k=g(H+λI)△xk​=g

  • 当参数λ\lambdaλ比较小时,H占主要地位,说明二次近似模型在该范围内是比较好的
  • 当参数λ\lambdaλ比较大时,λI{\lambda}IλI占主要地位,列文伯格–马夸尔特方法更接近于一阶梯度下降法(即最速下降法),说明附近二次近似不够好

列文伯格–马夸尔特方法的求解方式,可在一定程度上避免线性方程组的系数矩阵的奇异和病态问题,提供更稳定,更准确的增量△x{\triangle}x△x

三:实践:曲线拟合问题(实践部分待二刷再更新)

1:手写高斯牛顿法



2:使用ceres进行曲线拟合



3:使用g2o进行曲线拟合

[学习笔记-SLAM篇]视觉SLAM十四讲ch7 前面的内容基本都是基础内容,从第7讲开始变为实践应用,其实就是具体在SLAM中是如何完成各线程内容的。 按理说是实践部分,但还是坚持不实践呢。 注: 1)学习视频:【高翔】视觉SLAM十四讲。 视觉SLAM十四讲第7讲7.1 理论部分7.2 实践部分 第7讲 7.1 理论部分 7-8讲均是视觉里程计的内容,主要区别在于前端原理不同,分别对应特征点法和直接法。 1) 前面我们得到了运动方程(由SE(3)SE(3)SE(3)描述【讲3】,李代数优化【讲4】)和观测方程(由针孔模型给定【讲5】),其中涉及到 阅读详情

相关推荐

[学习笔记-SLAM篇]视觉SLAM十四讲ch6

有些别的事情中断了学习,现在重新拾起来哈。 果然,很多事情还是一鼓作气的好,不然节奏会乱掉。 注: 1)学习视频:【高翔】视觉SLAM十四讲。 视觉SLAM十四讲第6讲6.1 理论部分6.2 实践部分 第6讲 6.1 理论部分 本讲主要是状态估计的问题,大佬以非线性优化为主,也是现在视觉SLAM主流的方向。 1)状态估计 前面我们得到了运动方程(由SE(3)SE(3)SE(3)描述【讲3】,李代数优化【讲4】)和观测方程(由针孔模型给定【讲5】),其中涉及到相机位姿xxx、地标点yyy(前2者合称位姿

warningm_dm的博客 1196

视觉SLAM十四讲——ch6实践(非线性优化)

它是一个基于图优化的库(图优化是一种将非线性优化与图论结合起来的理论)。为了使用g2o,首先要将曲线拟合问题抽象成图优化——节点为优化变量、边为误差。但,这个过程中值得注意的是,书中所带的源码并没有可视化的过程,所以如果想出来可视化图像,需要自己进行更改。在Ceres库中,最为用户,一定要按照步骤定义待解的优化问题,然后交给求解器计算。在执行make -j8的时候会抛出一些警告,这些警告不用关心。是一个广泛使用的最小二乘问题求解库。我在对此章节进行操作的时候没有出现问题,如果有问题可以评论。

琉璃轻纱的博客 1638

[学习笔记-SLAM篇]视觉SLAM十四讲ch9

和第6讲状态估计一样,太多数学推导了,抽象的东西没那么多,但是更令人头大了。 具体的推导还是有亲自计算的必要的,不过整体思路整理也很必要。 注: 1)学习视频:【高翔】视觉SLAM十四讲。 视觉SLAM十四讲第9讲9.1 理论部分9.2 实践部分 第9讲 9.1 理论部分 前端传输过来的地图点、相机运动这些数据都是粗糙的,虽然构建了运动方程(纯视觉SLAM没有)和观测方程,但含有误差,因此需要后端进行优化。 后端优化的方式就是进行状态估计。 1)状态估计 在视觉SLAM中,我们需要优化(待估计)的量是

warningm_dm的博客 1398

视觉slam十四讲ch6非线性优化(包含实践部分)

对于不方便直接求解的最小二乘问题,我们可以用迭代的方式,从一个初始值出发,不断地更新当前的优化变量,使目标函数下降。也就是说,在使用高斯牛顿法时,可能出现JJ^{T}为奇异矩阵或者病态(ill-condition)的情况,此时增量的稳定性较差,导致算法不收敛。一个比较好的方法是根据我们的近似模型跟实际函数之间的差异来确定:如果差异小,说明近似效果好,我们扩大近似的范围;通常假设各个时刻的输入和观测是相互独立的,这意味着各个输入之间是独立的,各个观测之间是独立的,并且输入和观测也是独立的。

shikaiaixuexi的博客 1614

视觉SLAM十四讲学习笔记——第九讲 后端优化(1)

经过前端(视觉里程计)估计得到的轨迹和地图由于存在累计误差,在长时间内是不准确的。因此希望构建一个针对全局的更大规模的优化问题,得到最优的轨迹和地图,这里主要有两种解决思路: (1)基于马尔可夫性假设的卡尔曼滤波器:马氏性假设可以简单地理解为“当前时刻状态只与上一时刻有关”。针对SLAM问题(非线性)的卡尔曼滤波器给出了单次线性近似下的最大后验估计,或者说是优化过程中一次迭代的结果。 (2)非线性优化:非线性优化考虑了当前及之前所有时刻的状态,同时优化所有时刻的相机位姿以及各个特征点的空...

weixin_61294345的博客 3251

《高翔SLAM十四讲》学习笔记ch1-ch3

路线总领 主线:《SLAM十四讲》书本+高翔的视频观看 辅助:《计算机视觉life》SLAM知识星球的资源,利用起来 书本的知识点分布 第一部分为数学基础篇,我们会以浅显易懂的方式,铺垫与视觉SLAM 相关的数学 知识,包括: • 第一讲是前言,介绍这本书的基本信息,习题部分主要包括一些自测题。 • 第二讲为SLAM 系统概述,介绍一个SLAM 系统由哪些模块组成,各模块的具体工作是什么。实践部分介绍编程环境的搭建过程以及IDE 的使用。 • 第三讲介绍三维空间运动,你将接触旋转矩阵、四元数、欧拉角的相关知

shuttworth的博客 689

视觉SLAM十四讲学习笔记——ch6 非线性优化

文章目录6 非线性优化6.1状态估计问题6.1.1批量状态估计与最大后验估计6.1.2 最小二乘的引出6.1.3 例子:批量状态估计6.2非线性最小二乘6.2.1 一阶和二阶梯度法6.2.2 高斯牛顿法6.2.3 列文伯格---马夸尔特方法理论部分小结6.3 实践:曲线拟合问题6.3.1 手写高斯牛顿法6.3.2 使用Ceres进行曲线拟合6.3.3 使用g2o进行曲线拟合 6 非线性优化 g2o库学习 非线性优化_曲线拟合_g2o图优化_最小二乘优化示例 ceres库学习 Ceres Solver 官方教

路拾遗的博客 2487

视觉SLAM入门路线:从《十四讲》到ORB-SLAM3实战

SLAM是同时定位与建图的简称,它让移动载体在未知环境中实时估计自身位置并构建地图。视觉SLAM以相机为核心传感器,通过特征点法、非线性优化、回环检测等模块实现低成本、高信息量的定位与感知。这项技术是机器人导航、无人驾驶、AR/VR乃至具身智能系统的底层支撑,尤其在GPS失效场景中发挥关键作用。对于初学者,掌握旋转矩阵、相机模型、图优化等数学基础,并借助开源框架进行工程实战,是形成完整认知的关键路径。ORB-SLAM3作为经典的特征点法SLAM系统,整合了单目、双目、RGB-D与IMU融合能力,配合TUM数

aoe41606的博客 494

《视觉SLAM14讲》学习小结——供小白快速入门ch6

非线性优化,最速下降法,牛顿法,高斯牛顿法,列文伯格-马夸尔特法

weixin_44469383的博客 776

视觉SLAM入门指南:从十四讲拆解到具身智能实战

从机器人感知说起,视觉SLAM作为自主定位与建图的核心技术,正从冷门专业课变成具身智能和无人驾驶领域的入门刚需。其原理是通过相机实时估计自身位姿并构建环境地图,前端负责特征提取与运动估计,后端利用非线性优化消除累积误差,再通过回环检测修正历史漂移,最终形成可供导航与决策使用的空间地图。这项技术为机械臂抓取、室内配送、自动驾驶等场景提供了不可替代的感知基础,是机器人时代的关键工程能力。本文基于《视觉SLAM十四讲》经典学习路线,拆解其核心框架、数学基础、环境搭建与代码实践,帮助学习者避开常见坑点,建立从理论到

weixin_34268753的博客 339

1.47寸ST7789V3彩屏硬件设计与驱动调试指南

TFT LCD是一种基于薄膜晶体管阵列控制像素明暗的主动式显示技术,其核心依赖于专用驱动IC(如ST7789V3)完成时序生成、GRAM管理与伽马校正。该类小尺寸彩色显示屏广泛应用于嵌入式HMI、IoT终端与可穿戴设备,具备高PPI、低功耗和SPI接口易集成等工程优势。理解RGB565数据格式、SPI Mode 0通信时序及关键寄存器(如0x36方向控制、0x3A像素格式、0x2A/0x2B地址窗口)是实现稳定显示的基础;而正确处理电源设计(严禁5V直供)、复位时序与背光PWM调光,则直接决定系统可靠性与能

weixin_30995917的博客 170

视觉SLAM十四讲CH6代码解析及课后习题详解

Ipopthttps://github.com/coin-or/Ipopt Overview - NLopt DocumentationNonehttps://nlopt.readthedocs.io/en/latest/ 【论文阅读1】SLAM++: SLAM at the Level of Objects - 知乎去年读了不少论文,但是感觉还是记录下来印象更深刻一些。就在知乎记录吧,内容基本都是是翻译过来的,由于时间有限,没有仔细润色,可能不太通顺,以后再慢慢改。 这里记录第一篇文章: R. F..

生活如此美好,致敬每一个热爱“热爱”的人! 4086

YOLOv8冻结层的迁移学习 全网首发

在调用时会创建trainer此时的模型配置更新了,冻结了个p。

qq_42693842的博客 6587

<视觉SLAM十四讲> ch6 非线性优化

很重要

weixin_40440816的博客 1652

破解拼多多网页字体加密的Python实现(静态)

爬取或者复制粘贴出来发现数字不是6372,而是这样的一个东西 ""从上图我们可以看出数字是一行的空白,后面被浏览器渲染后才展现的数字。我们可以用这个代码查看十六位进制对应的十进制,为什么要看十进制呢?​,而字体文件中的字符映射关系(cmap)也是以十进制存储的。我们搜索这个属性我们可以看到第一个这样的属性有一个URL,这个就是解密的字体包。然后我们构造一个这样的映射字典 key就是对应的十进制,后面的值就是对应的数字。然后我们需要封装一个函数,将加密文字和映射字典传入,返回解密后的数字。

weixin_64179111的博客 3550

小样本物体检测

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector 关键:提出了一个小样本数据集:数据集 步骤: 提取support img为一过滤特征 使用support img的特征来过滤query img,最后将过滤后的特征输入RPN网络中 RPN网络层的输出,会进行多头判断,使用全局信息检测,使用局部信息检测,一对多检测 Attention-Based Region Proposal Network Increme

qq_21157073的博客 5268

视觉SLAM十四讲ch6 非线性优化笔记

视觉SLAM十四讲ch6 非线性优化:Gauss-Newton, Levenburg-Marquadt等下降策略、Ceres库和g2o库的基本使用方法。

2019菜鸡进化史 728

从加权最小二乘(WLS)到IAA:手把手推导DOA估计中的迭代自适应核心公式

本文深入解析了从加权最小二乘(WLS)到迭代自适应算法(IAA)在DOA估计中的数学推导与应用。通过动态调整加权矩阵,IAA在低快拍数、相干源等复杂场景中展现出卓越性能,显著提升角度分辨率和检测概率。文章详细介绍了算法核心步骤、工程优化策略及前沿发展,为雷达探测和无线通信领域提供重要参考。

weixin_30847865的博客 293

视觉slam十四讲 ch6 非线性优化(B站视频)

转载至Blibli。

sinat_56310865的博客 358

H3C交换机Console口连接全攻略:从接线到PuTTY配置(附常见问题排查)

本文详细介绍了H3C交换机Console口的连接与配置方法,包括硬件线缆选择、驱动安装、PuTTY参数设置及常见问题排查。特别针对Console转USB线缆的兼容性和驱动安装难点提供实用建议,帮助网络工程师快速掌握串联调试技巧,解决连接中的黑屏、乱码等典型问题。

weixin_42549451的博客 688

发那科 Fanuc PLC 报文通讯,报文解析。附源程序

发那科 Fanuc PLC 报文通讯,最详细的发那科 PLC报文解析,不再局限在官方提供的库,也不用再局限在windows平台。

ITOfDragon的博客 1750

《视觉SLAM十四讲 第二版》笔记及课后习题(第六讲)

读书笔记:非线性优化 在前面几章,我们介绍了经典SLAM 模型的运动方程和观测方程。现在我们已经知 道,方程中的位姿可以由变换矩阵来描述,然后用李代数进行优化。观测方程由相机成像模型给出,其中内参是随相机固定的,而外参则是相机的位姿。于是,我们已经弄清了经典SLAM 模型在视觉情况下的具体表达。 然而,由于噪声的存在,运动方程和观测方程的等式必定不是精确成立的。尽管相机可以非常好地符合针孔模型,但...

weixin_43619346的博客 2988

28-手把手教你手写CPU-Verilog - 乘法器设计:Booth算法与Wallace树乘法器

文章摘要: 本文详细介绍了两种高效乘法器设计方法:Booth算法和Wallace树乘法器。Booth算法通过检测乘数连续1/0减少部分积,适合有符号数运算;Wallace树采用树形结构压缩部分积,显著降低延迟。文章包含算法原理、具体示例、Verilog实现代码(4位乘法器)及性能对比表,指出Booth适用于通用处理器,Wallace树更适合高性能DSP/GPU。最后强调实际设计中需根据速度、面积和功耗需求选择合适方案。

2301_79143213的博客 206

slam十四讲第二版 pdf_聊聊这两年学习slam啃过的书

作者:Amber来源:微信公众号|3D视觉工坊(系投稿)「3D视觉工坊」技术交流群已经成立,目前大约有8000人,方向主要涉及3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等。工坊...

weixin_39970823的博客 3873

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

视觉SLAM ch6 非线性优化

一、首先理解运动方程和观测方程 (1)运动方程: x表示相机的位姿,每个时刻位姿记为x1, x2...... xk,构成了运动的轨迹。uk 是传感器的输入;wk 是噪声,假设噪声服从高斯分布。 运动方程的意义是: k-1 到 k 时刻,机器人位姿x 是如何变化的。 SLAM中的定位问题就是估计 x的值。 区分位姿和位置: 位姿代表位置和姿态。任何一个刚体在空间坐标系(OXYZ)中,可以用位置和姿态来精确、唯一表示其位置状态。 位姿是六自由的量,包括旋转和平移;位置是三维的量,表示具体位置(X,

qq_41451702的博客 2446

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

《视觉SLAM十四讲》示例程序编译报错处理(上)

Ubuntu 22.04,所有库采用最新版。这本书中的代码有一些因为版本的问题会报错,本文总结一下我遇到的问题。

MSysのCSDN 2597

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 数学建模专题1.1线性规划模型(LP问题)
下一篇: 激光SLAM-ch1 激光SLAM简要概述
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址