一、基础知识
- 在线性代数中,
秩的物理意义是矩阵中最大的不相关的向量个数,因此秩可以用来度量相关性;而在图像处理中,秩就可以理解为图像中所包含的信息的丰富程度。图片中比较突兀的成分,会增加图像矩阵的秩,一幅清晰的自然图像其数据矩阵往往是低秩或者近似低秩的,这是因为其中的图像信息有很大的相关性,但如果图像中引入噪声,那么存在随机幅值任意大但是分布稀疏的误差破坏了原有数据的低秩性。 低秩矩阵:如果 A A A是一个 m × n m×n m×n的矩阵, r a n k ( A ) rank(A) rank(A)是矩阵 A A A的秩,如果 r a n k ( A ) rank(A) rank(A)远小于 m m m和 n n n,则我们称 A A A是低秩矩阵。低秩矩阵说明这个矩阵包含了大量的冗余信息,秩越低表示数据冗余性越大。低秩是指矩阵的秩较小稀疏是指矩阵中非零元素的个数少,即大部分元素都为0,只有小部分元素不为0,用 l 0 l_0 l0范数度量- 矩阵 L L L的
0范数:矩阵 L L L中非零元素的个数;非零元素个数越少, L L L越稀疏 - 矩阵 L L L的
核范数(nuclear norm):矩阵 L L L的奇异值之和;核范数越小,可近似认为矩阵 L L L的秩越低 - 矩阵 L L L的
1范数:矩阵 L L L中各列元素绝对值的和的最大值;这个和很小,趋近于0的时候,可近似认为非零元素个数很少。
∣ ∣ L ∣ ∣ 1 = max j ∑ i = 1 m ∣ a i j ∣ ||L||_1=\max\limits_{j}\sum_{i=1}^{m}|a_{ij}| ∣∣L∣∣1=jmaxi=1∑m∣aij∣ P问题(Polynomial Solvable):可以在多项式时间内解决的问题;时间复杂度如 ( n 2 , n 4 , n ( l o g ( n ) ) ) (n^2,n^4,n(log(n))) (n2,n4,n(log(n)))都是多项式时间NP问题:多项式复杂程度的非确定性问题
NP难问题的进一步理解
二、鲁棒主成分分析(RPCA)
概述
低秩矩阵恢复模型(LRMR)主要有鲁棒主成分分析(RPCA)、矩阵补全(matrix completion,MC)和低秩表示(low-rank representation,LRR)等三类模式。
低秩矩阵恢复问题,也被称为低秩稀疏分解问题,又被称为鲁棒主成分分析问题,可描述为从一个已知矩阵 D ∈ R m × n \boldsymbol{D∈R^{m×n}} D∈Rm×n恢复出一个低秩矩阵 L ∈ R m × n \boldsymbol{L∈R^{m×n}} L∈Rm×n和一个稀疏矩阵 S ∈ R m × n \boldsymbol{S∈R^{m×n}} S∈Rm×n。1
D = L + S D=L+S D=L+S
数学模型
低秩矩阵恢复问题的数学模型可表示为
min L , S r a n k ( L ) + λ ∣ ∣ S ∣ ∣ 0 s . t . D = L + S (1) \min\limits_{L,S} rank(L)+\lambda||S||_0 \qquad s.t. \quad D=L+S \tag{1} L,Sminrank(L)+λ∣∣S∣∣0s.t.D=L+S(1)
其中 r a n k ( L ) rank(L) rank(L)表示矩阵的秩, ∣ ∣ S ∣ ∣ 0 ||S||_0 ∣∣S∣∣0表示矩阵 S S S非零元的个数。
表示的含义是当低秩矩阵 L L L的秩和稀疏矩阵 S S S的0范数均取得最小值的时候,所得到的对应的 L L L和 S S S.
上式中秩函数、零范数都是非凸非线性的组合优化函数,模型1是非凸NP-难问题,直接求解很难。需要在一定条件下对其松弛,方可进行优化。
用矩阵的核函数来近似矩阵的秩,用矩阵的1范数来近似0范数3。由范数知识可知,核函数是秩函数的凸包,1范数是0范数的凸包,所以上述NP-难问题松弛后可转化为凸优化问题:
min L , S ∣ ∣ L ∣ ∣ ∗ + λ ∣ ∣ S ∣ ∣ 1 s . t . D = L + S (2) \min\limits_{L,S} ||L||_*+\lambda||S||_1 \qquad s.t. \quad D=L+S \tag{2} L,Smin∣∣L∣∣∗+λ∣∣S∣∣1s.t.D=L+S(2)
式(2)中的核范数是指矩阵 D D D的奇异值的和,主要用来约束 D D D的低秩属性, L 1 L_1 L1范数用来约束误差图像矩阵 S S S的稀疏性。2
基于凸优化松弛模型 2,已经有很多算法被提出,其中包括増广拉格朗日乘子法(augmented Lagrange multiplier,ALM)、加速的近似梯度法(accelerated proximal gradient,APG)和交替方向法(alternating direction method of mutipliers,ADMM)。1
三、GoDec算法4
GoDec原理
GoDec算法是低秩稀疏领域中一种新型的快速近似分解方法。基本思想是将一个原始矩阵快速分解成低秩矩阵、稀疏矩阵和噪声矩阵三部分。且可以指定 X − S X-S X−S到 L L L的低阶近似和 X − L X-L X−L到 S S S的稀疏近似。利用预先设定的低秩参数 r r r和稀疏参数 k k k,可以将不具备严格低秩稀疏结构的矩阵进行低秩稀疏近似分解。
其数学模型如下:
D = L + S + N , r a n k ( L ) ≤ r , c a r d ( S ) ≤ k (3) D=L+S+N,\quad rank(L)≤r,\quad card(S)≤k \tag{3} D=L+S+N,rank(L)≤r,card(S)≤k(3)
式中, r a n k ( L ) rank(L) rank(L)表示对矩阵 L L L求秩, c a r d ( S ) card(S) card(S)表示矩阵 S S S的稀疏度, k k
397



被折叠的 条评论
为什么被折叠?



