本文是对论文Tensor Decompositions and Applications进行了翻译、整理、筛选和适当的补充,如何希望深入理解可以阅读原文。
相关文章:
【张量分解(一)】符号与基础知识
【张量分解(二)】CP分解
【张量分解(三)】Tucker分解
一、CP分解
1.1 定义
CP分解就是将一个张量分解成多个单秩张量的和。例如,给定一个三阶张量 X ∈ R I × J × K \mathcal{X}\in\mathbb{R}^{I\times J\times K} X∈RI×J×K,则CP分解可以写为
X ≈ ∑ r = 1 R a r ∘ b r ∘ c r \mathcal{X}\approx\sum_{r=1}^{R}\textbf{a}_r\circ\textbf{b}_r\circ\textbf{c}_r X≈r=1∑Rar∘br∘cr
其中, ∘ \circ ∘是指向量外积, R R R是正整数且 a r ∈ R I \textbf{a}_r\in\mathbb{R}^I ar∈RI, b r ∈ R J \textbf{b}_r\in\mathbb{R}^J br∈RJ, c r ∈ R K \textbf{c}_r\in\mathbb{R}^K cr∈RK。下图展示了三阶张量的CP分解

将上面的CP分解展开,也可以写作
x i j k ≈ ∑ r = 1 R a i r b j r c k r , i = 1 , 2 , … , I , j = 1 , 2 , … , J , k = 1 , 2 , … , K x_{ijk}\approx\sum_{r=1}^R a_{ir}b_{jr}c_{kr},\quad i=1,2,\dots,I,j=1,2,\dots,J, k=1,2,\dots,K xijk≈r=1∑Rairbjrckr,i=1,2,…,I,j=1,2,…,J,k=1,2,…,K
此外,对于三阶张量来说,可以从通道切片(frontal slice)的角度表示CP分解
X k ≈ A D ( k ) B T , D ( k ) ≡ d i a g ( c k : ) , k = 1 , … , K \textbf{X}_k\approx\textbf{A}\textbf{D}^{(k)}\textbf{B}^T,\textbf{D}^{(k)}\equiv diag(\textbf{c}_{k:}),k=1,\dots,K Xk≈AD(k)BT,D(k)≡diag(ck:),k=1,…,K
其中, X k \textbf{X}_k Xk表示张量 X \mathcal{X} X的第k个通道切片。对于行切片和列切片也可以写出类似的公式。
1.2 张量矩阵化后的CP分解
在文章【张量分解(一)】符号与基础知识中介绍过张量的矩阵化。这里主要介绍将张量转换为矩阵后的CP分解。
首先,定义因子矩阵(factor matrices)为CP分解中组成单秩张量的同一维度的向量合并成的矩阵(这个表述有点绕)。具体来说,就是把所有的 a \textbf{a} a向量合并成一个矩阵 A = [ a 1 a 2 … a R ] \textbf{A}=[\textbf{a}_1\quad\textbf{a}_2\quad\dots\quad\textbf{a}_R] A=[a1a2…aR]。同理,还可以合成因子矩阵 B \textbf{B} B和 C \textbf{C} C。那么矩阵化后的张量CP分解形式如下:
X ( 1 ) ≈ A ( B ⊙ C ) T \textbf{X}_{(1)}\approx\textbf{A}(\textbf{B}\odot\textbf{C})^T X(1)≈A(B⊙C)T
X ( 2 ) ≈ B ( C ⊙ A ) T \textbf{X}_{(2)}\approx\textbf{B}(\textbf{C}\odot\textbf{A})^T X(2)≈B(C⊙A)T
X ( 3 ) ≈ C ( B ⊙ A ) T \textbf{X}_{(3)}\approx\textbf{C}(\textbf{B}\odot\textbf{A})^T X(3)≈C(B⊙A)T
其中, ⊙ \odot ⊙表示Khatri-Rao积, X ( i ) \textbf{X}_{(i)} X(i)表示张量 X \mathcal{X} X的模i矩阵化后的矩阵。
1.3 符号表示
为了更加简洁的表达,CP分解可以简写如下 X ≈ ⟮ A , B , C ⟯ \mathcal{X}\approx\lgroup\textbf{A},\textbf{B},\textbf{C}\rgroup X≈⟮A,B,C⟯
实在是打不出空心方括号(摊手),只能用 ⟮ ⟯ \lgroup\rgroup ⟮⟯代替了。
通常,假设矩阵 A \textbf{A} A, B \textbf{B} B和 C \textbf{C} C的列向量是标准化后的向量,并且将提取出来的权重合并入向量 λ ∈ R R \mathrm{\lambda}\in\mathbb{R}^R λ∈RR,因此CP分解还可以写成 X ≈ ∑ r = 1 R λ r a r ∘ b r ∘ c r = ⟮ λ ; A , B , C ⟯ \mathcal{X}\approx\sum_{r=1}^{R}\lambda_{r}\textbf{a}_r\circ\textbf{b}_r\circ\textbf{c}_r=\lgroup\mathrm{\lambda};\textbf{A},\textbf{B},\textbf{C}\rgroup X≈r=1∑Rλrar∘br∘cr=⟮λ;A,B,C⟯
1.4 高维扩展
先前主要介绍的是三阶张量的CP分解,主要是因为其具有广泛的适用性。对于N阶张量 X ∈ R I 1 × I 2 × ⋯ × I N \mathcal{X}\in\mathbb{R}^{I_1\times I_2\times \dots \times I_N} X∈RI1×I2×⋯×IN,其CP分解为
X ≈ ∑ r = 1 R λ r a r ( 1 ) ∘ a r ( 2 ) ∘ ⋯ ∘ a r ( N ) = ⟮ λ ; A ( 1 ) , A ( 2 ) , … , A ( N ) ⟯ \mathcal{X}\approx\sum_{r=1}^{R}\lambda_{r}\textbf{a}_r^{(1)}\circ\textbf{a}_r^{(2)}\circ\dots\circ\textbf{a}_r^{(N)}=\lgroup\mathrm{\lambda};\textbf{A}^{(1)},\textbf{A}^{(2)},\dots,\textbf{A}^{(N)}\rgroup X≈
962



被折叠的 条评论
为什么被折叠?



