5029:
7199:
2632:
8939:. However, the Alternating Direction Method of Multipliers (ADMM) can be applied to solve the nonconvex problem with convex objective function, rank constraints and other convex constraints, and is thus suitable to solve our above problem. Moreover, unlike the general nonconvex problems, ADMM will guarantee to converge a feasible solution as long as its dual variable converges in the iterations.
4589:
8842:
5711:
7010:
1145:
8187:
6730:
395:
592:
7021:
2343:
1594:
6851:
3418:
5024:{\displaystyle {\begin{aligned}\sigma _{i}(A')+\sigma _{j}(A'')&=\sigma _{1}(A'-A'_{i-1})+\sigma _{1}(A''-A''_{j-1})\\&\geq \sigma _{1}(A-A'_{i-1}-A''_{j-1})\\&\geq \sigma _{1}(A-A_{i+j-2})\qquad ({\text{since }}{\rm {rank}}(A'_{i-1}+A''_{j-1})\leq i+j-2))\\&=\sigma _{i+j-1}(A).\end{aligned}}}
8692:
5565:
8669:
The variable projections approach can be applied also to low rank approximation problems parameterized in the kernel form. The method is effective when the number of eliminated variables is much larger than the number of optimization variables left at the stage of the nonlinear least squares
6862:
972:
4040:
5511:
7961:
6597:
274:
7194:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}{\text{ and }}R\quad \operatorname {vec} ^{\top }(D-{\widehat {D}})W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad R{\widehat {D}}=0\quad {\text{and}}\quad RR^{\top }=I_{r},}
2627:{\displaystyle \|A-A_{k}\|_{2}=\left\|\sum _{i=1}^{\color {red}{n}}\sigma _{i}u_{i}v_{i}^{\top }-\sum _{i=1}^{\color {red}{k}}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{2}=\left\|\sum _{i=\color {red}{k+1}}^{n}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{2}=\sigma _{k+1}}
480:
1418:
5793:
The general weighted low-rank approximation problem does not admit an analytic solution in terms of the singular value decomposition and is solved by local optimization methods, which provide no guarantee that a globally optimal solution is found.
6741:
3188:
4285:
8837:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {p}}\quad \|p-{\widehat {p}}\|\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\mathcal {S}}({\widehat {p}}){\big )}\leq r{\text{ and }}g({\widehat {p}})\leq 0}
5706:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}\quad \operatorname {vec} (D-{\widehat {D}})^{\top }W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad \operatorname {rank} ({\widehat {D}})\leq r,}
8670:
minimization. Such problems occur in system identification, parameterized in the kernel form, where the eliminated variables are the approximating trajectory and the remaining variables are the model parameters. In the context of
6233:, it is known that this entry-wise L1 norm is more robust than the Frobenius norm in the presence of outliers and is indicated in models where Gaussian assumptions on the noise may not apply. It is natural to seek to minimize
7354:
The resulting optimization algorithm (called alternating projections) is globally convergent with a linear convergence rate to a locally optimal solution of the weighted low-rank approximation problem. Starting value for the
4420:
8894:
This problem is helpful in solving many problems. However, it is challenging due to the combination of the convex and nonconvex (low-rank) constraints. Different techniques were developed based on different realizations of
7005:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}},P{\text{ and }}L\quad \operatorname {vec} ^{\top }(D-{\widehat {D}})W\operatorname {vec} (D-{\widehat {D}})\quad {\text{subject to}}\quad {\widehat {D}}=PL}
782:
166:
2050:
1140:{\displaystyle U=:{\begin{bmatrix}U_{1}&U_{2}\end{bmatrix}},\quad \Sigma =:{\begin{bmatrix}\Sigma _{1}&0\\0&\Sigma _{2}\end{bmatrix}},\quad {\text{and}}\quad V=:{\begin{bmatrix}V_{1}&V_{2}\end{bmatrix}},}
695:
54:. The rank constraint is related to a constraint on the complexity of a model that fits the data. In applications, often there are other constraints on the approximating matrix apart from the rank constraint, e.g.,
6103:
2215:
3734:
8182:{\displaystyle f(P)={\sqrt {\operatorname {vec} ^{\top }(D){\Big (}W-W(I_{n}\otimes P){\big (}(I_{n}\otimes P)^{\top }W(I_{n}\otimes P){\big )}^{-1}(I_{n}\otimes P)^{\top }W{\Big )}\operatorname {vec} (D)}}.}
3862:
2835:
1407:
3014:
5306:
6725:{\displaystyle \operatorname {rank} ({\widehat {D}})\leq r\quad \iff \quad {\text{there are }}P\in \mathbb {R} ^{m\times r}{\text{ and }}L\in \mathbb {R} ^{r\times n}{\text{ such that }}{\widehat {D}}=PL}
1985:
3180:
5295:
5938:
854:
390:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {p}}\quad \|p-{\widehat {p}}\|\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\mathcal {S}}({\widehat {p}}){\big )}\leq r.}
4594:
587:{\displaystyle {\text{minimize}}\quad {\text{over }}{\widehat {D}}\quad \|D-{\widehat {D}}\|_{\text{F}}\quad {\text{subject to}}\quad \operatorname {rank} {\big (}{\widehat {D}}{\big )}\leq r}
6202:
8891:
is linear, like we require all elements to be nonnegative, the problem is called structured low rank approximation. The more general form is named convex-restricted low rank approximation.
3474:
1732:
1679:
1589:{\displaystyle \|D-{\widehat {D}}^{*}\|_{\text{F}}=\min _{\operatorname {rank} ({\widehat {D}})\leq r}\|D-{\widehat {D}}\|_{\text{F}}={\sqrt {\sigma _{r+1}^{2}+\cdots +\sigma _{m}^{2}}}.}
6569:
6446:
6388:
211:
8937:
8889:
4330:
9258:
G. Golub and V. Pereyra, Separable nonlinear least squares: the variable projection method and its applications, Institute of
Physics, Inverse Problems, Volume 19, 2003, Pages 1-26.
8686:
Usually, we want our new solution not only to be of low rank, but also satisfy other convex constraints due to application requirements. Our interested problem would be as follows,
5087:
904:
5169:
3542:
1800:
1633:
6846:{\displaystyle \operatorname {rank} ({\widehat {D}})\leq r\quad \iff \quad {\text{there is full row rank }}R\in \mathbb {R} ^{m-r\times m}{\text{ such that }}R{\widehat {D}}=0}
4480:
5557:
4086:
2678:
5745:
5131:
3413:{\displaystyle \|A-B_{k}\|_{2}^{2}\geq \|(A-B_{k})w\|_{2}^{2}=\|Aw\|_{2}^{2}=\gamma _{1}^{2}\sigma _{1}^{2}+\cdots +\gamma _{k+1}^{2}\sigma _{k+1}^{2}\geq \sigma _{k+1}^{2}.}
609:
in the infinite dimensional context of integral operators (although his methods easily generalize to arbitrary compact operators on
Hilbert spaces) and later rediscovered by
42:
measures the fit between a given matrix (the data) and an approximating matrix (the optimization variable), subject to a constraint that the approximating matrix has reduced
3645:
2126:
5213:
4550:
3053:
7263:
The image representation of the rank constraint suggests a parameter optimization method in which the cost function is minimized alternatively over one of the variables (
6270:
4450:
3112:
1228:
242:
6492:
4582:
1917:
1307:
1254:
1201:
808:
6322:
4525:
3500:
1891:
1758:
944:
8847:
This problem has many real world applications, including to recover a good solution from an inexact (semidefinite programming) relaxation. If additional constraint
7229:
3791:
3764:
2272:
2245:
1281:
1175:
8223:
4154:
6296:
6231:
6129:
2904:
8243:
7954:
7934:
7911:
7891:
7393:
7373:
7341:
7321:
7301:
7281:
7253:
6466:
5978:
5958:
5835:
5815:
5788:
5768:
4500:
4146:
4126:
4106:
3851:
3831:
3811:
3612:
3592:
3569:
3073:
2924:
2878:
2858:
2738:
2718:
2698:
2332:
2312:
2292:
2093:
2073:
1867:
1847:
1827:
1327:
964:
924:
718:
265:
7873:
The alternating projections algorithm exploits the fact that the low rank approximation problem, parameterized in the image form, is bilinear in the variables
9316:
M. T. Chu, R. E. Funderlic, R. J. Plemmons, Structured low-rank approximation, Linear
Algebra and its Applications, Volume 366, 1 June 2003, Pages 157–172
723:
104:
1990:
627:
6000:
6575:, and multi-dimensional unfolding. In an attempt to reduce their description size, one can study low rank approximation of such matrices.
4035:{\displaystyle \|A-A_{k}\|_{F}^{2}=\left\|\sum _{i=k+1}^{n}\sigma _{i}u_{i}v_{i}^{\top }\right\|_{F}^{2}=\sum _{i=k+1}^{n}\sigma _{i}^{2}}
4335:
2134:
5559:. Prior knowledge about distribution of the errors can be taken into account by considering the weighted low-rank approximation problem
5506:{\displaystyle \|A-B_{k}\|_{F}^{2}=\sum _{i=1}^{n}\sigma _{i}(A-B_{k})^{2}\geq \sum _{i=k+1}^{n}\sigma _{i}(A)^{2}=\|A-A_{k}\|_{F}^{2},}
3653:
5797:
In case of uncorrelated weights, weighted low-rank approximation problem also can be formulated in this way: for a non-negative matrix
2743:
1335:
9358:
7348:
2932:
9348:
1925:
3117:
55:
5220:
5840:
7916:
Consider again the weighted low rank approximation problem, parameterized in the image form. Minimization with respect to the
813:
8984:
C. Eckart, G. Young, The approximation of one matrix by another of lower rank. Psychometrika, Volume 1, 1936, Pages 211–8.
8246:
7936:
variable (a linear least squares problem) leads to the closed form expression of the approximation error as a function of
6204:
time. One of the important ideas been used is called
Oblivious Subspace Embedding (OSE), it is first proposed by Sarlos.
9353:
6571:. Such distances matrices are commonly computed in software packages and have applications to learning image manifolds,
3548:
1806:
598:
66:
9169:
Chierichetti, Flavio; Gollapudi, Sreenivas; Kumar, Ravi; Lattanzi, Silvio; Panigrahy, Rina; Woodruff, David P. (2017).
5747:
444:
6134:
3438:
1696:
1638:
86:
7913:. The bilinear nature of the problem is effectively used in an alternative approach, called variable projections.
35:
8948:
6497:
6393:
6335:
174:
78:
8968:
E. Schmidt, Zur
Theorie der linearen und nichtlinearen Integralgleichungen, Math. Annalen 63 (1907), 433-476.
7395:) parameter should be given. The iteration is stopped when a user defined convergence condition is satisfied.
8898:
8850:
6572:
5037:
859:
3508:
1766:
34:
refers to the process of approximating a given matrix by a matrix of lower rank. More precisely, it is a
7344:
1602:
407:
82:
43:
6856:
the weighted low-rank approximation problem becomes equivalent to the parameter optimization problems
5527:
4048:
2640:
6583:
The low-rank approximation problems in the distributed and streaming setting has been considered in.
5719:
3617:
2098:
5174:
74:
3022:
9239:
9199:
9174:
9149:
9124:
9084:
9059:
9000:
L. Mirsky, Symmetric gauge functions and unitarily invariant norms, Q.J. Math. 11 (1960), 50-59.
6236:
3078:
1206:
448:
423:
216:
47:
5092:
221:
6471:
5136:
4555:
1896:
1286:
1233:
1180:
787:
8671:
4293:
1870:
438:
7401:
implementation of the alternating projections algorithm for weighted low-rank approximation:
6301:
4455:
4280:{\displaystyle \|A-A_{k}\|_{F}^{2}=\sum _{i=k+1}^{n}\sigma _{i}^{2}\leq \|A-B_{k}\|_{F}^{2}.}
3479:
1876:
1737:
929:
9317:
9281:
9001:
8985:
8969:
4425:
458:
454:
431:
417:
51:
7207:
3769:
3742:
2250:
2223:
1259:
1153:
8255:
implementation of the variable projections algorithm for weighted low-rank approximation:
8199:
7232:
1919:
70:
6275:
6210:
6108:
4530:
2883:
4505:
9123:. STOC '17 Proceedings of the forty-ninth annual ACM symposium on Theory of Computing.
9058:. STOC '13 Proceedings of the forty-fifth annual ACM symposium on Theory of Computing.
9043:. STOC '16 Proceedings of the forty-eighth annual ACM symposium on Theory of Computing.
9018:
8228:
7939:
7919:
7896:
7876:
7378:
7358:
7326:
7306:
7286:
7266:
7238:
6451:
5963:
5943:
5820:
5800:
5773:
5753:
4485:
4131:
4111:
4091:
3836:
3816:
3796:
3597:
3577:
3554:
3428:
3058:
2909:
2863:
2843:
2723:
2703:
2683:
2317:
2297:
2277:
2078:
2058:
1852:
1832:
1812:
1312:
949:
909:
703:
606:
471:
427:
250:
9321:
9286:
9269:
9342:
8675:
8193:
1686:
614:
411:
59:
39:
3423:
The result follows by taking the square root of both sides of the above inequality.
17:
601:
of the data matrix. The result is referred to as the matrix approximation lemma or
65:
Low-rank approximation is closely related to numerous other techniques, including
9301:
9081:
OSNAP: Faster numerical linear algebra algorithms via sparser subspace embeddings
9302:"A General System for Heuristic Solution of Convex Problems over Nonconvex Sets"
618:
610:
777:{\displaystyle \Sigma =:\operatorname {diag} (\sigma _{1},\ldots ,\sigma _{m})}
161:{\displaystyle {\mathcal {S}}:\mathbb {R} ^{n_{p}}\to \mathbb {R} ^{m\times n}}
5524:
The
Frobenius norm weights uniformly all elements of the approximation error
9038:
2045:{\displaystyle \sigma _{1}\geq \sigma _{2}\geq \cdots \geq \sigma _{m}\geq 0}
690:{\displaystyle D=U\Sigma V^{\top }\in \mathbb {R} ^{m\times n},\quad m\geq n}
9005:
9106:
Improved approximation algorithms for large matrices via random projections
7303:) with the other one fixed. Although simultaneous minimization over both
2880:
columns, then there must be a nontrivial linear combination of the first
9236:
Optimal
Principal Component Analysis in Distributed and Streaming Models
8989:
8973:
9219:
Indyk, Piotr; Vakilian, Ali; Wagner, Tal; Woodruff, David P. (2019).
8252:
7398:
6098:{\displaystyle \|A\|_{p}=\left(\sum _{i,j}|A_{i,j}^{p}|\right)^{1/p}}
9244:
9204:
9179:
9154:
9129:
4415:{\displaystyle \sigma _{1}(A)\leq \sigma _{1}(A')+\sigma _{1}(A'')}
2210:{\displaystyle A_{k}:=\sum _{i=1}^{k}\sigma _{i}u_{i}v_{i}^{\top }}
621:
generalized the result to arbitrary unitarily invariant norms. Let
420:, in which case the approximating matrix is nonlinearly structured.
9089:
9064:
3729:{\displaystyle A_{k}=\sum _{i=1}^{k}\sigma _{i}u_{i}v_{i}^{\top }}
9268:
Chu, Moody T.; Funderlic, Robert E.; Plemmons, Robert J. (2003).
2830:{\displaystyle \|A-A_{k}\|_{2}=\sigma _{k+1}\leq \|A-B_{k}\|_{2}}
1402:{\displaystyle {\widehat {D}}^{*}=U_{1}\Sigma _{1}V_{1}^{\top },}
1329:
matrix, obtained from the truncated singular value decomposition
3009:{\displaystyle w=\gamma _{1}v_{1}+\cdots +\gamma _{k+1}v_{k+1},}
9333:
9234:
Boutsidis, Christos; Woodruff, David P.; Zhong, Peilin (2016).
1980:{\displaystyle (\sigma _{1},\sigma _{2},\cdots ,\sigma _{m})}
9056:
8766:
441:, in which case there is a positive definiteness constraint.
348:
110:
8245:. For this purpose standard optimization methods, e.g. the
7347:
problem, minimization over one of the variables alone is a
3175:{\displaystyle \gamma _{1}^{2}+\cdots +\gamma _{k+1}^{2}=1}
9221:
9196:
9144:
Bringmann, Karl; Kolev, Pavel; Woodruff, David P. (2017).
9037:
Razenshteyn, Ilya; Song, Zhao; Woodruff, David P. (2016).
5290:{\displaystyle \sigma _{i}(A-B_{k})\geq \sigma _{k+i}(A).}
9040:
Weighted Low Rank Approximations with Provable Guarantees
5933:{\displaystyle \sum _{i,j}(W_{i,j}(A_{i,j}-B_{i,j}))^{2}}
8951:
is made from the rows and columns of the original matrix
6587:
Image and kernel representations of the rank constraints
849:{\displaystyle \sigma _{1}\geq \ldots \geq \sigma _{m}}
9146:
Approximation Algorithms for L0-Low Rank Approximation
9119:
Song, Zhao; Woodruff, David P.; Zhong, Peilin (2017).
6324:, there are some algorithms with provable guarantees.
4290:
By the triangle inequality with the spectral norm, if
1101:
1035:
987:
8901:
8853:
8695:
8231:
8202:
7964:
7942:
7922:
7899:
7879:
7381:
7361:
7329:
7309:
7289:
7269:
7241:
7210:
7024:
6865:
6744:
6600:
6500:
6474:
6454:
6396:
6338:
6304:
6278:
6239:
6213:
6137:
6111:
6003:
5966:
5946:
5843:
5823:
5803:
5776:
5756:
5722:
5568:
5530:
5309:
5223:
5177:
5139:
5095:
5040:
4592:
4558:
4533:
4508:
4488:
4458:
4428:
4338:
4296:
4157:
4134:
4114:
4094:
4051:
3865:
3839:
3819:
3799:
3772:
3745:
3656:
3620:
3600:
3580:
3557:
3511:
3482:
3441:
3191:
3120:
3081:
3061:
3025:
2935:
2912:
2886:
2866:
2846:
2746:
2726:
2706:
2686:
2643:
2346:
2320:
2300:
2280:
2253:
2226:
2137:
2101:
2081:
2061:
1993:
1928:
1899:
1879:
1855:
1835:
1815:
1769:
1740:
1699:
1641:
1605:
1421:
1338:
1315:
1289:
1262:
1236:
1209:
1183:
1156:
975:
952:
932:
912:
862:
816:
810:
rectangular diagonal matrix with the singular values
790:
726:
706:
630:
483:
277:
253:
224:
177:
107:
8192:
The original problem is therefore equivalent to the
7351:
problem and can be solved globally and efficiently.
6579:
Distributed/Streaming low-rank approximation problem
6448:
be two point sets in an arbitrary metric space. Let
9121:
Low Rank Approximation with Entrywise L1-Norm Error
8682:
A Variant: convex-restricted low rank approximation
8931:
8883:
8836:
8237:
8217:
8181:
7948:
7928:
7905:
7885:
7387:
7367:
7335:
7315:
7295:
7275:
7247:
7223:
7193:
7004:
6845:
6724:
6563:
6486:
6460:
6440:
6382:
6316:
6290:
6264:
6225:
6196:
6123:
6097:
5972:
5952:
5932:
5829:
5809:
5790:is a given positive (semi)definite weight matrix.
5782:
5762:
5739:
5705:
5551:
5505:
5289:
5207:
5163:
5125:
5081:
5023:
4576:
4544:
4519:
4494:
4474:
4444:
4414:
4324:
4279:
4140:
4120:
4100:
4080:
4034:
3845:
3825:
3805:
3785:
3758:
3728:
3639:
3606:
3586:
3563:
3536:
3494:
3468:
3412:
3174:
3106:
3067:
3047:
3008:
2918:
2898:
2872:
2852:
2829:
2732:
2712:
2692:
2672:
2626:
2326:
2306:
2286:
2266:
2239:
2209:
2120:
2087:
2067:
2044:
1979:
1911:
1885:
1861:
1841:
1821:
1794:
1752:
1726:
1673:
1627:
1588:
1401:
1321:
1301:
1275:
1248:
1222:
1195:
1169:
1139:
958:
938:
918:
898:
848:
802:
776:
712:
689:
586:
470:The unstructured problem with fit measured by the
389:
259:
236:
205:
160:
9334:C++ package for structured-low rank approximation
9054:Clarkson, Kenneth L.; Woodruff, David P. (2013).
8154:
8006:
1464:
6197:{\displaystyle nnz(A)+n\cdot poly(k/\epsilon )}
9194:Bakshi, Ainesh L.; Woodruff, David P. (2018).
8791:
8759:
8106:
8044:
4552:by SVD method described above. Then, for any
3476:be a real (possibly rectangular) matrix with
3469:{\displaystyle A\in \mathbb {R} ^{m\times n}}
1734:be a real (possibly rectangular) matrix with
1727:{\displaystyle A\in \mathbb {R} ^{m\times n}}
1674:{\displaystyle \sigma _{r+1}\neq \sigma _{r}}
573:
554:
373:
341:
8:
8741:
8720:
6435:
6403:
6377:
6345:
6253:
6240:
6011:
6004:
5486:
5466:
5330:
5310:
4260:
4240:
4178:
4158:
3886:
3866:
3628:
3621:
3285:
3275:
3258:
3229:
3212:
3192:
3089:
3082:
2818:
2798:
2767:
2747:
2367:
2347:
2109:
2102:
1522:
1500:
1451:
1422:
893:
869:
530:
508:
410:, in which case the approximating matrix is
323:
302:
231:
225:
3055:. Without loss of generality, we can scale
6780:
6776:
6636:
6632:
3427:Proof of Eckart–Young–Mirsky theorem (for
1685:Proof of Eckart–Young–Mirsky theorem (for
9285:
9243:
9203:
9178:
9153:
9128:
9088:
9063:
8909:
8908:
8900:
8861:
8860:
8852:
8814:
8813:
8802:
8790:
8789:
8775:
8774:
8765:
8764:
8758:
8757:
8745:
8730:
8729:
8708:
8707:
8702:
8696:
8694:
8230:
8201:
8153:
8152:
8143:
8127:
8111:
8105:
8104:
8088:
8072:
8056:
8043:
8042:
8027:
8005:
8004:
7986:
7980:
7963:
7941:
7921:
7898:
7878:
7380:
7360:
7328:
7308:
7288:
7268:
7240:
7215:
7209:
7182:
7169:
7156:
7138:
7137:
7128:
7113:
7112:
7080:
7079:
7061:
7048:
7037:
7036:
7031:
7025:
7023:
6982:
6981:
6975:
6960:
6959:
6927:
6926:
6908:
6895:
6878:
6877:
6872:
6866:
6864:
6826:
6825:
6817:
6799:
6795:
6794:
6782:
6755:
6754:
6743:
6702:
6701:
6696:
6684:
6680:
6679:
6667:
6655:
6651:
6650:
6638:
6611:
6610:
6599:
6564:{\displaystyle A_{i,j}=dist(p_{i},q_{i})}
6552:
6539:
6505:
6499:
6473:
6453:
6441:{\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}
6429:
6410:
6395:
6383:{\displaystyle P=\{p_{1},\ldots ,p_{m}\}}
6371:
6352:
6337:
6303:
6277:
6256:
6238:
6212:
6183:
6136:
6110:
6085:
6081:
6071:
6065:
6054:
6045:
6033:
6014:
6002:
5965:
5945:
5924:
5905:
5886:
5867:
5848:
5842:
5822:
5802:
5775:
5755:
5723:
5721:
5680:
5679:
5664:
5649:
5648:
5624:
5609:
5608:
5581:
5580:
5575:
5569:
5567:
5538:
5537:
5529:
5494:
5489:
5479:
5457:
5441:
5431:
5414:
5401:
5391:
5372:
5362:
5351:
5338:
5333:
5323:
5308:
5263:
5247:
5228:
5222:
5176:
5155:
5138:
5117:
5094:
5064:
5045:
5039:
4987:
4931:
4909:
4887:
4886:
4881:
4856:
4837:
4805:
4783:
4764:
4732:
4708:
4683:
4659:
4628:
4601:
4593:
4591:
4557:
4532:
4507:
4487:
4463:
4457:
4433:
4427:
4392:
4365:
4343:
4337:
4295:
4268:
4263:
4253:
4231:
4226:
4216:
4199:
4186:
4181:
4171:
4156:
4133:
4113:
4093:
4072:
4056:
4050:
4026:
4021:
4011:
3994:
3981:
3976:
3965:
3960:
3950:
3940:
3930:
3913:
3894:
3889:
3879:
3864:
3838:
3818:
3798:
3777:
3771:
3750:
3744:
3720:
3715:
3705:
3695:
3685:
3674:
3661:
3655:
3631:
3619:
3599:
3579:
3556:
3528:
3510:
3481:
3454:
3450:
3449:
3440:
3401:
3390:
3377:
3366:
3356:
3345:
3326:
3321:
3311:
3306:
3293:
3288:
3266:
3261:
3245:
3220:
3215:
3205:
3190:
3160:
3149:
3130:
3125:
3119:
3092:
3080:
3060:
3030:
3024:
2991:
2975:
2956:
2946:
2934:
2911:
2885:
2865:
2845:
2821:
2811:
2783:
2770:
2760:
2745:
2725:
2705:
2685:
2664:
2648:
2642:
2612:
2599:
2588:
2583:
2573:
2563:
2553:
2540:
2532:
2513:
2502:
2497:
2487:
2477:
2465:
2463:
2452:
2439:
2434:
2424:
2414:
2402:
2400:
2389:
2370:
2360:
2345:
2319:
2299:
2279:
2258:
2252:
2231:
2225:
2201:
2196:
2186:
2176:
2166:
2155:
2142:
2136:
2112:
2100:
2080:
2060:
2030:
2011:
1998:
1992:
1968:
1949:
1936:
1927:
1898:
1878:
1854:
1834:
1814:
1786:
1768:
1739:
1712:
1708:
1707:
1698:
1665:
1646:
1640:
1619:
1608:
1607:
1604:
1575:
1570:
1551:
1540:
1534:
1525:
1510:
1509:
1478:
1477:
1467:
1454:
1444:
1433:
1432:
1420:
1390:
1385:
1375:
1365:
1352:
1341:
1340:
1337:
1314:
1288:
1267:
1261:
1235:
1214:
1208:
1182:
1161:
1155:
1120:
1108:
1096:
1084:
1066:
1042:
1030:
1006:
994:
982:
974:
951:
931:
911:
861:
840:
821:
815:
789:
765:
746:
725:
705:
662:
658:
657:
647:
629:
597:has an analytic solution in terms of the
572:
571:
560:
559:
553:
552:
540:
533:
518:
517:
496:
495:
490:
484:
482:
372:
371:
357:
356:
347:
346:
340:
339:
327:
312:
311:
290:
289:
284:
278:
276:
252:
223:
206:{\displaystyle p\in \mathbb {R} ^{n_{p}}}
195:
190:
186:
185:
176:
146:
142:
141:
129:
124:
120:
119:
109:
108:
106:
9171:Algorithms for Lp Low-Rank Approximation
9017:Srebro, Nathan; Jaakkola, Tommi (2003).
8674:, the elimination step is equivalent to
5520:Weighted low-rank approximation problems
605:. This problem was originally solved by
9079:Nelson, Jelani; Nguyen, Huy L. (2013).
8961:
8932:{\displaystyle g({\widehat {p}})\leq 0}
8884:{\displaystyle g({\widehat {p}})\leq 0}
6328:Distance low-rank approximation problem
700:be the singular value decomposition of
5082:{\displaystyle \sigma _{k+1}(B_{k})=0}
899:{\displaystyle r\in \{1,\dots ,m-1\}}
457:, in which case the approximation is
447:, in which case the approximation is
426:, in which cases the data matrix has
7:
466:Basic low-rank approximation problem
9274:Linear Algebra and Its Applications
9270:"structured low-rank approximation"
4045:Therefore, we need to show that if
3537:{\displaystyle A=U\Sigma V^{\top }}
2637:Therefore, we need to show that if
1795:{\displaystyle A=U\Sigma V^{\top }}
8144:
8073:
7987:
7170:
7062:
6909:
5625:
4897:
4894:
4891:
4888:
4073:
3966:
3721:
3614:in the Frobenius norm, denoted by
3529:
3521:
3031:
2665:
2589:
2503:
2440:
2202:
1880:
1787:
1779:
1628:{\displaystyle {\widehat {D}}^{*}}
1391:
1372:
1211:
1063:
1039:
1024:
933:
727:
648:
640:
25:
7259:Alternating projections algorithm
2539:
2464:
2401:
2095:in the spectral norm, denoted by
9020:Weighted Low-Rank Approximations
6131:, the fastest algorithm runs in
5552:{\displaystyle D-{\widehat {D}}}
4081:{\displaystyle B_{k}=XY^{\top }}
2673:{\displaystyle B_{k}=XY^{\top }}
8750:
8744:
8719:
8701:
8194:nonlinear least squares problem
7161:
7155:
7133:
7127:
7056:
7030:
6980:
6974:
6903:
6871:
6781:
6775:
6637:
6631:
5993:low-rank approximation problems
5740:{\displaystyle {\text{vec}}(A)}
5669:
5663:
5592:
5574:
4877:
1089:
1083:
1023:
677:
545:
539:
507:
489:
332:
326:
301:
283:
171:vector of structure parameters
8920:
8905:
8872:
8857:
8825:
8810:
8786:
8771:
8212:
8206:
8171:
8165:
8140:
8120:
8100:
8081:
8069:
8049:
8039:
8020:
8001:
7995:
7974:
7968:
7869:Variable projections algorithm
7124:
7103:
7091:
7070:
6971:
6950:
6938:
6917:
6777:
6766:
6751:
6633:
6622:
6607:
6558:
6532:
6191:
6177:
6153:
6147:
6072:
6046:
5921:
5917:
5879:
5860:
5734:
5728:
5691:
5676:
5660:
5639:
5621:
5599:
5454:
5447:
5398:
5378:
5281:
5275:
5253:
5234:
5070:
5057:
5011:
5005:
4970:
4967:
4946:
4902:
4878:
4874:
4843:
4820:
4770:
4747:
4714:
4698:
4665:
4645:
4634:
4618:
4607:
4409:
4398:
4382:
4371:
4355:
4349:
3972:
3905:
3640:{\displaystyle \|\cdot \|_{F}}
3251:
3232:
2595:
2524:
2509:
2381:
2121:{\displaystyle \|\cdot \|_{2}}
1974:
1929:
1489:
1474:
771:
739:
368:
353:
137:
1:
9322:10.1016/S0024-3795(02)00505-0
9287:10.1016/S0024-3795(02)00505-0
8672:linear time-invariant systems
8247:Levenberg-Marquardt algorithm
5208:{\displaystyle i\geq 1,j=k+1}
4482:respectively denote the rank
6784:there is full row rank
3574:We claim that the best rank
3549:singular value decomposition
3048:{\displaystyle Y^{\top }w=0}
2055:We claim that the best rank-
1807:singular value decomposition
599:singular value decomposition
67:principal component analysis
6265:{\displaystyle \|B-A\|_{1}}
3107:{\displaystyle \|w\|_{2}=1}
1223:{\displaystyle \Sigma _{1}}
603:Eckart–Young–Mirsky theorem
445:Natural language processing
9375:
5126:{\displaystyle A'=A-B_{k}}
237:{\displaystyle \|\cdot \|}
87:dynamic mode decomposition
46:. The problem is used for
9359:Mathematical optimization
6487:{\displaystyle m\times n}
5164:{\displaystyle A''=B_{k}}
4577:{\displaystyle i,j\geq 1}
3856:First, note that we have
2337:First, note that we have
1912:{\displaystyle m\times n}
1635:is unique if and only if
1302:{\displaystyle r\times n}
1249:{\displaystyle r\times r}
1196:{\displaystyle m\times r}
803:{\displaystyle m\times m}
430:and the approximation is
9349:Numerical linear algebra
8949:CUR matrix approximation
8257:
7403:
4325:{\displaystyle A=A'+A''}
101:structure specification
79:latent semantic analysis
6591:Using the equivalences
6573:handwriting recognition
6317:{\displaystyle p\geq 1}
4475:{\displaystyle A''_{k}}
3495:{\displaystyle m\leq n}
1886:{\displaystyle \Sigma }
1753:{\displaystyle m\leq n}
939:{\displaystyle \Sigma }
9104:Sarlos, Tamas (2006).
8933:
8885:
8838:
8239:
8219:
8183:
7950:
7930:
7907:
7887:
7725:% check exit condition
7389:
7369:
7337:
7317:
7297:
7277:
7249:
7225:
7195:
7006:
6847:
6726:
6565:
6488:
6462:
6442:
6384:
6318:
6292:
6266:
6227:
6198:
6125:
6099:
5974:
5954:
5934:
5831:
5811:
5784:
5764:
5741:
5707:
5553:
5507:
5436:
5367:
5291:
5209:
5165:
5127:
5083:
5025:
4578:
4546:
4521:
4496:
4476:
4446:
4445:{\displaystyle A'_{k}}
4416:
4326:
4281:
4221:
4142:
4122:
4102:
4082:
4036:
4016:
3935:
3847:
3827:
3807:
3787:
3760:
3730:
3690:
3641:
3608:
3588:
3565:
3538:
3496:
3470:
3414:
3176:
3108:
3069:
3049:
3010:
2920:
2900:
2874:
2854:
2831:
2734:
2714:
2694:
2674:
2628:
2558:
2472:
2409:
2328:
2308:
2288:
2268:
2241:
2211:
2171:
2122:
2089:
2069:
2046:
1981:
1913:
1887:
1863:
1843:
1823:
1796:
1754:
1728:
1675:
1629:
1590:
1403:
1323:
1303:
1277:
1250:
1224:
1197:
1171:
1141:
960:
940:
920:
900:
850:
804:
778:
714:
691:
588:
391:
261:
238:
207:
162:
38:problem, in which the
32:low-rank approximation
9006:10.1093/qmath/11.1.50
8934:
8886:
8839:
8268:d, w, p, tol, maxiter
8240:
8220:
8184:
7951:
7931:
7908:
7888:
7605:% minimization over P
7488:% minimization over L
7414:d, w, p, tol, maxiter
7390:
7370:
7345:biconvex optimization
7338:
7318:
7298:
7278:
7250:
7226:
7224:{\displaystyle I_{r}}
7196:
7007:
6848:
6819: such that
6727:
6698: such that
6566:
6489:
6463:
6443:
6385:
6319:
6293:
6267:
6228:
6199:
6126:
6100:
5975:
5955:
5935:
5832:
5812:
5785:
5765:
5742:
5708:
5554:
5508:
5410:
5347:
5292:
5210:
5171:we conclude that for
5166:
5128:
5084:
5026:
4579:
4547:
4522:
4497:
4477:
4447:
4417:
4327:
4282:
4195:
4143:
4123:
4103:
4083:
4037:
3990:
3909:
3848:
3828:
3808:
3788:
3786:{\displaystyle v_{i}}
3761:
3759:{\displaystyle u_{i}}
3731:
3670:
3642:
3609:
3589:
3566:
3539:
3497:
3471:
3415:
3177:
3109:
3070:
3050:
3011:
2921:
2901:
2875:
2855:
2832:
2735:
2715:
2695:
2675:
2629:
2528:
2448:
2385:
2329:
2309:
2289:
2269:
2267:{\displaystyle v_{i}}
2242:
2240:{\displaystyle u_{i}}
2212:
2151:
2123:
2090:
2070:
2047:
1982:
1914:
1888:
1864:
1844:
1824:
1797:
1755:
1729:
1676:
1630:
1591:
1404:
1324:
1304:
1278:
1276:{\displaystyle V_{1}}
1251:
1225:
1198:
1172:
1170:{\displaystyle U_{1}}
1142:
961:
941:
921:
901:
851:
805:
779:
715:
692:
589:
408:system identification
392:
262:
239:
208:
163:
83:orthogonal regression
48:mathematical modeling
8899:
8851:
8693:
8229:
8218:{\displaystyle f(P)}
8200:
7962:
7940:
7920:
7897:
7877:
7379:
7359:
7349:linear least squares
7327:
7307:
7287:
7267:
7239:
7208:
7022:
6863:
6742:
6598:
6498:
6472:
6452:
6394:
6336:
6302:
6276:
6237:
6211:
6135:
6109:
6001:
5964:
5944:
5841:
5837:we want to minimize
5821:
5801:
5774:
5754:
5720:
5566:
5528:
5307:
5221:
5175:
5137:
5093:
5038:
4590:
4556:
4531:
4506:
4486:
4456:
4426:
4336:
4294:
4155:
4132:
4112:
4092:
4049:
3863:
3837:
3817:
3797:
3770:
3743:
3654:
3618:
3598:
3578:
3555:
3509:
3480:
3439:
3189:
3118:
3079:
3059:
3023:
2933:
2910:
2884:
2864:
2844:
2744:
2724:
2704:
2684:
2641:
2344:
2318:
2298:
2278:
2251:
2224:
2135:
2099:
2079:
2059:
1991:
1926:
1922:matrix with entries
1897:
1877:
1853:
1833:
1813:
1767:
1738:
1697:
1639:
1603:
1419:
1336:
1313:
1287:
1260:
1234:
1207:
1181:
1154:
973:
950:
930:
910:
860:
814:
788:
724:
704:
628:
481:
459:Sylvester structured
275:
251:
222:
175:
105:
27:Mathematical concept
18:Eckart–Young theorem
9354:Dimension reduction
8297:'lsqnonlin'
6291:{\displaystyle p=0}
6226:{\displaystyle p=1}
6124:{\displaystyle p=2}
6070:
5499:
5343:
4945:
4923:
4819:
4797:
4746:
4697:
4545:{\displaystyle A''}
4471:
4441:
4273:
4236:
4191:
4031:
3986:
3970:
3899:
3725:
3406:
3382:
3361:
3331:
3316:
3298:
3271:
3225:
3165:
3135:
2899:{\displaystyle k+1}
2593:
2507:
2444:
2206:
1580:
1556:
1395:
424:Recommender systems
75:total least squares
8990:10.1007/BF02288367
8974:10.1007/BF01449770
8929:
8881:
8834:
8235:
8215:
8179:
7946:
7926:
7903:
7883:
7385:
7365:
7333:
7313:
7293:
7273:
7245:
7221:
7191:
7002:
6843:
6722:
6561:
6484:
6458:
6438:
6380:
6314:
6288:
6262:
6223:
6194:
6121:
6095:
6050:
6044:
5970:
5960:, of rank at most
5950:
5930:
5859:
5827:
5807:
5780:
5760:
5737:
5703:
5549:
5503:
5485:
5329:
5287:
5205:
5161:
5123:
5079:
5021:
5019:
4927:
4905:
4801:
4779:
4728:
4679:
4574:
4542:
4520:{\displaystyle A'}
4517:
4492:
4472:
4459:
4442:
4429:
4412:
4322:
4277:
4259:
4222:
4177:
4138:
4118:
4098:
4078:
4032:
4017:
3956:
3903:
3885:
3843:
3823:
3803:
3783:
3756:
3726:
3711:
3637:
3604:
3584:
3561:
3534:
3492:
3466:
3410:
3386:
3362:
3341:
3317:
3302:
3284:
3257:
3211:
3172:
3145:
3121:
3114:or (equivalently)
3104:
3065:
3045:
3006:
2916:
2896:
2870:
2850:
2827:
2730:
2710:
2690:
2670:
2624:
2579:
2551:
2493:
2470:
2430:
2407:
2324:
2304:
2284:
2264:
2237:
2207:
2192:
2118:
2085:
2065:
2042:
1977:
1909:
1883:
1859:
1839:
1819:
1792:
1750:
1724:
1671:
1625:
1586:
1566:
1536:
1499:
1399:
1381:
1319:
1299:
1273:
1246:
1220:
1193:
1167:
1137:
1128:
1074:
1014:
956:
936:
916:
896:
846:
800:
774:
710:
687:
584:
387:
257:
234:
203:
158:
8917:
8869:
8822:
8805:
8783:
8748:
8738:
8716:
8705:
8699:
8321:'MaxIter'
8238:{\displaystyle P}
8174:
7949:{\displaystyle P}
7929:{\displaystyle L}
7906:{\displaystyle L}
7886:{\displaystyle P}
7388:{\displaystyle L}
7368:{\displaystyle P}
7336:{\displaystyle L}
7316:{\displaystyle P}
7296:{\displaystyle L}
7276:{\displaystyle P}
7248:{\displaystyle r}
7159:
7146:
7131:
7121:
7088:
7051:
7045:
7034:
7028:
6990:
6978:
6968:
6935:
6898:
6886:
6875:
6869:
6834:
6820:
6785:
6763:
6710:
6699:
6670:
6641:
6619:
6461:{\displaystyle A}
6029:
5973:{\displaystyle r}
5953:{\displaystyle B}
5844:
5830:{\displaystyle A}
5810:{\displaystyle W}
5783:{\displaystyle W}
5763:{\displaystyle A}
5726:
5688:
5667:
5657:
5617:
5589:
5578:
5572:
5546:
4884:
4502:approximation to
4495:{\displaystyle k}
4141:{\displaystyle k}
4121:{\displaystyle Y}
4101:{\displaystyle X}
3846:{\displaystyle V}
3826:{\displaystyle U}
3806:{\displaystyle i}
3607:{\displaystyle A}
3594:approximation to
3587:{\displaystyle k}
3564:{\displaystyle A}
3068:{\displaystyle w}
2919:{\displaystyle V}
2873:{\displaystyle k}
2853:{\displaystyle Y}
2733:{\displaystyle k}
2713:{\displaystyle Y}
2693:{\displaystyle X}
2327:{\displaystyle V}
2307:{\displaystyle U}
2287:{\displaystyle i}
2088:{\displaystyle A}
2075:approximation to
2068:{\displaystyle k}
1862:{\displaystyle V}
1842:{\displaystyle U}
1822:{\displaystyle A}
1616:
1581:
1528:
1518:
1486:
1463:
1457:
1441:
1349:
1322:{\displaystyle r}
1087:
959:{\displaystyle V}
919:{\displaystyle U}
713:{\displaystyle D}
568:
543:
536:
526:
504:
493:
487:
439:matrix completion
412:Hankel structured
365:
330:
320:
298:
287:
281:
260:{\displaystyle r}
16:(Redirected from
9366:
9309:
9308:
9306:
9298:
9292:
9291:
9289:
9265:
9259:
9256:
9250:
9249:
9247:
9231:
9225:
9224:
9216:
9210:
9209:
9207:
9191:
9185:
9184:
9182:
9166:
9160:
9159:
9157:
9141:
9135:
9134:
9132:
9116:
9110:
9109:
9101:
9095:
9094:
9092:
9076:
9070:
9069:
9067:
9051:
9045:
9044:
9034:
9028:
9027:
9025:
9014:
9008:
8998:
8992:
8982:
8976:
8966:
8938:
8936:
8935:
8930:
8919:
8918:
8910:
8890:
8888:
8887:
8882:
8871:
8870:
8862:
8843:
8841:
8840:
8835:
8824:
8823:
8815:
8806:
8803:
8795:
8794:
8785:
8784:
8776:
8770:
8769:
8763:
8762:
8749:
8746:
8740:
8739:
8731:
8718:
8717:
8709:
8706:
8703:
8700:
8697:
8676:Kalman smoothing
8665:
8662:
8659:
8656:
8653:
8650:
8647:
8644:
8641:
8638:
8635:
8632:
8629:
8626:
8623:
8620:
8617:
8614:
8611:
8608:
8605:
8602:
8599:
8596:
8593:
8590:
8587:
8584:
8581:
8578:
8575:
8572:
8569:
8566:
8563:
8560:
8557:
8554:
8551:
8548:
8545:
8542:
8539:
8536:
8533:
8530:
8527:
8524:
8521:
8517:
8514:
8511:
8508:
8505:
8502:
8499:
8496:
8493:
8490:
8487:
8484:
8481:
8478:
8475:
8472:
8469:
8466:
8463:
8460:
8457:
8454:
8451:
8448:
8445:
8442:
8439:
8436:
8433:
8430:
8427:
8424:
8421:
8418:
8415:
8412:
8409:
8406:
8403:
8400:
8397:
8394:
8391:
8388:
8385:
8382:
8379:
8376:
8373:
8370:
8367:
8364:
8361:
8358:
8355:
8352:
8349:
8346:
8343:
8340:
8337:
8334:
8333:'TolFun'
8331:
8328:
8325:
8322:
8319:
8316:
8313:
8310:
8307:
8304:
8301:
8298:
8295:
8292:
8289:
8286:
8283:
8280:
8277:
8274:
8271:
8267:
8264:
8261:
8244:
8242:
8241:
8236:
8225:with respect to
8224:
8222:
8221:
8216:
8188:
8186:
8185:
8180:
8175:
8158:
8157:
8148:
8147:
8132:
8131:
8119:
8118:
8110:
8109:
8093:
8092:
8077:
8076:
8061:
8060:
8048:
8047:
8032:
8031:
8010:
8009:
7991:
7990:
7981:
7955:
7953:
7952:
7947:
7935:
7933:
7932:
7927:
7912:
7910:
7909:
7904:
7892:
7890:
7889:
7884:
7864:
7861:
7858:
7855:
7852:
7849:
7846:
7843:
7840:
7837:
7834:
7831:
7828:
7825:
7822:
7819:
7816:
7813:
7810:
7807:
7804:
7801:
7798:
7795:
7792:
7789:
7786:
7783:
7780:
7777:
7774:
7771:
7768:
7765:
7762:
7759:
7756:
7753:
7750:
7747:
7744:
7741:
7738:
7735:
7732:
7729:
7726:
7723:
7720:
7717:
7714:
7711:
7708:
7705:
7702:
7699:
7696:
7693:
7690:
7687:
7684:
7681:
7678:
7675:
7672:
7669:
7666:
7663:
7660:
7657:
7654:
7651:
7648:
7645:
7642:
7639:
7636:
7633:
7630:
7627:
7624:
7621:
7618:
7615:
7612:
7609:
7606:
7603:
7600:
7597:
7594:
7591:
7588:
7585:
7582:
7579:
7576:
7573:
7570:
7567:
7564:
7561:
7558:
7555:
7552:
7549:
7546:
7543:
7540:
7537:
7534:
7531:
7528:
7525:
7522:
7519:
7516:
7513:
7510:
7507:
7504:
7501:
7498:
7495:
7492:
7489:
7486:
7483:
7480:
7477:
7474:
7471:
7468:
7465:
7462:
7459:
7456:
7453:
7450:
7447:
7444:
7441:
7438:
7435:
7432:
7429:
7426:
7423:
7420:
7417:
7413:
7410:
7407:
7394:
7392:
7391:
7386:
7374:
7372:
7371:
7366:
7342:
7340:
7339:
7334:
7322:
7320:
7319:
7314:
7302:
7300:
7299:
7294:
7282:
7280:
7279:
7274:
7254:
7252:
7251:
7246:
7230:
7228:
7227:
7222:
7220:
7219:
7200:
7198:
7197:
7192:
7187:
7186:
7174:
7173:
7160:
7157:
7148:
7147:
7139:
7132:
7129:
7123:
7122:
7114:
7090:
7089:
7081:
7066:
7065:
7052:
7049:
7047:
7046:
7038:
7035:
7032:
7029:
7026:
7011:
7009:
7008:
7003:
6992:
6991:
6983:
6979:
6976:
6970:
6969:
6961:
6937:
6936:
6928:
6913:
6912:
6899:
6896:
6888:
6887:
6879:
6876:
6873:
6870:
6867:
6852:
6850:
6849:
6844:
6836:
6835:
6827:
6821:
6818:
6816:
6815:
6798:
6786:
6783:
6765:
6764:
6756:
6731:
6729:
6728:
6723:
6712:
6711:
6703:
6700:
6697:
6695:
6694:
6683:
6671:
6668:
6666:
6665:
6654:
6642:
6639:
6621:
6620:
6612:
6570:
6568:
6567:
6562:
6557:
6556:
6544:
6543:
6516:
6515:
6493:
6491:
6490:
6485:
6467:
6465:
6464:
6459:
6447:
6445:
6444:
6439:
6434:
6433:
6415:
6414:
6389:
6387:
6386:
6381:
6376:
6375:
6357:
6356:
6323:
6321:
6320:
6315:
6297:
6295:
6294:
6289:
6271:
6269:
6268:
6263:
6261:
6260:
6232:
6230:
6229:
6224:
6203:
6201:
6200:
6195:
6187:
6130:
6128:
6127:
6122:
6104:
6102:
6101:
6096:
6094:
6093:
6089:
6080:
6076:
6075:
6069:
6064:
6049:
6043:
6019:
6018:
5979:
5977:
5976:
5971:
5959:
5957:
5956:
5951:
5939:
5937:
5936:
5931:
5929:
5928:
5916:
5915:
5897:
5896:
5878:
5877:
5858:
5836:
5834:
5833:
5828:
5816:
5814:
5813:
5808:
5789:
5787:
5786:
5781:
5770:column wise and
5769:
5767:
5766:
5761:
5746:
5744:
5743:
5738:
5727:
5724:
5712:
5710:
5709:
5704:
5690:
5689:
5681:
5668:
5665:
5659:
5658:
5650:
5629:
5628:
5619:
5618:
5610:
5591:
5590:
5582:
5579:
5576:
5573:
5570:
5558:
5556:
5555:
5550:
5548:
5547:
5539:
5512:
5510:
5509:
5504:
5498:
5493:
5484:
5483:
5462:
5461:
5446:
5445:
5435:
5430:
5406:
5405:
5396:
5395:
5377:
5376:
5366:
5361:
5342:
5337:
5328:
5327:
5296:
5294:
5293:
5288:
5274:
5273:
5252:
5251:
5233:
5232:
5214:
5212:
5211:
5206:
5170:
5168:
5167:
5162:
5160:
5159:
5147:
5132:
5130:
5129:
5124:
5122:
5121:
5103:
5088:
5086:
5085:
5080:
5069:
5068:
5056:
5055:
5030:
5028:
5027:
5022:
5020:
5004:
5003:
4976:
4941:
4919:
4901:
4900:
4885:
4882:
4873:
4872:
4842:
4841:
4826:
4815:
4793:
4769:
4768:
4753:
4742:
4724:
4713:
4712:
4693:
4675:
4664:
4663:
4644:
4633:
4632:
4617:
4606:
4605:
4583:
4581:
4580:
4575:
4551:
4549:
4548:
4543:
4541:
4526:
4524:
4523:
4518:
4516:
4501:
4499:
4498:
4493:
4481:
4479:
4478:
4473:
4467:
4451:
4449:
4448:
4443:
4437:
4421:
4419:
4418:
4413:
4408:
4397:
4396:
4381:
4370:
4369:
4348:
4347:
4331:
4329:
4328:
4323:
4321:
4310:
4286:
4284:
4283:
4278:
4272:
4267:
4258:
4257:
4235:
4230:
4220:
4215:
4190:
4185:
4176:
4175:
4147:
4145:
4144:
4139:
4127:
4125:
4124:
4119:
4107:
4105:
4104:
4099:
4087:
4085:
4084:
4079:
4077:
4076:
4061:
4060:
4041:
4039:
4038:
4033:
4030:
4025:
4015:
4010:
3985:
3980:
3975:
3971:
3969:
3964:
3955:
3954:
3945:
3944:
3934:
3929:
3898:
3893:
3884:
3883:
3853:, respectively.
3852:
3850:
3849:
3844:
3832:
3830:
3829:
3824:
3812:
3810:
3809:
3804:
3792:
3790:
3789:
3784:
3782:
3781:
3765:
3763:
3762:
3757:
3755:
3754:
3735:
3733:
3732:
3727:
3724:
3719:
3710:
3709:
3700:
3699:
3689:
3684:
3666:
3665:
3646:
3644:
3643:
3638:
3636:
3635:
3613:
3611:
3610:
3605:
3593:
3591:
3590:
3585:
3570:
3568:
3567:
3562:
3543:
3541:
3540:
3535:
3533:
3532:
3501:
3499:
3498:
3493:
3475:
3473:
3472:
3467:
3465:
3464:
3453:
3419:
3417:
3416:
3411:
3405:
3400:
3381:
3376:
3360:
3355:
3330:
3325:
3315:
3310:
3297:
3292:
3270:
3265:
3250:
3249:
3224:
3219:
3210:
3209:
3181:
3179:
3178:
3173:
3164:
3159:
3134:
3129:
3113:
3111:
3110:
3105:
3097:
3096:
3074:
3072:
3071:
3066:
3054:
3052:
3051:
3046:
3035:
3034:
3015:
3013:
3012:
3007:
3002:
3001:
2986:
2985:
2961:
2960:
2951:
2950:
2925:
2923:
2922:
2917:
2905:
2903:
2902:
2897:
2879:
2877:
2876:
2871:
2859:
2857:
2856:
2851:
2836:
2834:
2833:
2828:
2826:
2825:
2816:
2815:
2794:
2793:
2775:
2774:
2765:
2764:
2739:
2737:
2736:
2731:
2719:
2717:
2716:
2711:
2699:
2697:
2696:
2691:
2679:
2677:
2676:
2671:
2669:
2668:
2653:
2652:
2633:
2631:
2630:
2625:
2623:
2622:
2604:
2603:
2598:
2594:
2592:
2587:
2578:
2577:
2568:
2567:
2557:
2552:
2550:
2518:
2517:
2512:
2508:
2506:
2501:
2492:
2491:
2482:
2481:
2471:
2469:
2462:
2443:
2438:
2429:
2428:
2419:
2418:
2408:
2406:
2399:
2375:
2374:
2365:
2364:
2334:, respectively.
2333:
2331:
2330:
2325:
2313:
2311:
2310:
2305:
2293:
2291:
2290:
2285:
2273:
2271:
2270:
2265:
2263:
2262:
2246:
2244:
2243:
2238:
2236:
2235:
2216:
2214:
2213:
2208:
2205:
2200:
2191:
2190:
2181:
2180:
2170:
2165:
2147:
2146:
2127:
2125:
2124:
2119:
2117:
2116:
2094:
2092:
2091:
2086:
2074:
2072:
2071:
2066:
2051:
2049:
2048:
2043:
2035:
2034:
2016:
2015:
2003:
2002:
1986:
1984:
1983:
1978:
1973:
1972:
1954:
1953:
1941:
1940:
1918:
1916:
1915:
1910:
1892:
1890:
1889:
1884:
1868:
1866:
1865:
1860:
1848:
1846:
1845:
1840:
1828:
1826:
1825:
1820:
1801:
1799:
1798:
1793:
1791:
1790:
1760:. Suppose that
1759:
1757:
1756:
1751:
1733:
1731:
1730:
1725:
1723:
1722:
1711:
1680:
1678:
1677:
1672:
1670:
1669:
1657:
1656:
1634:
1632:
1631:
1626:
1624:
1623:
1618:
1617:
1609:
1595:
1593:
1592:
1587:
1582:
1579:
1574:
1555:
1550:
1535:
1530:
1529:
1526:
1520:
1519:
1511:
1498:
1488:
1487:
1479:
1459:
1458:
1455:
1449:
1448:
1443:
1442:
1434:
1408:
1406:
1405:
1400:
1394:
1389:
1380:
1379:
1370:
1369:
1357:
1356:
1351:
1350:
1342:
1328:
1326:
1325:
1320:
1309:. Then the rank-
1308:
1306:
1305:
1300:
1282:
1280:
1279:
1274:
1272:
1271:
1255:
1253:
1252:
1247:
1229:
1227:
1226:
1221:
1219:
1218:
1202:
1200:
1199:
1194:
1176:
1174:
1173:
1168:
1166:
1165:
1146:
1144:
1143:
1138:
1133:
1132:
1125:
1124:
1113:
1112:
1088:
1085:
1079:
1078:
1071:
1070:
1047:
1046:
1019:
1018:
1011:
1010:
999:
998:
965:
963:
962:
957:
945:
943:
942:
937:
925:
923:
922:
917:
905:
903:
902:
897:
855:
853:
852:
847:
845:
844:
826:
825:
809:
807:
806:
801:
783:
781:
780:
775:
770:
769:
751:
750:
719:
717:
716:
711:
696:
694:
693:
688:
673:
672:
661:
652:
651:
593:
591:
590:
585:
577:
576:
570:
569:
561:
558:
557:
544:
541:
538:
537:
534:
528:
527:
519:
506:
505:
497:
494:
491:
488:
485:
455:Computer algebra
418:Machine learning
396:
394:
393:
388:
377:
376:
367:
366:
358:
352:
351:
345:
344:
331:
328:
322:
321:
313:
300:
299:
291:
288:
285:
282:
279:
266:
264:
263:
258:
243:
241:
240:
235:
212:
210:
209:
204:
202:
201:
200:
199:
189:
167:
165:
164:
159:
157:
156:
145:
136:
135:
134:
133:
123:
114:
113:
60:Hankel structure
52:data compression
30:In mathematics,
21:
9374:
9373:
9369:
9368:
9367:
9365:
9364:
9363:
9339:
9338:
9330:
9313:
9312:
9304:
9300:
9299:
9295:
9267:
9266:
9262:
9257:
9253:
9233:
9232:
9228:
9218:
9217:
9213:
9193:
9192:
9188:
9168:
9167:
9163:
9143:
9142:
9138:
9118:
9117:
9113:
9103:
9102:
9098:
9078:
9077:
9073:
9053:
9052:
9048:
9036:
9035:
9031:
9023:
9016:
9015:
9011:
8999:
8995:
8983:
8979:
8967:
8963:
8958:
8945:
8897:
8896:
8849:
8848:
8804: and
8691:
8690:
8684:
8667:
8666:
8663:
8660:
8657:
8654:
8651:
8648:
8645:
8642:
8639:
8636:
8633:
8630:
8627:
8624:
8621:
8618:
8615:
8612:
8609:
8606:
8603:
8600:
8597:
8594:
8591:
8588:
8585:
8582:
8579:
8576:
8573:
8570:
8567:
8564:
8561:
8558:
8555:
8552:
8549:
8546:
8543:
8540:
8537:
8534:
8531:
8528:
8525:
8522:
8519:
8515:
8512:
8509:
8506:
8503:
8500:
8497:
8494:
8491:
8488:
8485:
8482:
8479:
8476:
8473:
8470:
8467:
8464:
8461:
8458:
8455:
8452:
8449:
8446:
8443:
8440:
8437:
8434:
8431:
8428:
8425:
8422:
8419:
8416:
8413:
8410:
8407:
8404:
8401:
8398:
8395:
8392:
8389:
8386:
8383:
8380:
8377:
8374:
8371:
8368:
8365:
8362:
8359:
8356:
8353:
8350:
8347:
8344:
8341:
8338:
8335:
8332:
8329:
8326:
8323:
8320:
8317:
8314:
8311:
8308:
8305:
8302:
8299:
8296:
8293:
8290:
8287:
8284:
8281:
8278:
8275:
8272:
8269:
8265:
8262:
8259:
8227:
8226:
8198:
8197:
8139:
8123:
8103:
8084:
8068:
8052:
8023:
7982:
7960:
7959:
7938:
7937:
7918:
7917:
7895:
7894:
7875:
7874:
7871:
7866:
7865:
7862:
7859:
7856:
7853:
7850:
7847:
7844:
7841:
7838:
7835:
7832:
7829:
7826:
7823:
7820:
7817:
7814:
7811:
7808:
7805:
7802:
7799:
7796:
7793:
7790:
7787:
7784:
7781:
7778:
7775:
7772:
7769:
7766:
7763:
7760:
7757:
7754:
7751:
7748:
7745:
7742:
7739:
7736:
7733:
7730:
7727:
7724:
7721:
7718:
7715:
7712:
7709:
7706:
7703:
7700:
7697:
7694:
7691:
7688:
7685:
7682:
7679:
7676:
7673:
7670:
7667:
7664:
7661:
7658:
7655:
7652:
7649:
7646:
7643:
7640:
7637:
7634:
7631:
7628:
7625:
7622:
7619:
7616:
7613:
7610:
7607:
7604:
7601:
7598:
7595:
7592:
7589:
7586:
7583:
7580:
7577:
7574:
7571:
7568:
7565:
7562:
7559:
7556:
7553:
7550:
7547:
7544:
7541:
7538:
7535:
7532:
7529:
7526:
7523:
7520:
7517:
7514:
7511:
7508:
7505:
7502:
7499:
7496:
7493:
7490:
7487:
7484:
7481:
7478:
7475:
7472:
7469:
7466:
7463:
7460:
7457:
7454:
7451:
7448:
7445:
7442:
7439:
7436:
7433:
7430:
7427:
7424:
7421:
7418:
7415:
7411:
7408:
7405:
7377:
7376:
7357:
7356:
7343:is a difficult
7325:
7324:
7305:
7304:
7285:
7284:
7265:
7264:
7261:
7237:
7236:
7233:identity matrix
7211:
7206:
7205:
7178:
7165:
7057:
7050: and
7020:
7019:
6904:
6897: and
6861:
6860:
6793:
6740:
6739:
6678:
6669: and
6649:
6640:there are
6596:
6595:
6589:
6581:
6548:
6535:
6501:
6496:
6495:
6470:
6469:
6450:
6449:
6425:
6406:
6392:
6391:
6367:
6348:
6334:
6333:
6330:
6300:
6299:
6274:
6273:
6252:
6235:
6234:
6209:
6208:
6133:
6132:
6107:
6106:
6028:
6024:
6023:
6010:
5999:
5998:
5995:
5992:
5962:
5961:
5942:
5941:
5940:over matrices,
5920:
5901:
5882:
5863:
5839:
5838:
5819:
5818:
5799:
5798:
5772:
5771:
5752:
5751:
5718:
5717:
5620:
5564:
5563:
5526:
5525:
5522:
5475:
5453:
5437:
5397:
5387:
5368:
5319:
5305:
5304:
5259:
5243:
5224:
5219:
5218:
5173:
5172:
5151:
5140:
5135:
5134:
5113:
5096:
5091:
5090:
5060:
5041:
5036:
5035:
5018:
5017:
4983:
4974:
4973:
4852:
4833:
4824:
4823:
4760:
4751:
4750:
4717:
4704:
4668:
4655:
4648:
4637:
4624:
4610:
4597:
4588:
4587:
4554:
4553:
4534:
4529:
4528:
4509:
4504:
4503:
4484:
4483:
4454:
4453:
4424:
4423:
4401:
4388:
4374:
4361:
4339:
4334:
4333:
4314:
4303:
4292:
4291:
4249:
4167:
4153:
4152:
4130:
4129:
4110:
4109:
4090:
4089:
4068:
4052:
4047:
4046:
3946:
3936:
3908:
3904:
3875:
3861:
3860:
3835:
3834:
3815:
3814:
3795:
3794:
3773:
3768:
3767:
3746:
3741:
3740:
3701:
3691:
3657:
3652:
3651:
3627:
3616:
3615:
3596:
3595:
3576:
3575:
3553:
3552:
3524:
3507:
3506:
3502:. Suppose that
3478:
3477:
3448:
3437:
3436:
3433:
3241:
3201:
3187:
3186:
3116:
3115:
3088:
3077:
3076:
3057:
3056:
3026:
3021:
3020:
2987:
2971:
2952:
2942:
2931:
2930:
2908:
2907:
2882:
2881:
2862:
2861:
2842:
2841:
2817:
2807:
2779:
2766:
2756:
2742:
2741:
2722:
2721:
2702:
2701:
2682:
2681:
2660:
2644:
2639:
2638:
2608:
2569:
2559:
2527:
2523:
2522:
2483:
2473:
2420:
2410:
2384:
2380:
2379:
2366:
2356:
2342:
2341:
2316:
2315:
2296:
2295:
2276:
2275:
2254:
2249:
2248:
2227:
2222:
2221:
2182:
2172:
2138:
2133:
2132:
2108:
2097:
2096:
2077:
2076:
2057:
2056:
2026:
2007:
1994:
1989:
1988:
1964:
1945:
1932:
1924:
1923:
1895:
1894:
1875:
1874:
1851:
1850:
1831:
1830:
1811:
1810:
1782:
1765:
1764:
1736:
1735:
1706:
1695:
1694:
1691:
1661:
1642:
1637:
1636:
1606:
1601:
1600:
1521:
1450:
1431:
1417:
1416:
1371:
1361:
1339:
1334:
1333:
1311:
1310:
1285:
1284:
1263:
1258:
1257:
1232:
1231:
1210:
1205:
1204:
1179:
1178:
1157:
1152:
1151:
1127:
1126:
1116:
1114:
1104:
1097:
1073:
1072:
1062:
1060:
1054:
1053:
1048:
1038:
1031:
1013:
1012:
1002:
1000:
990:
983:
971:
970:
948:
947:
928:
927:
908:
907:
858:
857:
836:
817:
812:
811:
786:
785:
761:
742:
722:
721:
702:
701:
656:
643:
626:
625:
529:
479:
478:
468:
403:
273:
272:
249:
248:
220:
219:
191:
184:
173:
172:
140:
125:
118:
103:
102:
95:
71:factor analysis
28:
23:
22:
15:
12:
11:
5:
9372:
9370:
9362:
9361:
9356:
9351:
9341:
9340:
9337:
9336:
9329:
9328:External links
9326:
9325:
9324:
9311:
9310:
9293:
9260:
9251:
9226:
9211:
9186:
9161:
9136:
9111:
9096:
9071:
9046:
9029:
9009:
8993:
8977:
8960:
8959:
8957:
8954:
8953:
8952:
8944:
8941:
8928:
8925:
8922:
8916:
8913:
8907:
8904:
8880:
8877:
8874:
8868:
8865:
8859:
8856:
8845:
8844:
8833:
8830:
8827:
8821:
8818:
8812:
8809:
8801:
8798:
8793:
8788:
8782:
8779:
8773:
8768:
8761:
8756:
8753:
8743:
8737:
8734:
8728:
8725:
8722:
8715:
8712:
8683:
8680:
8258:
8234:
8214:
8211:
8208:
8205:
8196:of minimizing
8190:
8189:
8178:
8173:
8170:
8167:
8164:
8161:
8156:
8151:
8146:
8142:
8138:
8135:
8130:
8126:
8122:
8117:
8114:
8108:
8102:
8099:
8096:
8091:
8087:
8083:
8080:
8075:
8071:
8067:
8064:
8059:
8055:
8051:
8046:
8041:
8038:
8035:
8030:
8026:
8022:
8019:
8016:
8013:
8008:
8003:
8000:
7997:
7994:
7989:
7985:
7979:
7976:
7973:
7970:
7967:
7945:
7925:
7902:
7882:
7870:
7867:
7404:
7384:
7364:
7332:
7312:
7292:
7272:
7260:
7257:
7244:
7218:
7214:
7202:
7201:
7190:
7185:
7181:
7177:
7172:
7168:
7164:
7154:
7151:
7145:
7142:
7136:
7126:
7120:
7117:
7111:
7108:
7105:
7102:
7099:
7096:
7093:
7087:
7084:
7078:
7075:
7072:
7069:
7064:
7060:
7055:
7044:
7041:
7013:
7012:
7001:
6998:
6995:
6989:
6986:
6973:
6967:
6964:
6958:
6955:
6952:
6949:
6946:
6943:
6940:
6934:
6931:
6925:
6922:
6919:
6916:
6911:
6907:
6902:
6894:
6891:
6885:
6882:
6854:
6853:
6842:
6839:
6833:
6830:
6824:
6814:
6811:
6808:
6805:
6802:
6797:
6792:
6789:
6779:
6774:
6771:
6768:
6762:
6759:
6753:
6750:
6747:
6733:
6732:
6721:
6718:
6715:
6709:
6706:
6693:
6690:
6687:
6682:
6677:
6674:
6664:
6661:
6658:
6653:
6648:
6645:
6635:
6630:
6627:
6624:
6618:
6615:
6609:
6606:
6603:
6588:
6585:
6580:
6577:
6560:
6555:
6551:
6547:
6542:
6538:
6534:
6531:
6528:
6525:
6522:
6519:
6514:
6511:
6508:
6504:
6483:
6480:
6477:
6468:represent the
6457:
6437:
6432:
6428:
6424:
6421:
6418:
6413:
6409:
6405:
6402:
6399:
6379:
6374:
6370:
6366:
6363:
6360:
6355:
6351:
6347:
6344:
6341:
6329:
6326:
6313:
6310:
6307:
6287:
6284:
6281:
6259:
6255:
6251:
6248:
6245:
6242:
6222:
6219:
6216:
6193:
6190:
6186:
6182:
6179:
6176:
6173:
6170:
6167:
6164:
6161:
6158:
6155:
6152:
6149:
6146:
6143:
6140:
6120:
6117:
6114:
6092:
6088:
6084:
6079:
6074:
6068:
6063:
6060:
6057:
6053:
6048:
6042:
6039:
6036:
6032:
6027:
6022:
6017:
6013:
6009:
6006:
5994:
5988:
5982:
5969:
5949:
5927:
5923:
5919:
5914:
5911:
5908:
5904:
5900:
5895:
5892:
5889:
5885:
5881:
5876:
5873:
5870:
5866:
5862:
5857:
5854:
5851:
5847:
5826:
5806:
5779:
5759:
5736:
5733:
5730:
5714:
5713:
5702:
5699:
5696:
5693:
5687:
5684:
5678:
5675:
5672:
5662:
5656:
5653:
5647:
5644:
5641:
5638:
5635:
5632:
5627:
5623:
5616:
5613:
5607:
5604:
5601:
5598:
5595:
5588:
5585:
5545:
5542:
5536:
5533:
5521:
5518:
5514:
5513:
5502:
5497:
5492:
5488:
5482:
5478:
5474:
5471:
5468:
5465:
5460:
5456:
5452:
5449:
5444:
5440:
5434:
5429:
5426:
5423:
5420:
5417:
5413:
5409:
5404:
5400:
5394:
5390:
5386:
5383:
5380:
5375:
5371:
5365:
5360:
5357:
5354:
5350:
5346:
5341:
5336:
5332:
5326:
5322:
5318:
5315:
5312:
5298:
5297:
5286:
5283:
5280:
5277:
5272:
5269:
5266:
5262:
5258:
5255:
5250:
5246:
5242:
5239:
5236:
5231:
5227:
5204:
5201:
5198:
5195:
5192:
5189:
5186:
5183:
5180:
5158:
5154:
5150:
5146:
5143:
5120:
5116:
5112:
5109:
5106:
5102:
5099:
5078:
5075:
5072:
5067:
5063:
5059:
5054:
5051:
5048:
5044:
5032:
5031:
5016:
5013:
5010:
5007:
5002:
4999:
4996:
4993:
4990:
4986:
4982:
4979:
4977:
4975:
4972:
4969:
4966:
4963:
4960:
4957:
4954:
4951:
4948:
4944:
4940:
4937:
4934:
4930:
4926:
4922:
4918:
4915:
4912:
4908:
4904:
4899:
4896:
4893:
4890:
4880:
4876:
4871:
4868:
4865:
4862:
4859:
4855:
4851:
4848:
4845:
4840:
4836:
4832:
4829:
4827:
4825:
4822:
4818:
4814:
4811:
4808:
4804:
4800:
4796:
4792:
4789:
4786:
4782:
4778:
4775:
4772:
4767:
4763:
4759:
4756:
4754:
4752:
4749:
4745:
4741:
4738:
4735:
4731:
4727:
4723:
4720:
4716:
4711:
4707:
4703:
4700:
4696:
4692:
4689:
4686:
4682:
4678:
4674:
4671:
4667:
4662:
4658:
4654:
4651:
4649:
4647:
4643:
4640:
4636:
4631:
4627:
4623:
4620:
4616:
4613:
4609:
4604:
4600:
4596:
4595:
4573:
4570:
4567:
4564:
4561:
4540:
4537:
4515:
4512:
4491:
4470:
4466:
4462:
4440:
4436:
4432:
4411:
4407:
4404:
4400:
4395:
4391:
4387:
4384:
4380:
4377:
4373:
4368:
4364:
4360:
4357:
4354:
4351:
4346:
4342:
4320:
4317:
4313:
4309:
4306:
4302:
4299:
4288:
4287:
4276:
4271:
4266:
4262:
4256:
4252:
4248:
4245:
4242:
4239:
4234:
4229:
4225:
4219:
4214:
4211:
4208:
4205:
4202:
4198:
4194:
4189:
4184:
4180:
4174:
4170:
4166:
4163:
4160:
4137:
4117:
4097:
4075:
4071:
4067:
4064:
4059:
4055:
4043:
4042:
4029:
4024:
4020:
4014:
4009:
4006:
4003:
4000:
3997:
3993:
3989:
3984:
3979:
3974:
3968:
3963:
3959:
3953:
3949:
3943:
3939:
3933:
3928:
3925:
3922:
3919:
3916:
3912:
3907:
3902:
3897:
3892:
3888:
3882:
3878:
3874:
3871:
3868:
3842:
3822:
3802:
3780:
3776:
3753:
3749:
3737:
3736:
3723:
3718:
3714:
3708:
3704:
3698:
3694:
3688:
3683:
3680:
3677:
3673:
3669:
3664:
3660:
3647:, is given by
3634:
3630:
3626:
3623:
3603:
3583:
3560:
3545:
3544:
3531:
3527:
3523:
3520:
3517:
3514:
3491:
3488:
3485:
3463:
3460:
3457:
3452:
3447:
3444:
3432:
3429:Frobenius norm
3425:
3421:
3420:
3409:
3404:
3399:
3396:
3393:
3389:
3385:
3380:
3375:
3372:
3369:
3365:
3359:
3354:
3351:
3348:
3344:
3340:
3337:
3334:
3329:
3324:
3320:
3314:
3309:
3305:
3301:
3296:
3291:
3287:
3283:
3280:
3277:
3274:
3269:
3264:
3260:
3256:
3253:
3248:
3244:
3240:
3237:
3234:
3231:
3228:
3223:
3218:
3214:
3208:
3204:
3200:
3197:
3194:
3171:
3168:
3163:
3158:
3155:
3152:
3148:
3144:
3141:
3138:
3133:
3128:
3124:
3103:
3100:
3095:
3091:
3087:
3084:
3064:
3044:
3041:
3038:
3033:
3029:
3017:
3016:
3005:
3000:
2997:
2994:
2990:
2984:
2981:
2978:
2974:
2970:
2967:
2964:
2959:
2955:
2949:
2945:
2941:
2938:
2915:
2895:
2892:
2889:
2869:
2849:
2824:
2820:
2814:
2810:
2806:
2803:
2800:
2797:
2792:
2789:
2786:
2782:
2778:
2773:
2769:
2763:
2759:
2755:
2752:
2749:
2729:
2709:
2689:
2667:
2663:
2659:
2656:
2651:
2647:
2635:
2634:
2621:
2618:
2615:
2611:
2607:
2602:
2597:
2591:
2586:
2582:
2576:
2572:
2566:
2562:
2556:
2549:
2546:
2543:
2538:
2535:
2531:
2526:
2521:
2516:
2511:
2505:
2500:
2496:
2490:
2486:
2480:
2476:
2468:
2461:
2458:
2455:
2451:
2447:
2442:
2437:
2433:
2427:
2423:
2417:
2413:
2405:
2398:
2395:
2392:
2388:
2383:
2378:
2373:
2369:
2363:
2359:
2355:
2352:
2349:
2323:
2303:
2283:
2261:
2257:
2234:
2230:
2218:
2217:
2204:
2199:
2195:
2189:
2185:
2179:
2175:
2169:
2164:
2161:
2158:
2154:
2150:
2145:
2141:
2128:, is given by
2115:
2111:
2107:
2104:
2084:
2064:
2041:
2038:
2033:
2029:
2025:
2022:
2019:
2014:
2010:
2006:
2001:
1997:
1976:
1971:
1967:
1963:
1960:
1957:
1952:
1948:
1944:
1939:
1935:
1931:
1908:
1905:
1902:
1882:
1873:matrices, and
1858:
1838:
1829:. Recall that
1818:
1803:
1802:
1789:
1785:
1781:
1778:
1775:
1772:
1749:
1746:
1743:
1721:
1718:
1715:
1710:
1705:
1702:
1690:
1683:
1668:
1664:
1660:
1655:
1652:
1649:
1645:
1622:
1615:
1612:
1599:The minimizer
1597:
1596:
1585:
1578:
1573:
1569:
1565:
1562:
1559:
1554:
1549:
1546:
1543:
1539:
1533:
1524:
1517:
1514:
1508:
1505:
1502:
1497:
1494:
1491:
1485:
1482:
1476:
1473:
1470:
1466:
1462:
1453:
1447:
1440:
1437:
1430:
1427:
1424:
1410:
1409:
1398:
1393:
1388:
1384:
1378:
1374:
1368:
1364:
1360:
1355:
1348:
1345:
1318:
1298:
1295:
1292:
1270:
1266:
1245:
1242:
1239:
1217:
1213:
1192:
1189:
1186:
1164:
1160:
1148:
1147:
1136:
1131:
1123:
1119:
1115:
1111:
1107:
1103:
1102:
1100:
1095:
1092:
1082:
1077:
1069:
1065:
1061:
1059:
1056:
1055:
1052:
1049:
1045:
1041:
1037:
1036:
1034:
1029:
1026:
1022:
1017:
1009:
1005:
1001:
997:
993:
989:
988:
986:
981:
978:
955:
935:
915:
895:
892:
889:
886:
883:
880:
877:
874:
871:
868:
865:
856:. For a given
843:
839:
835:
832:
829:
824:
820:
799:
796:
793:
773:
768:
764:
760:
757:
754:
749:
745:
741:
738:
735:
732:
729:
709:
698:
697:
686:
683:
680:
676:
671:
668:
665:
660:
655:
650:
646:
642:
639:
636:
633:
607:Erhard Schmidt
595:
594:
583:
580:
575:
567:
564:
556:
551:
548:
532:
525:
522:
516:
513:
510:
503:
500:
472:Frobenius norm
467:
464:
463:
462:
452:
442:
435:
428:missing values
421:
415:
402:
399:
398:
397:
386:
383:
380:
375:
370:
364:
361:
355:
350:
343:
338:
335:
325:
319:
316:
310:
307:
304:
297:
294:
269:
268:
256:
245:
233:
230:
227:
214:
198:
194:
188:
183:
180:
169:
155:
152:
149:
144:
139:
132:
128:
122:
117:
112:
94:
91:
56:non-negativity
26:
24:
14:
13:
10:
9:
6:
4:
3:
2:
9371:
9360:
9357:
9355:
9352:
9350:
9347:
9346:
9344:
9335:
9332:
9331:
9327:
9323:
9319:
9315:
9314:
9303:
9297:
9294:
9288:
9283:
9279:
9275:
9271:
9264:
9261:
9255:
9252:
9246:
9241:
9237:
9230:
9227:
9222:
9215:
9212:
9206:
9201:
9197:
9190:
9187:
9181:
9176:
9172:
9165:
9162:
9156:
9151:
9147:
9140:
9137:
9131:
9126:
9122:
9115:
9112:
9107:
9100:
9097:
9091:
9086:
9082:
9075:
9072:
9066:
9061:
9057:
9050:
9047:
9042:
9041:
9033:
9030:
9022:
9021:
9013:
9010:
9007:
9003:
8997:
8994:
8991:
8987:
8981:
8978:
8975:
8971:
8965:
8962:
8955:
8950:
8947:
8946:
8942:
8940:
8926:
8923:
8914:
8911:
8902:
8892:
8878:
8875:
8866:
8863:
8854:
8831:
8828:
8819:
8816:
8807:
8799:
8796:
8780:
8777:
8754:
8751:
8735:
8732:
8726:
8723:
8713:
8710:
8689:
8688:
8687:
8681:
8679:
8677:
8673:
8263:= wlra_varpro
8256:
8254:
8250:
8249:can be used.
8248:
8232:
8209:
8203:
8195:
8176:
8168:
8162:
8159:
8149:
8136:
8133:
8128:
8124:
8115:
8112:
8097:
8094:
8089:
8085:
8078:
8065:
8062:
8057:
8053:
8036:
8033:
8028:
8024:
8017:
8014:
8011:
7998:
7992:
7983:
7977:
7971:
7965:
7958:
7957:
7956:
7943:
7923:
7914:
7900:
7880:
7868:
7402:
7400:
7396:
7382:
7362:
7352:
7350:
7346:
7330:
7310:
7290:
7270:
7258:
7256:
7242:
7234:
7216:
7212:
7188:
7183:
7179:
7175:
7166:
7162:
7152:
7149:
7143:
7140:
7134:
7118:
7115:
7109:
7106:
7100:
7097:
7094:
7085:
7082:
7076:
7073:
7067:
7058:
7053:
7042:
7039:
7018:
7017:
7016:
6999:
6996:
6993:
6987:
6984:
6965:
6962:
6956:
6953:
6947:
6944:
6941:
6932:
6929:
6923:
6920:
6914:
6905:
6900:
6892:
6889:
6883:
6880:
6859:
6858:
6857:
6840:
6837:
6831:
6828:
6822:
6812:
6809:
6806:
6803:
6800:
6790:
6787:
6772:
6769:
6760:
6757:
6748:
6745:
6738:
6737:
6736:
6719:
6716:
6713:
6707:
6704:
6691:
6688:
6685:
6675:
6672:
6662:
6659:
6656:
6646:
6643:
6628:
6625:
6616:
6613:
6604:
6601:
6594:
6593:
6592:
6586:
6584:
6578:
6576:
6574:
6553:
6549:
6545:
6540:
6536:
6529:
6526:
6523:
6520:
6517:
6512:
6509:
6506:
6502:
6494:matrix where
6481:
6478:
6475:
6455:
6430:
6426:
6422:
6419:
6416:
6411:
6407:
6400:
6397:
6372:
6368:
6364:
6361:
6358:
6353:
6349:
6342:
6339:
6327:
6325:
6311:
6308:
6305:
6285:
6282:
6279:
6257:
6249:
6246:
6243:
6220:
6217:
6214:
6205:
6188:
6184:
6180:
6174:
6171:
6168:
6165:
6162:
6159:
6156:
6150:
6144:
6141:
6138:
6118:
6115:
6112:
6090:
6086:
6082:
6077:
6066:
6061:
6058:
6055:
6051:
6040:
6037:
6034:
6030:
6025:
6020:
6015:
6007:
5991:
5987:
5983:
5981:
5967:
5947:
5925:
5912:
5909:
5906:
5902:
5898:
5893:
5890:
5887:
5883:
5874:
5871:
5868:
5864:
5855:
5852:
5849:
5845:
5824:
5817:and a matrix
5804:
5795:
5791:
5777:
5757:
5749:
5731:
5700:
5697:
5694:
5685:
5682:
5673:
5670:
5654:
5651:
5645:
5642:
5636:
5633:
5630:
5614:
5611:
5605:
5602:
5596:
5593:
5586:
5583:
5562:
5561:
5560:
5543:
5540:
5534:
5531:
5519:
5517:
5516:as required.
5500:
5495:
5490:
5480:
5476:
5472:
5469:
5463:
5458:
5450:
5442:
5438:
5432:
5427:
5424:
5421:
5418:
5415:
5411:
5407:
5402:
5392:
5388:
5384:
5381:
5373:
5369:
5363:
5358:
5355:
5352:
5348:
5344:
5339:
5334:
5324:
5320:
5316:
5313:
5303:
5302:
5301:
5284:
5278:
5270:
5267:
5264:
5260:
5256:
5248:
5244:
5240:
5237:
5229:
5225:
5217:
5216:
5215:
5202:
5199:
5196:
5193:
5190:
5187:
5184:
5181:
5178:
5156:
5152:
5148:
5144:
5141:
5118:
5114:
5110:
5107:
5104:
5100:
5097:
5076:
5073:
5065:
5061:
5052:
5049:
5046:
5042:
5014:
5008:
5000:
4997:
4994:
4991:
4988:
4984:
4980:
4978:
4964:
4961:
4958:
4955:
4952:
4949:
4942:
4938:
4935:
4932:
4928:
4924:
4920:
4916:
4913:
4910:
4906:
4869:
4866:
4863:
4860:
4857:
4853:
4849:
4846:
4838:
4834:
4830:
4828:
4816:
4812:
4809:
4806:
4802:
4798:
4794:
4790:
4787:
4784:
4780:
4776:
4773:
4765:
4761:
4757:
4755:
4743:
4739:
4736:
4733:
4729:
4725:
4721:
4718:
4709:
4705:
4701:
4694:
4690:
4687:
4684:
4680:
4676:
4672:
4669:
4660:
4656:
4652:
4650:
4641:
4638:
4629:
4625:
4621:
4614:
4611:
4602:
4598:
4586:
4585:
4584:
4571:
4568:
4565:
4562:
4559:
4538:
4535:
4513:
4510:
4489:
4468:
4464:
4460:
4438:
4434:
4430:
4405:
4402:
4393:
4389:
4385:
4378:
4375:
4366:
4362:
4358:
4352:
4344:
4340:
4318:
4315:
4311:
4307:
4304:
4300:
4297:
4274:
4269:
4264:
4254:
4250:
4246:
4243:
4237:
4232:
4227:
4223:
4217:
4212:
4209:
4206:
4203:
4200:
4196:
4192:
4187:
4182:
4172:
4168:
4164:
4161:
4151:
4150:
4149:
4148:columns then
4135:
4115:
4095:
4069:
4065:
4062:
4057:
4053:
4027:
4022:
4018:
4012:
4007:
4004:
4001:
3998:
3995:
3991:
3987:
3982:
3977:
3961:
3957:
3951:
3947:
3941:
3937:
3931:
3926:
3923:
3920:
3917:
3914:
3910:
3900:
3895:
3890:
3880:
3876:
3872:
3869:
3859:
3858:
3857:
3854:
3840:
3820:
3813:th column of
3800:
3778:
3774:
3751:
3747:
3716:
3712:
3706:
3702:
3696:
3692:
3686:
3681:
3678:
3675:
3671:
3667:
3662:
3658:
3650:
3649:
3648:
3632:
3624:
3601:
3581:
3572:
3558:
3550:
3525:
3518:
3515:
3512:
3505:
3504:
3503:
3489:
3486:
3483:
3461:
3458:
3455:
3445:
3442:
3430:
3426:
3424:
3407:
3402:
3397:
3394:
3391:
3387:
3383:
3378:
3373:
3370:
3367:
3363:
3357:
3352:
3349:
3346:
3342:
3338:
3335:
3332:
3327:
3322:
3318:
3312:
3307:
3303:
3299:
3294:
3289:
3281:
3278:
3272:
3267:
3262:
3254:
3246:
3242:
3238:
3235:
3226:
3221:
3216:
3206:
3202:
3198:
3195:
3185:
3184:
3183:
3182:. Therefore,
3169:
3166:
3161:
3156:
3153:
3150:
3146:
3142:
3139:
3136:
3131:
3126:
3122:
3101:
3098:
3093:
3085:
3062:
3042:
3039:
3036:
3027:
3003:
2998:
2995:
2992:
2988:
2982:
2979:
2976:
2972:
2968:
2965:
2962:
2957:
2953:
2947:
2943:
2939:
2936:
2929:
2928:
2927:
2913:
2893:
2890:
2887:
2867:
2847:
2838:
2822:
2812:
2808:
2804:
2801:
2795:
2790:
2787:
2784:
2780:
2776:
2771:
2761:
2757:
2753:
2750:
2740:columns then
2727:
2707:
2687:
2661:
2657:
2654:
2649:
2645:
2619:
2616:
2613:
2609:
2605:
2600:
2584:
2580:
2574:
2570:
2564:
2560:
2554:
2547:
2544:
2541:
2536:
2533:
2529:
2519:
2514:
2498:
2494:
2488:
2484:
2478:
2474:
2466:
2459:
2456:
2453:
2449:
2445:
2435:
2431:
2425:
2421:
2415:
2411:
2403:
2396:
2393:
2390:
2386:
2376:
2371:
2361:
2357:
2353:
2350:
2340:
2339:
2338:
2335:
2321:
2301:
2294:th column of
2281:
2259:
2255:
2232:
2228:
2197:
2193:
2187:
2183:
2177:
2173:
2167:
2162:
2159:
2156:
2152:
2148:
2143:
2139:
2131:
2130:
2129:
2113:
2105:
2082:
2062:
2053:
2039:
2036:
2031:
2027:
2023:
2020:
2017:
2012:
2008:
2004:
1999:
1995:
1969:
1965:
1961:
1958:
1955:
1950:
1946:
1942:
1937:
1933:
1921:
1906:
1903:
1900:
1872:
1856:
1836:
1816:
1808:
1783:
1776:
1773:
1770:
1763:
1762:
1761:
1747:
1744:
1741:
1719:
1716:
1713:
1703:
1700:
1688:
1687:spectral norm
1684:
1682:
1666:
1662:
1658:
1653:
1650:
1647:
1643:
1620:
1613:
1610:
1583:
1576:
1571:
1567:
1563:
1560:
1557:
1552:
1547:
1544:
1541:
1537:
1531:
1515:
1512:
1506:
1503:
1495:
1492:
1483:
1480:
1471:
1468:
1460:
1445:
1438:
1435:
1428:
1425:
1415:
1414:
1413:
1412:is such that
1396:
1386:
1382:
1376:
1366:
1362:
1358:
1353:
1346:
1343:
1332:
1331:
1330:
1316:
1296:
1293:
1290:
1268:
1264:
1243:
1240:
1237:
1215:
1190:
1187:
1184:
1162:
1158:
1134:
1129:
1121:
1117:
1109:
1105:
1098:
1093:
1090:
1080:
1075:
1067:
1057:
1050:
1043:
1032:
1027:
1020:
1015:
1007:
1003:
995:
991:
984:
979:
976:
969:
968:
967:
953:
913:
890:
887:
884:
881:
878:
875:
872:
866:
863:
841:
837:
833:
830:
827:
822:
818:
797:
794:
791:
766:
762:
758:
755:
752:
747:
743:
736:
733:
730:
707:
684:
681:
678:
674:
669:
666:
663:
653:
644:
637:
634:
631:
624:
623:
622:
620:
616:
612:
608:
604:
600:
581:
578:
565:
562:
549:
546:
523:
520:
514:
511:
501:
498:
477:
476:
475:
473:
465:
460:
456:
453:
450:
446:
443:
440:
436:
433:
429:
425:
422:
419:
416:
413:
409:
405:
404:
400:
384:
381:
378:
362:
359:
336:
333:
317:
314:
308:
305:
295:
292:
271:
270:
254:
247:desired rank
246:
228:
218:
215:
196:
192:
181:
178:
170:
153:
150:
147:
130:
126:
115:
100:
99:
98:
92:
90:
88:
84:
80:
76:
72:
68:
63:
61:
57:
53:
49:
45:
41:
40:cost function
37:
33:
19:
9296:
9277:
9273:
9263:
9254:
9235:
9229:
9220:
9214:
9195:
9189:
9170:
9164:
9145:
9139:
9120:
9114:
9105:
9099:
9083:. FOCS '13.
9080:
9074:
9055:
9049:
9039:
9032:
9019:
9012:
8996:
8980:
8964:
8893:
8846:
8685:
8668:
8251:
8191:
7915:
7872:
7397:
7353:
7262:
7203:
7014:
6855:
6734:
6590:
6582:
6331:
6206:
5996:
5989:
5985:
5796:
5792:
5750:the matrix
5715:
5523:
5515:
5299:
5033:
4289:
4044:
3855:
3738:
3573:
3546:
3434:
3422:
3018:
2839:
2636:
2336:
2219:
2054:
1804:
1692:
1598:
1411:
1149:
966:as follows:
906:, partition
699:
602:
596:
469:
401:Applications
96:
64:
36:minimization
31:
29:
9280:: 157–172.
9198:. NeurIPS.
9173:. ICML'17.
9148:. NIPS'17.
5984:Entry-wise
5300:Therefore,
4883:since
3793:denote the
2906:columns of
2274:denote the
449:nonnegative
432:categorical
9343:Categories
9245:1504.06729
9205:1809.06986
9180:1705.06730
9155:1710.11253
9130:1611.00898
9108:. FOCS'06.
9026:. ICML'03.
8956:References
8747:subject to
8704:over
8513:= cost_fun
7130:subject to
7033:over
6977:subject to
6874:over
5748:vectorizes
5666:subject to
5577:over
4422:. Suppose
3019:such that
1987:such that
1871:orthogonal
542:subject to
492:over
329:subject to
286:over
93:Definition
9090:1211.1002
9065:1207.6365
8924:≤
8915:^
8876:≤
8867:^
8829:≤
8820:^
8797:≤
8781:^
8755:
8742:‖
8736:^
8727:−
8721:‖
8714:^
8411:lsqnonlin
8369:objective
8163:
8145:⊤
8134:⊗
8113:−
8095:⊗
8074:⊤
8063:⊗
8034:⊗
8015:−
7993:
7988:⊤
7409:= wlra_ap
7171:⊤
7144:^
7119:^
7110:−
7101:
7086:^
7077:−
7068:
7063:⊤
7043:^
6988:^
6966:^
6957:−
6948:
6933:^
6924:−
6915:
6910:⊤
6884:^
6832:^
6810:×
6804:−
6791:∈
6778:⟺
6770:≤
6761:^
6749:
6708:^
6689:×
6676:∈
6660:×
6647:∈
6634:⟺
6626:≤
6617:^
6605:
6479:×
6420:…
6362:…
6309:≥
6254:‖
6247:−
6241:‖
6189:ϵ
6163:⋅
6031:∑
6012:‖
6005:‖
5899:−
5846:∑
5695:≤
5686:^
5674:
5655:^
5646:−
5637:
5626:⊤
5615:^
5606:−
5597:
5587:^
5544:^
5535:−
5487:‖
5473:−
5467:‖
5439:σ
5412:∑
5408:≥
5385:−
5370:σ
5349:∑
5331:‖
5317:−
5311:‖
5261:σ
5257:≥
5241:−
5226:σ
5182:≥
5111:−
5043:σ
4998:−
4985:σ
4962:−
4950:≤
4936:−
4914:−
4867:−
4850:−
4835:σ
4831:≥
4810:−
4799:−
4788:−
4777:−
4762:σ
4758:≥
4737:−
4726:−
4706:σ
4688:−
4677:−
4657:σ
4626:σ
4599:σ
4569:≥
4390:σ
4363:σ
4359:≤
4341:σ
4261:‖
4247:−
4241:‖
4238:≤
4224:σ
4197:∑
4179:‖
4165:−
4159:‖
4074:⊤
4019:σ
3992:∑
3967:⊤
3938:σ
3911:∑
3887:‖
3873:−
3867:‖
3722:⊤
3693:σ
3672:∑
3629:‖
3625:⋅
3622:‖
3530:⊤
3522:Σ
3487:≤
3459:×
3446:∈
3388:σ
3384:≥
3364:σ
3343:γ
3336:⋯
3319:σ
3304:γ
3286:‖
3276:‖
3259:‖
3239:−
3230:‖
3227:≥
3213:‖
3199:−
3193:‖
3147:γ
3140:⋯
3123:γ
3090:‖
3083:‖
3032:⊤
2973:γ
2966:⋯
2944:γ
2819:‖
2805:−
2799:‖
2796:≤
2781:σ
2768:‖
2754:−
2748:‖
2666:⊤
2610:σ
2590:⊤
2561:σ
2530:∑
2504:⊤
2475:σ
2450:∑
2446:−
2441:⊤
2412:σ
2387:∑
2368:‖
2354:−
2348:‖
2203:⊤
2174:σ
2153:∑
2110:‖
2106:⋅
2103:‖
2037:≥
2028:σ
2024:≥
2021:⋯
2018:≥
2009:σ
2005:≥
1996:σ
1966:σ
1959:⋯
1947:σ
1934:σ
1904:×
1881:Σ
1788:⊤
1780:Σ
1745:≤
1717:×
1704:∈
1663:σ
1659:≠
1644:σ
1621:∗
1614:^
1568:σ
1561:⋯
1538:σ
1523:‖
1516:^
1507:−
1501:‖
1493:≤
1484:^
1472:
1452:‖
1446:∗
1439:^
1429:−
1423:‖
1392:⊤
1373:Σ
1354:∗
1347:^
1294:×
1241:×
1212:Σ
1188:×
1064:Σ
1040:Σ
1025:Σ
934:Σ
888:−
879:…
867:∈
838:σ
834:≥
831:…
828:≥
819:σ
795:×
763:σ
756:…
744:σ
737:
728:Σ
682:≥
667:×
654:∈
649:⊤
641:Σ
619:L. Mirsky
611:C. Eckart
579:≤
566:^
550:
531:‖
524:^
515:−
509:‖
502:^
474:, i.e.,
437:Distance
379:≤
363:^
337:
324:‖
318:^
309:−
303:‖
296:^
232:‖
229:⋅
226:‖
182:∈
151:×
138:→
9238:. STOC.
8943:See also
8698:minimize
8510:function
8426:cost_fun
8384:cost_fun
8315:optimset
8279:optimset
8260:function
7406:function
7235:of size
7027:minimize
6868:minimize
5571:minimize
5145:″
5101:′
4943:″
4921:′
4817:″
4795:′
4744:″
4722:″
4695:′
4673:′
4642:″
4615:′
4539:″
4514:′
4469:″
4439:′
4406:″
4379:′
4319:″
4308:′
3973:‖
3906:‖
3075:so that
2926:, i.e.,
2596:‖
2525:‖
2510:‖
2382:‖
1920:diagonal
720:, where
615:G. Young
486:minimize
280:minimize
9223:. COLT.
8518:p, d, w
8462:reshape
8327:maxiter
8309:options
7701:reshape
7581:reshape
7485:maxiter
7231:is the
5089:, when
3547:is the
1805:is the
784:is the
406:Linear
8291:solver
8253:Matlab
7863:endfor
7399:Matlab
7204:where
6272:. For
6105:. For
5716:where
5034:Since
4088:where
3739:where
2840:Since
2680:where
2220:where
1893:is an
1256:, and
1150:where
946:, and
97:Given
85:, and
9305:(PDF)
9240:arXiv
9200:arXiv
9175:arXiv
9150:arXiv
9125:arXiv
9085:arXiv
9060:arXiv
9024:(PDF)
8631:'
8601:'
8577:'
7854:break
7785:'
7677:'
7653:'
7623:'
7557:'
7533:'
4332:then
4128:have
2720:have
244:, and
8752:rank
8616:(:);
8541:size
8529:kron
8492:size
8474:size
8417:prob
8363:prob
8345:prob
8303:prob
8285:prob
8273:prob
7845:<
7800:(:);
7692:(:);
7614:kron
7572:(:);
7497:kron
7440:size
7422:size
7375:(or
7323:and
7015:and
6746:rank
6735:and
6602:rank
6390:and
6332:Let
6298:and
6207:For
5997:Let
5671:rank
5133:and
4527:and
4452:and
4108:and
3833:and
3766:and
3435:Let
2860:has
2700:and
2314:and
2247:and
1869:are
1849:and
1693:Let
1469:rank
734:diag
613:and
547:rank
334:rank
217:norm
58:and
50:and
44:rank
9318:doi
9282:doi
9278:366
9002:doi
8986:doi
8970:doi
8649:(:)
8628:(:)
8556:)),
8535:eye
8507:));
8339:tol
8282:();
8160:vec
7984:vec
7893:or
7860:end
7848:tol
7806:abs
7782:(:)
7638:));
7629:eye
7503:eye
7470:for
7464:inf
7283:or
7158:and
7098:vec
7059:vec
6945:vec
6906:vec
5725:vec
5634:vec
5594:vec
3551:of
1809:of
1465:min
1283:is
1230:is
1177:is
1086:and
9345::
9276:.
9272:.
8678:.
8664:);
8661:vl
8655:bp
8598:bp
8589:bp
8574:bp
8565:vl
8562:);
8523:bp
8489:),
8468:vl
8450:dh
8447:);
8420:);
8405:);
8375:@(
8351:x0
8342:);
7842:))
7803:if
7797:dd
7779:dd
7758:dh
7746:dd
7728:dh
7722:);
7707:vp
7674:bl
7665:bl
7650:bl
7641:vp
7608:bl
7602:);
7587:vl
7554:bp
7545:bp
7530:bp
7521:vl
7518:);
7512:),
7491:bp
7455:);
7431:);
7255:.
5980:.
3571:.
2837:.
2149::=
2052:.
1681:.
1203:,
1094:=:
1028:=:
980:=:
926:,
731:=:
617:.
89:.
81:,
77:,
73:,
69:,
62:.
9320::
9307:.
9290:.
9284::
9248:.
9242::
9208:.
9202::
9183:.
9177::
9158:.
9152::
9133:.
9127::
9093:.
9087::
9068:.
9062::
9004::
8988::
8972::
8927:0
8921:)
8912:p
8906:(
8903:g
8879:0
8873:)
8864:p
8858:(
8855:g
8832:0
8826:)
8817:p
8811:(
8808:g
8800:r
8792:)
8787:)
8778:p
8772:(
8767:S
8760:(
8733:p
8724:p
8711:p
8658:*
8652:-
8646:d
8643:(
8640:*
8637:w
8634:*
8625:d
8622:=
8619:f
8613:d
8610:*
8607:w
8604:*
8595:\
8592:)
8586:*
8583:w
8580:*
8571:(
8568:=
8559:p
8553:2
8550:,
8547:d
8544:(
8538:(
8532:(
8526:=
8520:)
8516:(
8504:2
8501:,
8498:d
8495:(
8486:2
8483:,
8480:p
8477:(
8471:,
8465:(
8459:*
8456:p
8453:=
8444:w
8441:,
8438:d
8435:,
8432:p
8429:(
8423:=
8414:(
8408:=
8402:w
8399:,
8396:d
8393:,
8390:p
8387:(
8381:)
8378:p
8372:=
8366:.
8360:;
8357:p
8354:=
8348:.
8336:,
8330:,
8324:,
8318:(
8312:=
8306:.
8300:;
8294:=
8288:.
8276:=
8270:)
8266:(
8233:P
8213:)
8210:P
8207:(
8204:f
8177:.
8172:)
8169:D
8166:(
8155:)
8150:W
8141:)
8137:P
8129:n
8125:I
8121:(
8116:1
8107:)
8101:)
8098:P
8090:n
8086:I
8082:(
8079:W
8070:)
8066:P
8058:n
8054:I
8050:(
8045:(
8040:)
8037:P
8029:n
8025:I
8021:(
8018:W
8012:W
8007:(
8002:)
7999:D
7996:(
7978:=
7975:)
7972:P
7969:(
7966:f
7944:P
7924:L
7901:L
7881:P
7857:,
7851:,
7839:i
7836:(
7833:f
7830:-
7827:)
7824:1
7821:-
7818:i
7815:(
7812:f
7809:(
7794:*
7791:w
7788:*
7776:=
7773:)
7770:i
7767:(
7764:f
7761:;
7755:-
7752:d
7749:=
7743:;
7740:l
7737:*
7734:p
7731:=
7719:r
7716:,
7713:m
7710:,
7704:(
7698:=
7695:p
7689:d
7686:*
7683:w
7680:*
7671:\
7668:)
7662:*
7659:w
7656:*
7647:(
7644:=
7635:m
7632:(
7626:,
7620:l
7617:(
7611:=
7599:n
7596:,
7593:r
7590:,
7584:(
7578:=
7575:l
7569:d
7566:*
7563:w
7560:*
7551:\
7548:)
7542:*
7539:w
7536:*
7527:(
7524:=
7515:p
7509:n
7506:(
7500:(
7494:=
7482::
7479:2
7476:=
7473:i
7467:;
7461:=
7458:f
7452:2
7449:,
7446:p
7443:(
7437:=
7434:r
7428:d
7425:(
7419:=
7416:)
7412:(
7383:L
7363:P
7331:L
7311:P
7291:L
7271:P
7243:r
7217:r
7213:I
7189:,
7184:r
7180:I
7176:=
7167:R
7163:R
7153:0
7150:=
7141:D
7135:R
7125:)
7116:D
7107:D
7104:(
7095:W
7092:)
7083:D
7074:D
7071:(
7054:R
7040:D
7000:L
6997:P
6994:=
6985:D
6972:)
6963:D
6954:D
6951:(
6942:W
6939:)
6930:D
6921:D
6918:(
6901:L
6893:P
6890:,
6881:D
6841:0
6838:=
6829:D
6823:R
6813:m
6807:r
6801:m
6796:R
6788:R
6773:r
6767:)
6758:D
6752:(
6720:L
6717:P
6714:=
6705:D
6692:n
6686:r
6681:R
6673:L
6663:r
6657:m
6652:R
6644:P
6629:r
6623:)
6614:D
6608:(
6559:)
6554:i
6550:q
6546:,
6541:i
6537:p
6533:(
6530:t
6527:s
6524:i
6521:d
6518:=
6513:j
6510:,
6507:i
6503:A
6482:n
6476:m
6456:A
6436:}
6431:n
6427:q
6423:,
6417:,
6412:1
6408:q
6404:{
6401:=
6398:Q
6378:}
6373:m
6369:p
6365:,
6359:,
6354:1
6350:p
6346:{
6343:=
6340:P
6312:1
6306:p
6286:0
6283:=
6280:p
6258:1
6250:A
6244:B
6221:1
6218:=
6215:p
6192:)
6185:/
6181:k
6178:(
6175:y
6172:l
6169:o
6166:p
6160:n
6157:+
6154:)
6151:A
6148:(
6145:z
6142:n
6139:n
6119:2
6116:=
6113:p
6091:p
6087:/
6083:1
6078:)
6073:|
6067:p
6062:j
6059:,
6056:i
6052:A
6047:|
6041:j
6038:,
6035:i
6026:(
6021:=
6016:p
6008:A
5990:p
5986:L
5968:r
5948:B
5926:2
5922:)
5918:)
5913:j
5910:,
5907:i
5903:B
5894:j
5891:,
5888:i
5884:A
5880:(
5875:j
5872:,
5869:i
5865:W
5861:(
5856:j
5853:,
5850:i
5825:A
5805:W
5778:W
5758:A
5735:)
5732:A
5729:(
5701:,
5698:r
5692:)
5683:D
5677:(
5661:)
5652:D
5643:D
5640:(
5631:W
5622:)
5612:D
5603:D
5600:(
5584:D
5541:D
5532:D
5501:,
5496:2
5491:F
5481:k
5477:A
5470:A
5464:=
5459:2
5455:)
5451:A
5448:(
5443:i
5433:n
5428:1
5425:+
5422:k
5419:=
5416:i
5403:2
5399:)
5393:k
5389:B
5382:A
5379:(
5374:i
5364:n
5359:1
5356:=
5353:i
5345:=
5340:2
5335:F
5325:k
5321:B
5314:A
5285:.
5282:)
5279:A
5276:(
5271:i
5268:+
5265:k
5254:)
5249:k
5245:B
5238:A
5235:(
5230:i
5203:1
5200:+
5197:k
5194:=
5191:j
5188:,
5185:1
5179:i
5157:k
5153:B
5149:=
5142:A
5119:k
5115:B
5108:A
5105:=
5098:A
5077:0
5074:=
5071:)
5066:k
5062:B
5058:(
5053:1
5050:+
5047:k
5015:.
5012:)
5009:A
5006:(
5001:1
4995:j
4992:+
4989:i
4981:=
4971:)
4968:)
4965:2
4959:j
4956:+
4953:i
4947:)
4939:1
4933:j
4929:A
4925:+
4917:1
4911:i
4907:A
4903:(
4898:k
4895:n
4892:a
4889:r
4879:(
4875:)
4870:2
4864:j
4861:+
4858:i
4854:A
4847:A
4844:(
4839:1
4821:)
4813:1
4807:j
4803:A
4791:1
4785:i
4781:A
4774:A
4771:(
4766:1
4748:)
4740:1
4734:j
4730:A
4719:A
4715:(
4710:1
4702:+
4699:)
4691:1
4685:i
4681:A
4670:A
4666:(
4661:1
4653:=
4646:)
4639:A
4635:(
4630:j
4622:+
4619:)
4612:A
4608:(
4603:i
4572:1
4566:j
4563:,
4560:i
4536:A
4511:A
4490:k
4465:k
4461:A
4435:k
4431:A
4410:)
4403:A
4399:(
4394:1
4386:+
4383:)
4376:A
4372:(
4367:1
4356:)
4353:A
4350:(
4345:1
4316:A
4312:+
4305:A
4301:=
4298:A
4275:.
4270:2
4265:F
4255:k
4251:B
4244:A
4233:2
4228:i
4218:n
4213:1
4210:+
4207:k
4204:=
4201:i
4193:=
4188:2
4183:F
4173:k
4169:A
4162:A
4136:k
4116:Y
4096:X
4070:Y
4066:X
4063:=
4058:k
4054:B
4028:2
4023:i
4013:n
4008:1
4005:+
4002:k
3999:=
3996:i
3988:=
3983:2
3978:F
3962:i
3958:v
3952:i
3948:u
3942:i
3932:n
3927:1
3924:+
3921:k
3918:=
3915:i
3901:=
3896:2
3891:F
3881:k
3877:A
3870:A
3841:V
3821:U
3801:i
3779:i
3775:v
3752:i
3748:u
3717:i
3713:v
3707:i
3703:u
3697:i
3687:k
3682:1
3679:=
3676:i
3668:=
3663:k
3659:A
3633:F
3602:A
3582:k
3559:A
3526:V
3519:U
3516:=
3513:A
3490:n
3484:m
3462:n
3456:m
3451:R
3443:A
3431:)
3408:.
3403:2
3398:1
3395:+
3392:k
3379:2
3374:1
3371:+
3368:k
3358:2
3353:1
3350:+
3347:k
3339:+
3333:+
3328:2
3323:1
3313:2
3308:1
3300:=
3295:2
3290:2
3282:w
3279:A
3273:=
3268:2
3263:2
3255:w
3252:)
3247:k
3243:B
3236:A
3233:(
3222:2
3217:2
3207:k
3203:B
3196:A
3170:1
3167:=
3162:2
3157:1
3154:+
3151:k
3143:+
3137:+
3132:2
3127:1
3102:1
3099:=
3094:2
3086:w
3063:w
3043:0
3040:=
3037:w
3028:Y
3004:,
2999:1
2996:+
2993:k
2989:v
2983:1
2980:+
2977:k
2969:+
2963:+
2958:1
2954:v
2948:1
2940:=
2937:w
2914:V
2894:1
2891:+
2888:k
2868:k
2848:Y
2823:2
2813:k
2809:B
2802:A
2791:1
2788:+
2785:k
2777:=
2772:2
2762:k
2758:A
2751:A
2728:k
2708:Y
2688:X
2662:Y
2658:X
2655:=
2650:k
2646:B
2620:1
2617:+
2614:k
2606:=
2601:2
2585:i
2581:v
2575:i
2571:u
2565:i
2555:n
2548:1
2545:+
2542:k
2537:=
2534:i
2520:=
2515:2
2499:i
2495:v
2489:i
2485:u
2479:i
2467:k
2460:1
2457:=
2454:i
2436:i
2432:v
2426:i
2422:u
2416:i
2404:n
2397:1
2394:=
2391:i
2377:=
2372:2
2362:k
2358:A
2351:A
2322:V
2302:U
2282:i
2260:i
2256:v
2233:i
2229:u
2198:i
2194:v
2188:i
2184:u
2178:i
2168:k
2163:1
2160:=
2157:i
2144:k
2140:A
2114:2
2083:A
2063:k
2040:0
2032:m
2013:2
2000:1
1975:)
1970:m
1962:,
1956:,
1951:2
1943:,
1938:1
1930:(
1907:n
1901:m
1857:V
1837:U
1817:A
1784:V
1777:U
1774:=
1771:A
1748:n
1742:m
1720:n
1714:m
1709:R
1701:A
1689:)
1667:r
1654:1
1651:+
1648:r
1611:D
1584:.
1577:2
1572:m
1564:+
1558:+
1553:2
1548:1
1545:+
1542:r
1532:=
1527:F
1513:D
1504:D
1496:r
1490:)
1481:D
1475:(
1461:=
1456:F
1436:D
1426:D
1397:,
1387:1
1383:V
1377:1
1367:1
1363:U
1359:=
1344:D
1317:r
1297:n
1291:r
1269:1
1265:V
1244:r
1238:r
1216:1
1191:r
1185:m
1163:1
1159:U
1135:,
1130:]
1122:2
1118:V
1110:1
1106:V
1099:[
1091:V
1081:,
1076:]
1068:2
1058:0
1051:0
1044:1
1033:[
1021:,
1016:]
1008:2
1004:U
996:1
992:U
985:[
977:U
954:V
914:U
894:}
891:1
885:m
882:,
876:,
873:1
870:{
864:r
842:m
823:1
798:m
792:m
772:)
767:m
759:,
753:,
748:1
740:(
708:D
685:n
679:m
675:,
670:n
664:m
659:R
645:V
638:U
635:=
632:D
582:r
574:)
563:D
555:(
535:F
521:D
512:D
499:D
461:.
451:.
434:.
414:.
385:.
382:r
374:)
369:)
360:p
354:(
349:S
342:(
315:p
306:p
293:p
267:,
255:r
213:,
197:p
193:n
187:R
179:p
168:,
154:n
148:m
143:R
131:p
127:n
121:R
116::
111:S
20:)
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.