1396:
692:
1391:{\displaystyle {\begin{aligned}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{+}&={\begin{bmatrix}\mathbf {P} _{B}^{\perp }\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{-1}\\\mathbf {P} _{A}^{\perp }\mathbf {B} \left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{-1}\end{bmatrix}}={\begin{bmatrix}\left(\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{+}\\\left(\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{+}\end{bmatrix}},\\{\begin{bmatrix}\mathbf {A} ^{\textsf {T}}\\\mathbf {B} ^{\textsf {T}}\end{bmatrix}}^{+}&={\begin{bmatrix}\mathbf {P} _{B}^{\perp }\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{-1},\quad \mathbf {P} _{A}^{\perp }\mathbf {B} \left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{-1}\end{bmatrix}}={\begin{bmatrix}\left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\right)^{+}&\left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\right)^{+}\end{bmatrix}},\end{aligned}}}
662:
293:
657:{\displaystyle {\begin{aligned}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{+}&=\left({\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{\textsf {T}}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}\right)^{-1}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{\textsf {T}},\\{\begin{bmatrix}\mathbf {A} ^{\textsf {T}}\\\mathbf {B} ^{\textsf {T}}\end{bmatrix}}^{+}&={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}\left({\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{\textsf {T}}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}\right)^{-1}.\end{aligned}}}
3087:
2806:
1623:
3424:
1920:
3082:{\displaystyle \mathbf {x} ={\begin{bmatrix}\left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\right)^{+}&\left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\right)^{+}\end{bmatrix}}{\begin{bmatrix}\mathbf {e} \\\mathbf {f} \end{bmatrix}}=\left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\right)^{+}\,\mathbf {e} +\left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\right)^{+}\,\mathbf {f} .}
2675:
2326:
1413:
22:
3207:
1709:
2142:
2476:
2514:
2153:
278:
1618:{\displaystyle {\begin{aligned}\mathbf {P} _{A}^{\perp }&=\mathbf {I} -\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}},\\\mathbf {P} _{B}^{\perp }&=\mathbf {I} -\mathbf {B} \left(\mathbf {B} ^{\textsf {T}}\mathbf {B} \right)^{-1}\mathbf {B} ^{\textsf {T}}.\end{aligned}}}
3199:
2795:
3419:{\displaystyle \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1},\quad \left(\mathbf {B} ^{\textsf {T}}\mathbf {B} \right)^{-1},\quad \left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{-1},\quad \left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{-1}.}
1915:{\displaystyle {\begin{bmatrix}\mathbf {A} &\mathbf {A} \end{bmatrix}}^{+}={\frac {1}{2}}{\begin{bmatrix}\mathbf {A} ^{+}\\\mathbf {A} ^{+}\end{bmatrix}}\neq {\begin{bmatrix}\left(\mathbf {P} _{A}^{\perp }\mathbf {A} \right)^{+}\\\left(\mathbf {P} _{A}^{\perp }\mathbf {A} \right)^{+}\end{bmatrix}}=0}
1930:
Given the same matrices as above, we consider the following least squares problems, which appear as multiple objective optimizations or constrained problems in signal processing. Eventually, we can implement a parallel algorithm for least squares based on the following results.
2014:
2670:{\displaystyle {\begin{bmatrix}\mathbf {A} ^{\textsf {T}}\\\mathbf {B} ^{\textsf {T}}\end{bmatrix}}\mathbf {x} ={\begin{bmatrix}\mathbf {e} \\\mathbf {f} \end{bmatrix}},\quad \mathbf {e} \in \mathbb {R} ^{n\times 1},\quad \mathbf {f} \in \mathbb {R} ^{p\times 1}.}
2337:
2321:{\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {A} ,&\mathbf {B} \end{bmatrix}}^{+}\,\mathbf {d} ={\begin{bmatrix}\left(\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{+}\\\left(\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{+}\end{bmatrix}}\mathbf {d} .}
156:
3100:
2686:
3708:
3635:
2006:
1673:
3562:
3506:
2137:{\displaystyle {\begin{bmatrix}\mathbf {A} ,&\mathbf {B} \end{bmatrix}}{\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\\\end{bmatrix}}=\mathbf {d} ,\quad \mathbf {d} \in \mathbb {R} ^{m\times 1}.}
2471:{\displaystyle \mathbf {x} _{1}=\left(\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{+}\,\mathbf {d} ,\quad \mathbf {x} _{2}=\left(\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{+}\,\mathbf {d} .}
1418:
697:
298:
273:{\displaystyle {\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}},\quad \mathbf {A} \in \mathbb {R} ^{m\times n},\quad \mathbf {B} \in \mathbb {R} ^{m\times p},\quad m\geq n+p.}
3194:{\displaystyle \mathbf {\left({\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}^{\textsf {T}}{\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}\right)} ^{-1}}
1701:
2790:{\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {A} ^{\textsf {T}}\\\mathbf {B} ^{\textsf {T}}\end{bmatrix}}^{+}\,{\begin{bmatrix}\mathbf {e} \\\mathbf {f} \end{bmatrix}}.}
3830:
2506:
3640:
3567:
1942:
3951:
39:
3976:
1633:
3971:
3823:
3511:
3455:
3781:
86:
58:
3997:
3930:
3816:
105:
65:
3961:
3888:
43:
72:
3920:
3430:
54:
3874:
3742:
and O.M. Baksalary (2007). "Particular formulae for the Moore–Penrose inverse of a columnwise partitioned matrix".
284:
32:
3925:
3839:
3790:
4002:
3438:
3884:
1678:
1402:
79:
3794:
3879:
686:-square matrix inversions and to introduce parallelism, treating the blocks separately, one derives
3858:
3449:
2489:
3799:
3703:{\displaystyle \left(\mathbf {B} ^{\textsf {T}}\mathbf {P} _{A}^{\perp }\mathbf {B} \right)^{-1}}
3630:{\displaystyle \left(\mathbf {A} ^{\textsf {T}}\mathbf {P} _{B}^{\perp }\mathbf {A} \right)^{-1}}
131:
2001:{\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\\\end{bmatrix}}}
3719:
3442:
135:
3894:
3751:
3434:
3441:
to replace the matrix inversions with numerical routines. In a large system, we may employ
3935:
3739:
134:. This is useful for decomposing or approximating many algorithms updating parameters in
3772:
3853:
3991:
3899:
139:
127:
119:
21:
3776:
3755:
3915:
3808:
1668:{\displaystyle {\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}}
675:)-square matrix inversion and does not take advantage of the block form.
3557:{\displaystyle \left(\mathbf {B} ^{\textsf {T}}\mathbf {B} \right)^{-1}}
3501:{\displaystyle \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}}
3966:
3956:
3785:
3812:
3803:
15:
3800:
Lecture 8: Least-norm solutions of undetermined equations
1935:
Column-wise partitioning in over-determined least squares
2482:
Row-wise partitioning in under-determined least squares
3153:
3117:
2937:
2823:
2759:
2704:
2579:
2523:
2217:
2171:
2054:
2023:
1959:
1813:
1766:
1719:
1642:
1272:
1093:
1032:
926:
747:
706:
610:
574:
539:
478:
434:
391:
355:
307:
165:
3643:
3570:
3514:
3458:
3210:
3103:
2809:
2689:
2517:
2492:
2340:
2156:
2017:
1945:
1712:
1681:
1636:
1416:
695:
296:
159:
3944:
3908:
3867:
3846:
46:. Unsourced material may be challenged and removed.
3702:
3629:
3556:
3500:
3418:
3193:
3081:
2789:
2669:
2500:
2470:
2320:
2136:
2000:
1914:
1695:
1667:
1617:
1390:
656:
272:
1630:The above formulas are not necessarily valid if
667:This computation of the pseudoinverse requires (
3201:, we need to calculate directly or indirectly
2800:Using the block matrix pseudoinverse, we have
2147:Using the block matrix pseudoinverse, we have
3824:
283:If the above matrix is full column rank, the
8:
3720:Invertible matrix § Blockwise inversion
150:Consider a column-wise partitioned matrix:
3831:
3817:
3809:
2331:Therefore, we have a decomposed solution:
1675:does not have full rank – for example, if
3691:
3681:
3675:
3670:
3665:
3658:
3657:
3656:
3651:
3642:
3618:
3608:
3602:
3597:
3592:
3585:
3584:
3583:
3578:
3569:
3545:
3535:
3529:
3528:
3527:
3522:
3513:
3489:
3479:
3473:
3472:
3471:
3466:
3457:
3404:
3394:
3388:
3383:
3378:
3371:
3370:
3369:
3364:
3344:
3334:
3328:
3323:
3318:
3311:
3310:
3309:
3304:
3284:
3274:
3268:
3267:
3266:
3261:
3241:
3231:
3225:
3224:
3223:
3218:
3209:
3182:
3163:
3156:
3148:
3142:
3141:
3140:
3127:
3120:
3112:
3105:
3102:
3071:
3070:
3064:
3053:
3048:
3043:
3036:
3035:
3034:
3029:
3014:
3013:
3007:
2996:
2991:
2986:
2979:
2978:
2977:
2972:
2949:
2940:
2932:
2918:
2907:
2902:
2897:
2890:
2889:
2888:
2883:
2868:
2857:
2852:
2847:
2840:
2839:
2838:
2833:
2818:
2810:
2808:
2771:
2762:
2754:
2753:
2747:
2733:
2732:
2731:
2726:
2715:
2714:
2713:
2708:
2699:
2690:
2688:
2652:
2648:
2647:
2638:
2622:
2618:
2617:
2608:
2591:
2582:
2574:
2566:
2552:
2551:
2550:
2545:
2534:
2533:
2532:
2527:
2518:
2516:
2493:
2491:
2460:
2459:
2453:
2443:
2437:
2432:
2427:
2411:
2406:
2396:
2395:
2389:
2379:
2373:
2368:
2363:
2347:
2342:
2339:
2310:
2296:
2286:
2280:
2275:
2270:
2253:
2243:
2237:
2232:
2227:
2212:
2204:
2203:
2197:
2184:
2174:
2166:
2157:
2155:
2119:
2115:
2114:
2105:
2096:
2079:
2074:
2063:
2058:
2049:
2036:
2026:
2018:
2016:
1984:
1979:
1968:
1963:
1954:
1946:
1944:
1892:
1882:
1876:
1871:
1866:
1849:
1839:
1833:
1828:
1823:
1808:
1791:
1786:
1775:
1770:
1761:
1751:
1742:
1729:
1722:
1714:
1711:
1682:
1680:
1652:
1645:
1637:
1635:
1602:
1601:
1600:
1595:
1585:
1575:
1569:
1568:
1567:
1562:
1550:
1542:
1529:
1524:
1519:
1505:
1504:
1503:
1498:
1488:
1478:
1472:
1471:
1470:
1465:
1453:
1445:
1432:
1427:
1422:
1417:
1415:
1367:
1356:
1351:
1346:
1339:
1338:
1337:
1332:
1317:
1306:
1301:
1296:
1289:
1288:
1287:
1282:
1267:
1247:
1237:
1231:
1226:
1221:
1214:
1213:
1212:
1207:
1195:
1189:
1184:
1179:
1165:
1155:
1149:
1144:
1139:
1132:
1131:
1130:
1125:
1113:
1107:
1102:
1097:
1088:
1075:
1061:
1060:
1059:
1054:
1043:
1042:
1041:
1036:
1027:
1005:
995:
989:
984:
979:
962:
952:
946:
941:
936:
921:
901:
891:
885:
880:
875:
868:
867:
866:
861:
849:
843:
838:
833:
819:
809:
803:
798:
793:
786:
785:
784:
779:
767:
761:
756:
751:
742:
729:
716:
709:
701:
696:
694:
638:
620:
613:
605:
599:
598:
597:
584:
577:
569:
549:
542:
534:
521:
507:
506:
505:
500:
489:
488:
487:
482:
473:
459:
458:
457:
444:
437:
429:
419:
401:
394:
386:
380:
379:
378:
365:
358:
350:
330:
317:
310:
302:
297:
295:
236:
232:
231:
222:
206:
202:
201:
192:
175:
168:
160:
158:
106:Learn how and when to remove this message
3564:in parallel. Then, we finish to compute
3429:In a dense and small system, we can use
3962:Basic Linear Algebra Subprograms (BLAS)
3731:
2680:The minimum-norm solution is given by
1926:Application to least squares problems
287:matrices of it and its transpose are
7:
44:adding citations to reliable sources
2508:solves an under-determined system:
2008:solves an over-determined system:
1696:{\displaystyle \mathbf {A} \neq 0}
14:
3445:such as Krylov subspace methods.
678:To reduce computational costs to
3682:
3666:
3652:
3609:
3593:
3579:
3536:
3523:
3480:
3467:
3395:
3379:
3365:
3335:
3319:
3305:
3275:
3262:
3232:
3219:
3164:
3157:
3128:
3121:
3072:
3044:
3030:
3015:
2987:
2973:
2950:
2941:
2898:
2884:
2848:
2834:
2811:
2772:
2763:
2727:
2709:
2691:
2639:
2609:
2592:
2583:
2567:
2546:
2528:
2494:
2461:
2444:
2428:
2407:
2397:
2380:
2364:
2343:
2311:
2287:
2271:
2244:
2228:
2205:
2185:
2175:
2158:
2106:
2097:
2075:
2059:
2037:
2027:
1980:
1964:
1947:
1883:
1867:
1840:
1824:
1787:
1771:
1730:
1723:
1683:
1653:
1646:
1596:
1576:
1563:
1551:
1543:
1520:
1499:
1479:
1466:
1454:
1446:
1423:
1347:
1333:
1297:
1283:
1238:
1222:
1208:
1196:
1180:
1156:
1140:
1126:
1114:
1098:
1055:
1037:
996:
980:
953:
937:
892:
876:
862:
850:
834:
810:
794:
780:
768:
752:
717:
710:
621:
614:
585:
578:
550:
543:
501:
483:
445:
438:
402:
395:
366:
359:
318:
311:
223:
193:
176:
169:
20:
3356:
3296:
3253:
2637:
2607:
2404:
2104:
1177:
251:
221:
191:
31:needs additional citations for
1:
3431:singular value decomposition
3093:Comments on matrix inversion
2501:{\displaystyle \mathbf {x} }
55:"Block matrix pseudoinverse"
3773:The Matrix Reference Manual
4019:
3875:System of linear equations
124:block matrix pseudoinverse
3926:Cache-oblivious algorithm
3756:10.1016/j.laa.2006.03.031
138:, which are based on the
3998:Numerical linear algebra
3977:General purpose software
3840:Numerical linear algebra
1405:matrices are defined by
3782:Linear Algebra Glossary
3704:
3631:
3558:
3502:
3439:Cholesky decomposition
3420:
3195:
3083:
2791:
2671:
2502:
2472:
2322:
2138:
2002:
1916:
1697:
1669:
1619:
1392:
658:
274:
3972:Specialized libraries
3885:Matrix multiplication
3880:Matrix decompositions
3795:Kaare Brandt Petersen
3705:
3632:
3559:
3503:
3421:
3196:
3084:
2792:
2672:
2503:
2473:
2323:
2139:
2003:
1917:
1698:
1670:
1620:
1403:orthogonal projection
1393:
659:
285:Moore–Penrose inverse
275:
126:is a formula for the
3641:
3568:
3512:
3456:
3208:
3101:
2807:
2687:
2515:
2490:
2338:
2154:
2015:
1943:
1710:
1679:
1634:
1414:
693:
294:
157:
40:improve this article
3859:Numerical stability
3791:The Matrix Cookbook
3744:Linear Algebra Appl
3680:
3607:
3450:parallel algorithms
3393:
3333:
3058:
3001:
2912:
2862:
2486:Suppose a solution
2442:
2378:
2285:
2242:
1939:Suppose a solution
1881:
1838:
1534:
1437:
1361:
1311:
1236:
1194:
1154:
1112:
994:
951:
890:
848:
808:
766:
3710:also in parallel.
3700:
3664:
3627:
3591:
3554:
3498:
3416:
3377:
3317:
3191:
3170:
3134:
3079:
3042:
2985:
2956:
2926:
2896:
2846:
2787:
2778:
2741:
2667:
2598:
2560:
2498:
2468:
2426:
2362:
2318:
2304:
2269:
2226:
2191:
2134:
2087:
2043:
1998:
1992:
1912:
1900:
1865:
1822:
1799:
1736:
1693:
1665:
1659:
1615:
1613:
1518:
1421:
1388:
1386:
1375:
1345:
1295:
1258:
1220:
1178:
1138:
1096:
1069:
1013:
978:
935:
912:
874:
832:
792:
750:
723:
654:
652:
627:
591:
556:
515:
451:
408:
372:
324:
270:
182:
132:partitioned matrix
3985:
3984:
3660:
3587:
3531:
3475:
3452:, we can compute
3443:iterative methods
3373:
3313:
3270:
3227:
3144:
3038:
2981:
2892:
2842:
2735:
2717:
2554:
2536:
1759:
1604:
1571:
1507:
1474:
1341:
1291:
1216:
1134:
1063:
1045:
870:
788:
601:
509:
491:
461:
382:
136:signal processing
116:
115:
108:
90:
4010:
3895:Matrix splitting
3833:
3826:
3819:
3810:
3760:
3759:
3736:
3709:
3707:
3706:
3701:
3699:
3698:
3690:
3686:
3685:
3679:
3674:
3669:
3663:
3662:
3661:
3655:
3636:
3634:
3633:
3628:
3626:
3625:
3617:
3613:
3612:
3606:
3601:
3596:
3590:
3589:
3588:
3582:
3563:
3561:
3560:
3555:
3553:
3552:
3544:
3540:
3539:
3534:
3533:
3532:
3526:
3507:
3505:
3504:
3499:
3497:
3496:
3488:
3484:
3483:
3478:
3477:
3476:
3470:
3435:QR decomposition
3425:
3423:
3422:
3417:
3412:
3411:
3403:
3399:
3398:
3392:
3387:
3382:
3376:
3375:
3374:
3368:
3352:
3351:
3343:
3339:
3338:
3332:
3327:
3322:
3316:
3315:
3314:
3308:
3292:
3291:
3283:
3279:
3278:
3273:
3272:
3271:
3265:
3249:
3248:
3240:
3236:
3235:
3230:
3229:
3228:
3222:
3200:
3198:
3197:
3192:
3190:
3189:
3181:
3180:
3176:
3175:
3174:
3167:
3160:
3147:
3146:
3145:
3139:
3138:
3131:
3124:
3088:
3086:
3085:
3080:
3075:
3069:
3068:
3063:
3059:
3057:
3052:
3047:
3041:
3040:
3039:
3033:
3018:
3012:
3011:
3006:
3002:
3000:
2995:
2990:
2984:
2983:
2982:
2976:
2961:
2960:
2953:
2944:
2931:
2930:
2923:
2922:
2917:
2913:
2911:
2906:
2901:
2895:
2894:
2893:
2887:
2873:
2872:
2867:
2863:
2861:
2856:
2851:
2845:
2844:
2843:
2837:
2814:
2796:
2794:
2793:
2788:
2783:
2782:
2775:
2766:
2752:
2751:
2746:
2745:
2738:
2737:
2736:
2730:
2720:
2719:
2718:
2712:
2694:
2676:
2674:
2673:
2668:
2663:
2662:
2651:
2642:
2633:
2632:
2621:
2612:
2603:
2602:
2595:
2586:
2570:
2565:
2564:
2557:
2556:
2555:
2549:
2539:
2538:
2537:
2531:
2507:
2505:
2504:
2499:
2497:
2477:
2475:
2474:
2469:
2464:
2458:
2457:
2452:
2448:
2447:
2441:
2436:
2431:
2416:
2415:
2410:
2400:
2394:
2393:
2388:
2384:
2383:
2377:
2372:
2367:
2352:
2351:
2346:
2327:
2325:
2324:
2319:
2314:
2309:
2308:
2301:
2300:
2295:
2291:
2290:
2284:
2279:
2274:
2258:
2257:
2252:
2248:
2247:
2241:
2236:
2231:
2208:
2202:
2201:
2196:
2195:
2188:
2178:
2161:
2143:
2141:
2140:
2135:
2130:
2129:
2118:
2109:
2100:
2092:
2091:
2084:
2083:
2078:
2068:
2067:
2062:
2048:
2047:
2040:
2030:
2007:
2005:
2004:
1999:
1997:
1996:
1989:
1988:
1983:
1973:
1972:
1967:
1950:
1921:
1919:
1918:
1913:
1905:
1904:
1897:
1896:
1891:
1887:
1886:
1880:
1875:
1870:
1854:
1853:
1848:
1844:
1843:
1837:
1832:
1827:
1804:
1803:
1796:
1795:
1790:
1780:
1779:
1774:
1760:
1752:
1747:
1746:
1741:
1740:
1733:
1726:
1702:
1700:
1699:
1694:
1686:
1674:
1672:
1671:
1666:
1664:
1663:
1656:
1649:
1624:
1622:
1621:
1616:
1614:
1607:
1606:
1605:
1599:
1593:
1592:
1584:
1580:
1579:
1574:
1573:
1572:
1566:
1554:
1546:
1533:
1528:
1523:
1510:
1509:
1508:
1502:
1496:
1495:
1487:
1483:
1482:
1477:
1476:
1475:
1469:
1457:
1449:
1436:
1431:
1426:
1397:
1395:
1394:
1389:
1387:
1380:
1379:
1372:
1371:
1366:
1362:
1360:
1355:
1350:
1344:
1343:
1342:
1336:
1322:
1321:
1316:
1312:
1310:
1305:
1300:
1294:
1293:
1292:
1286:
1263:
1262:
1255:
1254:
1246:
1242:
1241:
1235:
1230:
1225:
1219:
1218:
1217:
1211:
1199:
1193:
1188:
1183:
1173:
1172:
1164:
1160:
1159:
1153:
1148:
1143:
1137:
1136:
1135:
1129:
1117:
1111:
1106:
1101:
1080:
1079:
1074:
1073:
1066:
1065:
1064:
1058:
1048:
1047:
1046:
1040:
1018:
1017:
1010:
1009:
1004:
1000:
999:
993:
988:
983:
967:
966:
961:
957:
956:
950:
945:
940:
917:
916:
909:
908:
900:
896:
895:
889:
884:
879:
873:
872:
871:
865:
853:
847:
842:
837:
827:
826:
818:
814:
813:
807:
802:
797:
791:
790:
789:
783:
771:
765:
760:
755:
734:
733:
728:
727:
720:
713:
663:
661:
660:
655:
653:
646:
645:
637:
633:
632:
631:
624:
617:
604:
603:
602:
596:
595:
588:
581:
561:
560:
553:
546:
526:
525:
520:
519:
512:
511:
510:
504:
494:
493:
492:
486:
464:
463:
462:
456:
455:
448:
441:
427:
426:
418:
414:
413:
412:
405:
398:
385:
384:
383:
377:
376:
369:
362:
335:
334:
329:
328:
321:
314:
279:
277:
276:
271:
247:
246:
235:
226:
217:
216:
205:
196:
187:
186:
179:
172:
111:
104:
100:
97:
91:
89:
48:
24:
16:
4018:
4017:
4013:
4012:
4011:
4009:
4008:
4007:
3988:
3987:
3986:
3981:
3940:
3936:Multiprocessing
3904:
3900:Sparse problems
3863:
3842:
3837:
3804:Stephen P. Boyd
3769:
3764:
3763:
3738:
3737:
3733:
3728:
3716:
3650:
3649:
3645:
3644:
3639:
3638:
3577:
3576:
3572:
3571:
3566:
3565:
3521:
3520:
3516:
3515:
3510:
3509:
3465:
3464:
3460:
3459:
3454:
3453:
3363:
3362:
3358:
3357:
3303:
3302:
3298:
3297:
3260:
3259:
3255:
3254:
3217:
3216:
3212:
3211:
3206:
3205:
3169:
3168:
3161:
3149:
3133:
3132:
3125:
3113:
3111:
3110:
3106:
3104:
3099:
3098:
3095:
3028:
3027:
3023:
3022:
2971:
2970:
2966:
2965:
2955:
2954:
2946:
2945:
2933:
2925:
2924:
2882:
2881:
2877:
2876:
2874:
2832:
2831:
2827:
2826:
2819:
2805:
2804:
2777:
2776:
2768:
2767:
2755:
2740:
2739:
2725:
2722:
2721:
2707:
2700:
2698:
2685:
2684:
2646:
2616:
2597:
2596:
2588:
2587:
2575:
2559:
2558:
2544:
2541:
2540:
2526:
2519:
2513:
2512:
2488:
2487:
2484:
2425:
2421:
2420:
2405:
2361:
2357:
2356:
2341:
2336:
2335:
2303:
2302:
2268:
2264:
2263:
2260:
2259:
2225:
2221:
2220:
2213:
2190:
2189:
2182:
2167:
2165:
2152:
2151:
2113:
2086:
2085:
2073:
2070:
2069:
2057:
2050:
2042:
2041:
2034:
2019:
2013:
2012:
1991:
1990:
1978:
1975:
1974:
1962:
1955:
1941:
1940:
1937:
1928:
1899:
1898:
1864:
1860:
1859:
1856:
1855:
1821:
1817:
1816:
1809:
1798:
1797:
1785:
1782:
1781:
1769:
1762:
1735:
1734:
1727:
1715:
1713:
1708:
1707:
1677:
1676:
1658:
1657:
1650:
1638:
1632:
1631:
1612:
1611:
1594:
1561:
1560:
1556:
1555:
1535:
1515:
1514:
1497:
1464:
1463:
1459:
1458:
1438:
1412:
1411:
1385:
1384:
1374:
1373:
1331:
1330:
1326:
1325:
1323:
1281:
1280:
1276:
1275:
1268:
1257:
1256:
1206:
1205:
1201:
1200:
1124:
1123:
1119:
1118:
1089:
1081:
1068:
1067:
1053:
1050:
1049:
1035:
1028:
1026:
1023:
1022:
1012:
1011:
977:
973:
972:
969:
968:
934:
930:
929:
922:
911:
910:
860:
859:
855:
854:
829:
828:
778:
777:
773:
772:
743:
735:
722:
721:
714:
702:
700:
691:
690:
651:
650:
626:
625:
618:
606:
590:
589:
582:
570:
568:
567:
563:
562:
555:
554:
547:
535:
527:
514:
513:
499:
496:
495:
481:
474:
472:
469:
468:
450:
449:
442:
430:
428:
407:
406:
399:
387:
371:
370:
363:
351:
349:
348:
344:
343:
336:
323:
322:
315:
303:
301:
292:
291:
230:
200:
181:
180:
173:
161:
155:
154:
148:
112:
101:
95:
92:
49:
47:
37:
25:
12:
11:
5:
4016:
4014:
4006:
4005:
4000:
3990:
3989:
3983:
3982:
3980:
3979:
3974:
3969:
3964:
3959:
3954:
3948:
3946:
3942:
3941:
3939:
3938:
3933:
3928:
3923:
3918:
3912:
3910:
3906:
3905:
3903:
3902:
3897:
3892:
3882:
3877:
3871:
3869:
3865:
3864:
3862:
3861:
3856:
3854:Floating point
3850:
3848:
3844:
3843:
3838:
3836:
3835:
3828:
3821:
3813:
3807:
3806:
3797:
3788:
3779:
3768:
3767:External links
3765:
3762:
3761:
3740:J.K. Baksalary
3730:
3729:
3727:
3724:
3723:
3722:
3715:
3712:
3697:
3694:
3689:
3684:
3678:
3673:
3668:
3654:
3648:
3624:
3621:
3616:
3611:
3605:
3600:
3595:
3581:
3575:
3551:
3548:
3543:
3538:
3525:
3519:
3495:
3492:
3487:
3482:
3469:
3463:
3427:
3426:
3415:
3410:
3407:
3402:
3397:
3391:
3386:
3381:
3367:
3361:
3355:
3350:
3347:
3342:
3337:
3331:
3326:
3321:
3307:
3301:
3295:
3290:
3287:
3282:
3277:
3264:
3258:
3252:
3247:
3244:
3239:
3234:
3221:
3215:
3188:
3185:
3179:
3173:
3166:
3162:
3159:
3155:
3154:
3152:
3137:
3130:
3126:
3123:
3119:
3118:
3116:
3109:
3094:
3091:
3090:
3089:
3078:
3074:
3067:
3062:
3056:
3051:
3046:
3032:
3026:
3021:
3017:
3010:
3005:
2999:
2994:
2989:
2975:
2969:
2964:
2959:
2952:
2948:
2947:
2943:
2939:
2938:
2936:
2929:
2921:
2916:
2910:
2905:
2900:
2886:
2880:
2875:
2871:
2866:
2860:
2855:
2850:
2836:
2830:
2825:
2824:
2822:
2817:
2813:
2798:
2797:
2786:
2781:
2774:
2770:
2769:
2765:
2761:
2760:
2758:
2750:
2744:
2729:
2724:
2723:
2711:
2706:
2705:
2703:
2697:
2693:
2678:
2677:
2666:
2661:
2658:
2655:
2650:
2645:
2641:
2636:
2631:
2628:
2625:
2620:
2615:
2611:
2606:
2601:
2594:
2590:
2589:
2585:
2581:
2580:
2578:
2573:
2569:
2563:
2548:
2543:
2542:
2530:
2525:
2524:
2522:
2496:
2483:
2480:
2479:
2478:
2467:
2463:
2456:
2451:
2446:
2440:
2435:
2430:
2424:
2419:
2414:
2409:
2403:
2399:
2392:
2387:
2382:
2376:
2371:
2366:
2360:
2355:
2350:
2345:
2329:
2328:
2317:
2313:
2307:
2299:
2294:
2289:
2283:
2278:
2273:
2267:
2262:
2261:
2256:
2251:
2246:
2240:
2235:
2230:
2224:
2219:
2218:
2216:
2211:
2207:
2200:
2194:
2187:
2183:
2181:
2177:
2173:
2172:
2170:
2164:
2160:
2145:
2144:
2133:
2128:
2125:
2122:
2117:
2112:
2108:
2103:
2099:
2095:
2090:
2082:
2077:
2072:
2071:
2066:
2061:
2056:
2055:
2053:
2046:
2039:
2035:
2033:
2029:
2025:
2024:
2022:
1995:
1987:
1982:
1977:
1976:
1971:
1966:
1961:
1960:
1958:
1953:
1949:
1936:
1933:
1927:
1924:
1923:
1922:
1911:
1908:
1903:
1895:
1890:
1885:
1879:
1874:
1869:
1863:
1858:
1857:
1852:
1847:
1842:
1836:
1831:
1826:
1820:
1815:
1814:
1812:
1807:
1802:
1794:
1789:
1784:
1783:
1778:
1773:
1768:
1767:
1765:
1758:
1755:
1750:
1745:
1739:
1732:
1728:
1725:
1721:
1720:
1718:
1692:
1689:
1685:
1662:
1655:
1651:
1648:
1644:
1643:
1641:
1628:
1627:
1626:
1625:
1610:
1598:
1591:
1588:
1583:
1578:
1565:
1559:
1553:
1549:
1545:
1541:
1538:
1536:
1532:
1527:
1522:
1517:
1516:
1513:
1501:
1494:
1491:
1486:
1481:
1468:
1462:
1456:
1452:
1448:
1444:
1441:
1439:
1435:
1430:
1425:
1420:
1419:
1399:
1398:
1383:
1378:
1370:
1365:
1359:
1354:
1349:
1335:
1329:
1324:
1320:
1315:
1309:
1304:
1299:
1285:
1279:
1274:
1273:
1271:
1266:
1261:
1253:
1250:
1245:
1240:
1234:
1229:
1224:
1210:
1204:
1198:
1192:
1187:
1182:
1176:
1171:
1168:
1163:
1158:
1152:
1147:
1142:
1128:
1122:
1116:
1110:
1105:
1100:
1095:
1094:
1092:
1087:
1084:
1082:
1078:
1072:
1057:
1052:
1051:
1039:
1034:
1033:
1031:
1025:
1024:
1021:
1016:
1008:
1003:
998:
992:
987:
982:
976:
971:
970:
965:
960:
955:
949:
944:
939:
933:
928:
927:
925:
920:
915:
907:
904:
899:
894:
888:
883:
878:
864:
858:
852:
846:
841:
836:
831:
830:
825:
822:
817:
812:
806:
801:
796:
782:
776:
770:
764:
759:
754:
749:
748:
746:
741:
738:
736:
732:
726:
719:
715:
712:
708:
707:
705:
699:
698:
665:
664:
649:
644:
641:
636:
630:
623:
619:
616:
612:
611:
609:
594:
587:
583:
580:
576:
575:
573:
566:
559:
552:
548:
545:
541:
540:
538:
533:
530:
528:
524:
518:
503:
498:
497:
485:
480:
479:
477:
471:
470:
467:
454:
447:
443:
440:
436:
435:
433:
425:
422:
417:
411:
404:
400:
397:
393:
392:
390:
375:
368:
364:
361:
357:
356:
354:
347:
342:
339:
337:
333:
327:
320:
316:
313:
309:
308:
306:
300:
299:
281:
280:
269:
266:
263:
260:
257:
254:
250:
245:
242:
239:
234:
229:
225:
220:
215:
212:
209:
204:
199:
195:
190:
185:
178:
174:
171:
167:
166:
164:
147:
144:
114:
113:
28:
26:
19:
13:
10:
9:
6:
4:
3:
2:
4015:
4004:
4003:Matrix theory
4001:
3999:
3996:
3995:
3993:
3978:
3975:
3973:
3970:
3968:
3965:
3963:
3960:
3958:
3955:
3953:
3950:
3949:
3947:
3943:
3937:
3934:
3932:
3929:
3927:
3924:
3922:
3919:
3917:
3914:
3913:
3911:
3907:
3901:
3898:
3896:
3893:
3890:
3886:
3883:
3881:
3878:
3876:
3873:
3872:
3870:
3866:
3860:
3857:
3855:
3852:
3851:
3849:
3845:
3841:
3834:
3829:
3827:
3822:
3820:
3815:
3814:
3811:
3805:
3801:
3798:
3796:
3792:
3789:
3787:
3786:John Burkardt
3783:
3780:
3778:
3774:
3771:
3770:
3766:
3757:
3753:
3749:
3745:
3741:
3735:
3732:
3725:
3721:
3718:
3717:
3713:
3711:
3695:
3692:
3687:
3676:
3671:
3646:
3622:
3619:
3614:
3603:
3598:
3573:
3549:
3546:
3541:
3517:
3493:
3490:
3485:
3461:
3451:
3446:
3444:
3440:
3436:
3432:
3413:
3408:
3405:
3400:
3389:
3384:
3359:
3353:
3348:
3345:
3340:
3329:
3324:
3299:
3293:
3288:
3285:
3280:
3256:
3250:
3245:
3242:
3237:
3213:
3204:
3203:
3202:
3186:
3183:
3177:
3171:
3150:
3135:
3114:
3107:
3092:
3076:
3065:
3060:
3054:
3049:
3024:
3019:
3008:
3003:
2997:
2992:
2967:
2962:
2957:
2934:
2927:
2919:
2914:
2908:
2903:
2878:
2869:
2864:
2858:
2853:
2828:
2820:
2815:
2803:
2802:
2801:
2784:
2779:
2756:
2748:
2742:
2701:
2695:
2683:
2682:
2681:
2664:
2659:
2656:
2653:
2643:
2634:
2629:
2626:
2623:
2613:
2604:
2599:
2576:
2571:
2561:
2520:
2511:
2510:
2509:
2481:
2465:
2454:
2449:
2438:
2433:
2422:
2417:
2412:
2401:
2390:
2385:
2374:
2369:
2358:
2353:
2348:
2334:
2333:
2332:
2315:
2305:
2297:
2292:
2281:
2276:
2265:
2254:
2249:
2238:
2233:
2222:
2214:
2209:
2198:
2192:
2179:
2168:
2162:
2150:
2149:
2148:
2131:
2126:
2123:
2120:
2110:
2101:
2093:
2088:
2080:
2064:
2051:
2044:
2031:
2020:
2011:
2010:
2009:
1993:
1985:
1969:
1956:
1951:
1934:
1932:
1925:
1909:
1906:
1901:
1893:
1888:
1877:
1872:
1861:
1850:
1845:
1834:
1829:
1818:
1810:
1805:
1800:
1792:
1776:
1763:
1756:
1753:
1748:
1743:
1737:
1716:
1706:
1705:
1704:
1690:
1687:
1660:
1639:
1608:
1589:
1586:
1581:
1557:
1547:
1539:
1537:
1530:
1525:
1511:
1492:
1489:
1484:
1460:
1450:
1442:
1440:
1433:
1428:
1410:
1409:
1408:
1407:
1406:
1404:
1381:
1376:
1368:
1363:
1357:
1352:
1327:
1318:
1313:
1307:
1302:
1277:
1269:
1264:
1259:
1251:
1248:
1243:
1232:
1227:
1202:
1190:
1185:
1174:
1169:
1166:
1161:
1150:
1145:
1120:
1108:
1103:
1090:
1085:
1083:
1076:
1070:
1029:
1019:
1014:
1006:
1001:
990:
985:
974:
963:
958:
947:
942:
931:
923:
918:
913:
905:
902:
897:
886:
881:
856:
844:
839:
823:
820:
815:
804:
799:
774:
762:
757:
744:
739:
737:
730:
724:
703:
689:
688:
687:
685:
681:
676:
674:
671: +
670:
647:
642:
639:
634:
628:
607:
592:
571:
564:
557:
536:
531:
529:
522:
516:
475:
465:
452:
431:
423:
420:
415:
409:
388:
373:
352:
345:
340:
338:
331:
325:
304:
290:
289:
288:
286:
267:
264:
261:
258:
255:
252:
248:
243:
240:
237:
227:
218:
213:
210:
207:
197:
188:
183:
162:
153:
152:
151:
145:
143:
141:
140:least squares
137:
133:
129:
128:pseudoinverse
125:
121:
110:
107:
99:
96:December 2010
88:
85:
81:
78:
74:
71:
67:
64:
60:
57: –
56:
52:
51:Find sources:
45:
41:
35:
34:
29:This article
27:
23:
18:
17:
3847:Key concepts
3777:Mike Brookes
3747:
3743:
3734:
3448:Considering
3447:
3428:
3096:
2799:
2679:
2485:
2330:
2146:
1938:
1929:
1629:
1400:
683:
679:
677:
672:
668:
666:
282:
149:
123:
117:
102:
93:
83:
76:
69:
62:
50:
38:Please help
33:verification
30:
3097:Instead of
120:mathematics
3992:Categories
3889:algorithms
3726:References
146:Derivation
66:newspapers
3916:CPU cache
3750:: 16–23.
3693:−
3677:⊥
3620:−
3604:⊥
3547:−
3491:−
3406:−
3390:⊥
3346:−
3330:⊥
3286:−
3243:−
3184:−
3055:⊥
2998:⊥
2909:⊥
2859:⊥
2657:×
2644:∈
2627:×
2614:∈
2439:⊥
2375:⊥
2282:⊥
2239:⊥
2124:×
2111:∈
1878:⊥
1835:⊥
1806:≠
1688:≠
1587:−
1548:−
1531:⊥
1490:−
1451:−
1434:⊥
1358:⊥
1308:⊥
1249:−
1233:⊥
1191:⊥
1167:−
1151:⊥
1109:⊥
991:⊥
948:⊥
903:−
887:⊥
845:⊥
821:−
805:⊥
763:⊥
640:−
421:−
256:≥
241:×
228:∈
211:×
198:∈
3945:Software
3909:Hardware
3868:Problems
3714:See also
142:method.
1703:, then
80:scholar
3967:LAPACK
3957:MATLAB
1401:where
682:- and
82:
75:
68:
61:
53:
3952:ATLAS
3437:, or
130:of a
87:JSTOR
73:books
3931:SIMD
3637:and
3508:and
122:, a
59:news
3921:TLB
3802:by
3793:by
3784:by
3775:by
3752:doi
3748:421
118:In
42:by
3994::
3746:.
3433:,
3891:)
3887:(
3832:e
3825:t
3818:v
3758:.
3754::
3696:1
3688:)
3683:B
3672:A
3667:P
3659:T
3653:B
3647:(
3623:1
3615:)
3610:A
3599:B
3594:P
3586:T
3580:A
3574:(
3550:1
3542:)
3537:B
3530:T
3524:B
3518:(
3494:1
3486:)
3481:A
3474:T
3468:A
3462:(
3414:.
3409:1
3401:)
3396:B
3385:A
3380:P
3372:T
3366:B
3360:(
3354:,
3349:1
3341:)
3336:A
3325:B
3320:P
3312:T
3306:A
3300:(
3294:,
3289:1
3281:)
3276:B
3269:T
3263:B
3257:(
3251:,
3246:1
3238:)
3233:A
3226:T
3220:A
3214:(
3187:1
3178:)
3172:]
3165:B
3158:A
3151:[
3143:T
3136:]
3129:B
3122:A
3115:[
3108:(
3077:.
3073:f
3066:+
3061:)
3050:A
3045:P
3037:T
3031:B
3025:(
3020:+
3016:e
3009:+
3004:)
2993:B
2988:P
2980:T
2974:A
2968:(
2963:=
2958:]
2951:f
2942:e
2935:[
2928:]
2920:+
2915:)
2904:A
2899:P
2891:T
2885:B
2879:(
2870:+
2865:)
2854:B
2849:P
2841:T
2835:A
2829:(
2821:[
2816:=
2812:x
2785:.
2780:]
2773:f
2764:e
2757:[
2749:+
2743:]
2734:T
2728:B
2716:T
2710:A
2702:[
2696:=
2692:x
2665:.
2660:1
2654:p
2649:R
2640:f
2635:,
2630:1
2624:n
2619:R
2610:e
2605:,
2600:]
2593:f
2584:e
2577:[
2572:=
2568:x
2562:]
2553:T
2547:B
2535:T
2529:A
2521:[
2495:x
2466:.
2462:d
2455:+
2450:)
2445:B
2434:A
2429:P
2423:(
2418:=
2413:2
2408:x
2402:,
2398:d
2391:+
2386:)
2381:A
2370:B
2365:P
2359:(
2354:=
2349:1
2344:x
2316:.
2312:d
2306:]
2298:+
2293:)
2288:B
2277:A
2272:P
2266:(
2255:+
2250:)
2245:A
2234:B
2229:P
2223:(
2215:[
2210:=
2206:d
2199:+
2193:]
2186:B
2180:,
2176:A
2169:[
2163:=
2159:x
2132:.
2127:1
2121:m
2116:R
2107:d
2102:,
2098:d
2094:=
2089:]
2081:2
2076:x
2065:1
2060:x
2052:[
2045:]
2038:B
2032:,
2028:A
2021:[
1994:]
1986:2
1981:x
1970:1
1965:x
1957:[
1952:=
1948:x
1910:0
1907:=
1902:]
1894:+
1889:)
1884:A
1873:A
1868:P
1862:(
1851:+
1846:)
1841:A
1830:A
1825:P
1819:(
1811:[
1801:]
1793:+
1788:A
1777:+
1772:A
1764:[
1757:2
1754:1
1749:=
1744:+
1738:]
1731:A
1724:A
1717:[
1691:0
1684:A
1661:]
1654:B
1647:A
1640:[
1609:.
1603:T
1597:B
1590:1
1582:)
1577:B
1570:T
1564:B
1558:(
1552:B
1544:I
1540:=
1526:B
1521:P
1512:,
1506:T
1500:A
1493:1
1485:)
1480:A
1473:T
1467:A
1461:(
1455:A
1447:I
1443:=
1429:A
1424:P
1382:,
1377:]
1369:+
1364:)
1353:A
1348:P
1340:T
1334:B
1328:(
1319:+
1314:)
1303:B
1298:P
1290:T
1284:A
1278:(
1270:[
1265:=
1260:]
1252:1
1244:)
1239:B
1228:A
1223:P
1215:T
1209:B
1203:(
1197:B
1186:A
1181:P
1175:,
1170:1
1162:)
1157:A
1146:B
1141:P
1133:T
1127:A
1121:(
1115:A
1104:B
1099:P
1091:[
1086:=
1077:+
1071:]
1062:T
1056:B
1044:T
1038:A
1030:[
1020:,
1015:]
1007:+
1002:)
997:B
986:A
981:P
975:(
964:+
959:)
954:A
943:B
938:P
932:(
924:[
919:=
914:]
906:1
898:)
893:B
882:A
877:P
869:T
863:B
857:(
851:B
840:A
835:P
824:1
816:)
811:A
800:B
795:P
787:T
781:A
775:(
769:A
758:B
753:P
745:[
740:=
731:+
725:]
718:B
711:A
704:[
684:p
680:n
673:p
669:n
648:.
643:1
635:)
629:]
622:B
615:A
608:[
600:T
593:]
586:B
579:A
572:[
565:(
558:]
551:B
544:A
537:[
532:=
523:+
517:]
508:T
502:B
490:T
484:A
476:[
466:,
460:T
453:]
446:B
439:A
432:[
424:1
416:)
410:]
403:B
396:A
389:[
381:T
374:]
367:B
360:A
353:[
346:(
341:=
332:+
326:]
319:B
312:A
305:[
268:.
265:p
262:+
259:n
253:m
249:,
244:p
238:m
233:R
224:B
219:,
214:n
208:m
203:R
194:A
189:,
184:]
177:B
170:A
163:[
109:)
103:(
98:)
94:(
84:·
77:·
70:·
63:·
36:.
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.
