5633:
1673:: A key result about Bregman divergences is that, given a random vector, the mean vector minimizes the expected Bregman divergence from the random vector. This result generalizes the textbook result that the mean of a set minimizes total squared error to elements in the set. This result was proved for the vector case by (Banerjee et al. 2005), and extended to the case of functions/distributions by (Frigyik et al. 2008). This result is important because it further justifies using a mean as a representative of a random set, particularly in Bayesian estimation.
2722:
2717:
2430:
9251:(see Nielsen and Boltz, 2011). Jensen divergences can be generalized using comparative convexity, and limit cases of these skewed Jensen divergences generalizations yields generalized Bregman divergence (see Nielsen and Nock, 2017). The Bregman chord divergence is obtained by taking a chord instead of a tangent line.
9426:
Supposed D_\varphi is a
Bregman divergence, supposed that {C_k} is a finite collection of closed, convex sets whose intersection is nonempty. Given an input matrix Y our goal is to produce a matrix \mathbf{X} in the intersection that diverges the least from \textbf{Y}, i.e. to solve \min_{\mathbf{X}
2712:{\displaystyle B_{F}\left(\theta _{1}:\theta \right)+B_{F}\left(\theta _{2}:\theta \right)=B_{F}\left(\theta _{1}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+B_{F}\left(\theta _{2}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+2B_{F}\left({\frac {\theta _{1}+\theta _{2}}{2}}:\theta \right)}
9427:} D_\varphi(\mathbf{X};\mathbf{Y}) subject to \mathbf{X} \in \big\cap_k C_k. Under mild conditions, the solution is unique and it has a variational characterization analogous with the characterization of an orthogonal projection onto a convex set" (see s2.4, page 1125 for more)
4888:
8144:, is generally not a Bregman divergence. For example, the Kullback-Leiber divergence is both a Bregman divergence and an f-divergence. Its reverse is also an f-divergence, but by the above characterization, the reverse KL divergence cannot be a Bregman divergence.
7174:
9230:
If we now replace the paraboloid by an arbitrary convex function, we obtain a different dual mapping that retains the incidence and above-below properties of the standard projective dual. This implies that natural dual concepts in computational geometry like
9267:. Bregman divergences between functions include total squared error, relative entropy, and squared bias; see the references by Frigyik et al. below for definitions and properties. Similarly Bregman divergences have also been defined over sets, through a
8902:
3395:
990:
8649:
5219:
2367:
1212:
5466:
3592:
2882:
356:
1662:
3151:
1775:
853:
3981:
5937:
8991:, which maps points to hyperplanes and vice versa, while preserving incidence and above-below relationships. There are numerous analytical forms of the projective dual: one common form maps the point
8251:
9697:
Ehsan Amid, Manfred K. Warmuth, Rohan Anil, Tomer Koren (2019). "Robust Bi-Tempered
Logistic Loss Based on Bregman Divergences". Conference on Neural Information Processing Systems. pp. 14987-14996.
6594:
4178:
4657:
7837:
9239:
retain their meaning in distance spaces defined by an arbitrary
Bregman divergence. Thus, algorithms from "normal" geometry extend directly to these spaces (Boissonnat, Nielsen and Nock, 2010)
7359:
3881:
1444:
9118:
6925:
5779:
4052:
3765:
2966:
2422:
152:
6885:
3925:
8731:
8314:
6121:
5599:
8142:
7636:
5510:
1810:
8971:
3823:
9225:
9044:
8384:
6367:
6671:
6482:
3016:
6755:
9163:
7307:
7227:
1540:
1495:
7911:
6807:
6448:
4582:
2757:
416:
9807:
4989:
4624:
8452:
3721:
1839:
1068:
218:
7717:
4534:
3692:
5670:
4101:
3464:
3438:
2015:
550:
8006:
7942:
7773:
7667:
1278:
1042:
622:
6193:
5975:
5337:
4359:
4223:
2139:
2057:
1347:
738:
696:
6526:
5861:
5632:
8763:
7878:
7564:
6393:
6257:
5998:
5275:
5069:
4947:
3189:
7979:
7743:
7443:
6917:
4001:
179:
9259:
Bregman divergences can also be defined between matrices, between functions, and between measures (distributions). Bregman divergences between matrices include the
4911:
4486:
4460:
3634:
1954:
9751:
8499:
8067:
7411:
7254:
6231:
6159:
6030:
5817:
4410:
4297:
4250:
2201:
1305:
1251:
9729:
Bregman, L. M. (1967). "The relaxation method of finding the common points of convex sets and its application to the solution of problems in convex programming".
8036:
6697:
3248:
648:
576:
9578:
Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (December 2014). "Information
Measures: the Curious Case of the Binary Alphabet".
8472:
8404:
7523:
7503:
7483:
7463:
7379:
6778:
6717:
6634:
6614:
6419:
6297:
6277:
5622:
5295:
5239:
5089:
5029:
5009:
4644:
4430:
4379:
4317:
4270:
4075:
3785:
3654:
3236:
3213:
2931:
2908:
2797:
2777:
2159:
2097:
2077:
1974:
1919:
1899:
1879:
1859:
502:
476:
456:
436:
858:
3245:
of triangle inequality: Since the
Bregman divergence is essentially a generalization of squared Euclidean distance, there is no triangle inequality. Indeed,
9817:
8513:
5098:
2210:
9120:. This mapping can be interpreted (identifying the hyperplane with its normal) as the convex conjugate mapping that takes the point p to its dual point
1079:
5345:
9441:"Fast Approximations of the Jeffreys Divergence between Univariate Gaussian Mixtures via Mixture Conversions to Exponential-Polynomial Distributions"
3469:
10020:
9759:
9658:
2805:
9716:
250:
9962:
9522:
1556:
3023:
1682:
9698:
746:
3933:
9287:
and some other set based distance measures (see Iyer & Bilmes, 2012 for more details and properties of the submodular
Bregman.)
10059:
Nielsen, Frank; Nock, Richard (2017). "Generalizing Skew Jensen
Divergences and Bregman Divergences With Comparative Convexity".
8742:
7949:
8159:
8012:
must be the
Kullback–Leibler divergence. (In fact, a weaker assumption of "sufficiency" is enough.) Counterexamples exist when
4883:{\displaystyle D_{f}(w,v)-D_{f}(w,P_{W}(v))-D_{f}(P_{W}(v),v)=\langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle }
9248:
6531:
5869:
4106:
10123:
10118:
9794:
9298:
In machine learning, Bregman divergences are used to calculate the bi-tempered logistic loss, performing better than the
7778:
7169:{\displaystyle q_{0}(x,y)=f(0,0)+\nabla f(0,0)\cdot (x,y),q_{1}(x,y)=A_{1}x^{2},q_{2}(x,y)=A_{2}y^{2},q_{3}(x,y)=A_{3}xy}
8656:
9805:
Iyer, Rishabh; Bilmes, Jeff (2012). "Submodular-Bregman divergences and Lovász-Bregman divergences with
Applications".
7314:
3830:
1358:
9049:
5675:
4006:
3726:
8751:
2936:
2381:
123:
10061:
8009:
71:
6812:
3886:
8664:
8259:
6038:
5519:
9826:
8072:
7569:
5480:
1780:
59:
9930:
9410:
8913:
3790:
9268:
9176:
8994:
8322:
55:
6302:
698:
is convex in its first argument, but not necessarily in the second argument. If F is strictly convex, then
9953:
9517:
9236:
8984:
3408:
6642:
6453:
2983:
6725:
5602:
9825:. UWEE Tech Report 2008-0001. University of Washington, Dept. of Electrical Engineering. Archived from
9520:; Nock, Richard (September 2010). "Bregman Voronoi Diagrams: Properties, Algorithms and Applications".
9123:
7259:
7179:
1500:
1455:
9260:
7883:
6783:
6699:
still has such derivative-linearity, so we will subtract away a few quadratic functions and show that
6424:
4539:
2736:
373:
10080:
9868:
9462:
9378:
9280:
8154:
5513:
4952:
4587:
90:
78:
67:
39:
8409:
3700:
1815:
1047:
191:
9891:
9264:
7672:
4491:
3659:
98:
86:
82:
5643:
4080:
3597:
Convexity in the first argument: by definition, and use convexity of F. Same for strict convexity.
3443:
3417:
2721:
1979:
507:
10096:
10070:
10047:
10029:
9989:
9971:
9915:
9858:
9786:
9768:
9664:
9636:
9613:
9587:
9557:
9531:
9452:
9367:"The Information Geometry of Bregman Divergences and Some Applications in Multi-Expert Reasoning"
9284:
8988:
8897:{\displaystyle D_{F}(p,q)=\sum _{i}\left({\frac {p(i)}{q(i)}}-\log {\frac {p(i)}{q(i)}}-1\right)}
7984:
7920:
7751:
7645:
1256:
1007:
587:
9682:
5942:
5300:
4322:
4186:
2102:
2020:
1310:
701:
659:
10001:
Nielsen, Frank; Nock, Richard (2006). "On approximating the smallest enclosing
Bregman Balls".
6487:
5822:
9654:
9605:
9549:
9498:
9480:
9275:. The submodular Bregman divergences subsume a number of discrete distance measures, like the
7842:
7528:
6372:
6239:
5980:
5244:
5038:
4916:
3192:
3158:
2375:
9914:
Nielsen, Frank; Nock, Richard (2007). "On the Centroids of Symmetrized Bregman Divergences".
9337:
7958:
7722:
7416:
6890:
3986:
164:
10088:
10039:
10006:
9981:
9941:
9902:
9876:
9778:
9738:
9646:
9597:
9541:
9488:
9470:
9406:
9386:
9310:
9299:
9276:
4893:
4465:
4439:
3613:
3390:{\displaystyle D_{F}(z,x)-D_{F}(z,y)-D_{F}(y,x)=\langle \nabla f(y)-\nabla f(x),z-y\rangle }
1924:
1224:
229:
63:
8477:
8045:
7384:
7232:
6198:
6164:
6126:
6003:
5784:
4388:
4275:
4228:
2174:
1283:
1229:
9314:
9272:
9232:
155:
51:
8015:
6676:
985:{\displaystyle D_{f}(y,x_{3})\approx 1>0.9D_{f}(y,x_{1})+0.1D_{f}(y,x_{2})\approx 0.2}
627:
555:
10084:
9872:
9466:
9382:
9711:
9493:
9440:
9306:
8457:
8389:
8254:
7508:
7488:
7468:
7448:
7364:
6763:
6702:
6619:
6599:
6404:
6282:
6262:
5607:
5280:
5224:
5074:
5014:
4994:
4629:
4415:
4364:
4302:
4255:
4060:
3770:
3639:
3221:
3198:
2916:
2893:
2782:
2762:
2144:
2082:
2062:
1959:
1904:
1884:
1864:
1844:
487:
461:
441:
421:
109:
10112:
10018:
Nielsen, Frank; Boltz, Sylvain (2011). "The Burbea-Rao and Bhattacharyya centroids".
9742:
8644:{\displaystyle D_{F}(p,q)=\sum _{i}p(i)\log {\frac {p(i)}{q(i)}}-\sum p(i)+\sum q(i)}
102:
94:
10100:
10051:
9668:
9617:
9993:
9957:
9561:
7945:
5214:{\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle >0}
2362:{\displaystyle D_{F}(p,q)=D_{F}(p,z)+D_{F}(z,q)-(p-z)^{T}(\nabla F(q)-\nabla F(z))}
1004:, then it is linear with respect to non-negative coefficients. In other words, for
1207:{\displaystyle D_{F_{1}+\lambda F_{2}}(p,q)=D_{F_{1}}(p,q)+\lambda D_{F_{2}}(p,q)}
9710:
Banerjee, Arindam; Merugu, Srujana; Dhillon, Inderjit S.; Ghosh, Joydeep (2005).
9650:
1253:
which is also strictly convex and continuously differentiable on some convex set
9892:"The dual Voronoi diagrams with respect to representational Bregman divergences"
9790:
5461:{\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle =0}
85:(ever) nor symmetry (in general). However, they satisfy a generalization of the
31:
17:
9681:"Matrix Information Geometry", R. Nock, B. Magdalou, E. Briys and F. Nielsen,
3587:{\displaystyle F(y)-G(y)=F(x)-G(x)+\langle \nabla F(x)-\nabla G(x),y-x\rangle }
9985:
9686:
9545:
8319:
The canonical example of a Bregman distance is the squared Euclidean distance
159:
101:
to be generalized to Bregman divergences, geometrically as generalizations of
50:
is a measure of difference between two points, defined in terms of a strictly
35:
10092:
10043:
9609:
9601:
9553:
9484:
10010:
9945:
9782:
9502:
9309:, which includes optimization algorithms used in machine learning such as
9906:
9752:"Functional Bregman Divergences and Bayesian Estimation of Distributions"
9635:. Lecture Notes in Computer Science. Vol. 11712. pp. 299–308.
8738:
2877:{\displaystyle P_{W}(q)={\text{argmin}}_{\omega \in W}D_{F}(\omega ,q)}
9881:
9846:
9631:
Nielsen, Frank; Nock, Richard (2019). "The Bregman Chord Divergence".
9475:
9391:
9366:
1000:: If we think of the Bregman distance as an operator on the function
351:{\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}
9290:
For a list of common matrix Bregman divergences, see Table 15.1 in.
1657:{\displaystyle D_{F}(p,q)=F(p)+F^{*}(q^{*})-\langle p,q^{*}\rangle }
10075:
9863:
9773:
9641:
9457:
3146:{\displaystyle D_{F}(a,v)\geq D_{F}(a,P_{W}(v))+D_{F}(P_{W}(v),v).}
10034:
9976:
9920:
9592:
9536:
7309:
respectively to remove the quadratic terms along the three lines.
5631:
2720:
1770:{\displaystyle B_{f}(x,r):=\left\{y\in X:D_{f}(y,x)\leq r\right\}}
66:
or as a data set of observed values – the resulting distance is a
3600:
Linearity in F, law of cosines, parallelogram law: by definition.
9938:
Proc. 23rd ACM Symposium on Computational Geometry (video track)
9247:
Bregman divergences can be interpreted as limit cases of skewed
2968:
is finite dimensional, then the projection exists and is unique.
848:{\displaystyle y=1,x_{1}=0.1,x_{2}=-0.9,x_{3}=0.9x_{1}+0.1x_{2}}
9929:
Nielsen, Frank; Boissonnat, Jean-Daniel; Nock, Richard (2007).
8454:. As noted, affine differences, i.e. the lower orders added in
3976:{\displaystyle \partial B(x,\epsilon )\subset \mathbb {R} ^{n}}
9816:
Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008).
9750:
Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008).
4626:
is continuous and strictly convex on it, and bounded below by
7642:
The following two characterizations are for divergences on
108:
Bregman divergences are named after Russian mathematician
8246:{\displaystyle D_{F}(x,y)={\tfrac {1}{2}}(x-y)^{T}Q(x-y)}
6887:
becomes identically zero on the x-axis, y-axis, and the
6722:
The proof idea can be illustrated fully for the case of
6259:
varies linearly along any direction. By the next lemma,
2725:
Generalized Pythagorean theorem for Bregman divergence .
743:
For example, Take f(x) = |x|, smooth it at 0, then take
9731:
USSR Computational Mathematics and Mathematical Physics
6809:. We subtract away four quadratic functions, such that
3767:. Then consider the "radial-directional" derivative of
8279:
8192:
6589:{\displaystyle h(t):=\langle \nabla f(x+tv),v\rangle }
6484:
has continuous derivative, and given any line segment
5932:{\displaystyle g'(t)=\langle \nabla f(z(t)),v\rangle }
4173:{\displaystyle B_{f}(x,r)\subset B(x,r/\delta )\cap X}
3606:
Bregman balls are bounded, and compact if X is closed:
2910:
is convex, then the projection is unique if it exists;
9899:
Proc. 6th International Symposium on Voronoi Diagrams
9179:
9126:
9052:
8997:
8916:
8766:
8667:
8516:
8480:
8460:
8412:
8392:
8386:. It results as the special case of the above, when
8325:
8262:
8162:
8075:
8048:
8018:
7987:
7961:
7923:
7886:
7845:
7781:
7754:
7725:
7675:
7648:
7572:
7531:
7511:
7491:
7471:
7451:
7419:
7387:
7367:
7317:
7262:
7235:
7182:
6928:
6893:
6815:
6786:
6766:
6728:
6705:
6679:
6645:
6622:
6602:
6534:
6490:
6456:
6427:
6407:
6375:
6305:
6285:
6265:
6242:
6201:
6167:
6129:
6041:
6006:
5983:
5945:
5872:
5825:
5787:
5678:
5646:
5610:
5522:
5483:
5348:
5303:
5283:
5247:
5227:
5101:
5077:
5041:
5017:
4997:
4955:
4919:
4896:
4660:
4632:
4590:
4542:
4494:
4468:
4442:
4418:
4391:
4367:
4325:
4305:
4278:
4258:
4231:
4189:
4109:
4083:
4063:
4009:
3989:
3936:
3889:
3833:
3793:
3773:
3729:
3703:
3662:
3642:
3616:
3472:
3446:
3420:
3251:
3224:
3201:
3161:
3026:
2986:
2939:
2919:
2896:
2808:
2785:
2765:
2739:
2433:
2384:
2213:
2177:
2147:
2105:
2085:
2065:
2023:
1982:
1962:
1927:
1907:
1887:
1867:
1847:
1818:
1783:
1685:
1679:: Define Bregman ball centered at x with radius r by
1677:
Bregman balls are bounded, and compact if X is closed
1559:
1503:
1458:
1361:
1313:
1286:
1259:
1232:
1223:: If F is strictly convex, then the function F has a
1082:
1050:
1010:
861:
749:
704:
662:
630:
590:
558:
510:
490:
464:
444:
424:
376:
253:
194:
167:
126:
9847:"Divergence and Sufficiency for Convex Optimization"
9808:
Conference on Neural Information Processing Systems
7832:{\displaystyle D:\Gamma _{n}\times \Gamma _{n}\to }
10003:Proc. 22nd ACM Symposium on Computational Geometry
9411:"Matrix Nearness Problems with Bregman Divergence"
9219:
9157:
9112:
9038:
8965:
8896:
8725:
8643:
8493:
8466:
8446:
8398:
8378:
8308:
8245:
8136:
8061:
8030:
8000:
7973:
7936:
7905:
7872:
7831:
7767:
7737:
7711:
7661:
7630:
7558:
7517:
7497:
7477:
7457:
7437:
7405:
7373:
7353:
7301:
7248:
7221:
7168:
6911:
6879:
6801:
6772:
6749:
6711:
6691:
6665:
6628:
6608:
6588:
6520:
6476:
6442:
6413:
6387:
6361:
6291:
6271:
6251:
6225:
6187:
6153:
6115:
6024:
5992:
5969:
5931:
5855:
5811:
5773:
5664:
5616:
5593:
5504:
5460:
5331:
5289:
5269:
5233:
5213:
5083:
5063:
5023:
5003:
4983:
4941:
4905:
4882:
4638:
4618:
4576:
4528:
4480:
4454:
4424:
4404:
4373:
4353:
4311:
4291:
4264:
4244:
4217:
4172:
4095:
4069:
4046:
3995:
3975:
3919:
3875:
3817:
3779:
3759:
3715:
3686:
3648:
3628:
3586:
3458:
3432:
3389:
3230:
3207:
3183:
3145:
3010:
2960:
2925:
2902:
2876:
2791:
2771:
2751:
2711:
2416:
2361:
2195:
2153:
2133:
2091:
2071:
2051:
2009:
1968:
1948:
1913:
1893:
1873:
1853:
1833:
1804:
1769:
1656:
1534:
1489:
1438:
1341:
1299:
1272:
1245:
1206:
1062:
1036:
984:
847:
732:
690:
642:
616:
570:
544:
496:
470:
450:
430:
410:
350:
212:
173:
146:
9305:Bregman divergence is used in the formulation of
7354:{\displaystyle \forall (x,y)\in \mathbb {R} ^{2}}
3876:{\displaystyle \langle \nabla f(y),(y-x)\rangle }
1439:{\displaystyle D_{F^{*}}(p^{*},q^{*})=D_{F}(q,p)}
62:– notably as either values of the parameter of a
9418:SIAM Journal on Matrix Analysis and Applications
9113:{\displaystyle x_{d+1}=\sum _{1}^{d}2p_{i}x_{i}}
5774:{\displaystyle r=\|y-x\|,v=(y-x)/r,g(t)=f(x+tv)}
4584:. It is closed and bounded, thus compact. Since
4047:{\displaystyle y_{0}\in \partial B(x,\epsilon )}
3760:{\displaystyle \partial B(x,\epsilon )\subset X}
89:, and in information geometry the corresponding
9332:
9330:
6780:is a quadratic function on any line segment in
2961:{\displaystyle \Omega \subset \mathbb {R} ^{n}}
2417:{\displaystyle \theta ,\theta _{1},\theta _{2}}
1280:. The Bregman distance defined with respect to
147:{\displaystyle F\colon \Omega \to \mathbb {R} }
8741:, the last two terms cancel, giving the usual
5241:is in the relative interior, we can move from
5512:are squared generalized Euclidean distances (
3414:Uniqueness up to affine difference: Fix some
1542:are the dual points corresponding to p and q.
8:
8435:
8428:
8367:
8354:
7706:
7676:
7432:
7420:
7413:that intersects the x-axis, y-axis, and the
6906:
6894:
6880:{\displaystyle g:=f-q_{0}-q_{1}-q_{2}-q_{3}}
6583:
6550:
5926:
5893:
5697:
5685:
5449:
5349:
5202:
5102:
4877:
4777:
3920:{\displaystyle y\in \partial B(x,\epsilon )}
3870:
3834:
3581:
3533:
3384:
3336:
1651:
1632:
458:. This is a consequence of the convexity of
342:
312:
9271:which is known as the discrete analog of a
8726:{\displaystyle F(p)=\sum _{i}p(i)\log p(i)}
8504:The generalized Kullback–Leibler divergence
8309:{\displaystyle F(x)={\tfrac {1}{2}}x^{T}Qx}
6116:{\displaystyle D_{f}(x;z(t))=D_{f}(z(t);x)}
154:be a continuously-differentiable, strictly
70:. The most basic Bregman divergence is the
5594:{\displaystyle D_{f}(y,x)=(y-x)^{T}A(y-x)}
5477:The only symmetric Bregman divergences on
740:is strictly convex in its first argument.
27:A measure of difference between two points
10074:
10033:
9975:
9919:
9880:
9862:
9819:An Introduction to Functional Derivatives
9772:
9640:
9591:
9535:
9492:
9474:
9456:
9390:
9211:
9206:
9184:
9178:
9131:
9125:
9104:
9094:
9081:
9076:
9057:
9051:
9027:
9011:
8996:
8939:
8915:
8851:
8810:
8799:
8771:
8765:
8687:
8666:
8573:
8549:
8521:
8515:
8485:
8479:
8459:
8438:
8411:
8391:
8370:
8330:
8324:
8294:
8278:
8261:
8219:
8191:
8167:
8161:
8137:{\displaystyle D_{F}^{*}(v,w)=D_{F}(w,v)}
8113:
8085:
8080:
8074:
8053:
8047:
8017:
7992:
7986:
7960:
7944:that is both a Bregman divergence and an
7928:
7922:
7897:
7885:
7844:
7805:
7792:
7780:
7759:
7753:
7724:
7674:
7669:, the set of all probability measures on
7653:
7647:
7631:{\displaystyle f=q_{0}+q_{1}+q_{2}+q_{3}}
7622:
7609:
7596:
7583:
7571:
7530:
7510:
7490:
7485:, and is zero on three different points,
7470:
7450:
7418:
7386:
7366:
7345:
7341:
7340:
7316:
7293:
7280:
7267:
7261:
7240:
7234:
7213:
7200:
7187:
7181:
7154:
7126:
7113:
7103:
7075:
7062:
7052:
7024:
6933:
6927:
6892:
6871:
6858:
6845:
6832:
6814:
6793:
6789:
6788:
6785:
6765:
6741:
6737:
6736:
6727:
6704:
6678:
6659:
6658:
6644:
6621:
6601:
6533:
6489:
6470:
6469:
6455:
6434:
6430:
6429:
6426:
6406:
6374:
6344:
6325:
6304:
6284:
6264:
6241:
6200:
6166:
6128:
6083:
6046:
6040:
6005:
5982:
5944:
5871:
5824:
5786:
5724:
5677:
5645:
5609:
5567:
5527:
5521:
5505:{\displaystyle X\subset \mathbb {R} ^{n}}
5496:
5492:
5491:
5482:
5434:
5404:
5393:
5388:
5366:
5356:
5347:
5308:
5302:
5282:
5252:
5246:
5226:
5187:
5157:
5146:
5141:
5119:
5109:
5100:
5076:
5046:
5040:
5016:
4996:
4960:
4954:
4924:
4918:
4895:
4862:
4832:
4821:
4816:
4794:
4784:
4750:
4737:
4712:
4693:
4665:
4659:
4631:
4595:
4589:
4547:
4541:
4505:
4493:
4467:
4441:
4417:
4396:
4390:
4366:
4330:
4324:
4304:
4283:
4277:
4257:
4236:
4230:
4194:
4188:
4153:
4114:
4108:
4082:
4062:
4014:
4008:
3988:
3967:
3963:
3962:
3935:
3888:
3832:
3792:
3772:
3728:
3702:
3661:
3641:
3615:
3471:
3445:
3419:
3312:
3284:
3256:
3250:
3223:
3200:
3166:
3160:
3116:
3103:
3078:
3059:
3031:
3025:
2985:
2952:
2948:
2947:
2938:
2918:
2895:
2853:
2837:
2832:
2813:
2807:
2784:
2764:
2738:
2686:
2673:
2666:
2655:
2628:
2615:
2608:
2599:
2584:
2560:
2547:
2540:
2531:
2516:
2492:
2477:
2453:
2438:
2432:
2408:
2395:
2383:
2314:
2274:
2246:
2218:
2212:
2176:
2146:
2110:
2104:
2084:
2064:
2028:
2022:
1981:
1961:
1926:
1906:
1886:
1866:
1846:
1817:
1805:{\displaystyle X\subset \mathbb {R} ^{n}}
1796:
1792:
1791:
1782:
1735:
1690:
1684:
1645:
1620:
1607:
1564:
1558:
1547:Moreover, using the same notations :
1508:
1502:
1463:
1457:
1415:
1399:
1386:
1371:
1366:
1360:
1318:
1312:
1291:
1285:
1264:
1258:
1237:
1231:
1181:
1176:
1143:
1138:
1108:
1092:
1087:
1081:
1049:
1028:
1015:
1009:
967:
948:
929:
910:
885:
866:
860:
839:
823:
807:
785:
766:
748:
709:
703:
667:
661:
629:
608:
595:
589:
557:
515:
509:
489:
463:
443:
423:
381:
375:
258:
252:
193:
166:
140:
139:
125:
9956:; Nielsen, Frank; Nock, Richard (2010).
8966:{\displaystyle F(p)=-\sum _{i}\log p(i)}
6035:Then, from the diagram, we see that for
5636:Bregman divergence interpreted as areas.
3218:In particular, this always happens when
1044:strictly convex and differentiable, and
10021:IEEE Transactions on Information Theory
9760:IEEE Transactions on Information Theory
9580:IEEE Transactions on Information Theory
9326:
7361:not on the origin, there exists a line
6639:Proof idea: For any quadratic function
6299:is also strictly convex, it is of form
3818:{\displaystyle \partial B(x,\epsilon )}
220:is the difference between the value of
9931:"Visualizing Bregman Voronoi diagrams"
9890:Nielsen, Frank; Nock, Richard (2009).
9220:{\displaystyle x_{d+1}=\sum x_{i}^{2}}
9039:{\displaystyle p=(p_{1},\ldots p_{d})}
8379:{\displaystyle D_{F}(x,y)=\|x-y\|^{2}}
7445:line at three different points. Since
4646:, it achieves a unique minimum on it.
3983:is compact, it achieves minimal value
112:, who introduced the concept in 1967.
9963:Discrete & Computational Geometry
9712:"Clustering with Bregman divergences"
9523:Discrete & Computational Geometry
9243:Generalization of Bregman divergences
6362:{\displaystyle f(x)+x^{T}Ax+B^{T}x+C}
2759:, define the "Bregman projection" of
1921:(that is, there exists a closed ball
184:The Bregman distance associated with
58:. When the points are interpreted as
7:
9717:Journal of Machine Learning Research
9573:
9571:
8908:is generated by the convex function
3397:, which may be positive or negative.
2933:is nonempty, closed, and convex and
9338:"Learning with Bregman Divergences"
9255:Bregman divergence on other objects
7256:to remove the linear term, and use
6666:{\displaystyle q:S\to \mathbb {R} }
6477:{\displaystyle f:S\to \mathbb {R} }
3407:Non-negativity and positivity: use
3011:{\displaystyle v\in \Omega ,a\in W}
77:Bregman divergences are similar to
9439:Nielsen, Frank (28 October 2021).
9140:
7989:
7925:
7894:
7823:
7802:
7789:
7756:
7650:
7318:
6978:
6750:{\displaystyle S=\mathbb {R} ^{2}}
6553:
6243:
5984:
5896:
5353:
5106:
4781:
4023:
3937:
3896:
3837:
3794:
3730:
3663:
3554:
3536:
3453:
3427:
3357:
3339:
2993:
2940:
2746:
2341:
2323:
1819:
1517:
1472:
1261:
582:Uniqueness up to affine difference
315:
207:
168:
133:
54:; they form an important class of
25:
9158:{\displaystyle p^{*}=\nabla F(p)}
7981:, then any Bregman divergence on
7302:{\displaystyle q_{1},q_{2},q_{3}}
7222:{\displaystyle A_{1},A_{2},A_{3}}
1535:{\displaystyle q^{*}=\nabla F(q)}
1490:{\displaystyle p^{*}=\nabla F(p)}
228:and the value of the first-order
97:. This allows many techniques of
9633:Geometric Science of Information
7906:{\displaystyle x\in \Gamma _{n}}
6802:{\displaystyle \mathbb {R} ^{2}}
6443:{\displaystyle \mathbb {R} ^{n}}
4577:{\displaystyle B_{f}(v,r)\cap W}
2752:{\displaystyle W\subset \Omega }
411:{\displaystyle D_{F}(p,q)\geq 0}
8979:Generalizing projective duality
6757:, so we prove it in this case.
5071:is in the relative interior of
4984:{\displaystyle D_{f}(\cdot ,v)}
4619:{\displaystyle D_{f}(\cdot ,v)}
2974:Generalized Pythagorean Theorem
1861:is in the relative interior of
10062:IEEE Signal Processing Letters
9152:
9146:
9033:
9004:
8960:
8954:
8926:
8920:
8877:
8871:
8863:
8857:
8836:
8830:
8822:
8816:
8789:
8777:
8720:
8714:
8702:
8696:
8677:
8671:
8638:
8632:
8620:
8614:
8599:
8593:
8585:
8579:
8564:
8558:
8539:
8527:
8447:{\displaystyle F(x)=\|x\|^{2}}
8422:
8416:
8348:
8336:
8272:
8266:
8240:
8228:
8216:
8203:
8185:
8173:
8131:
8119:
8103:
8091:
7861:
7849:
7826:
7814:
7811:
7547:
7535:
7400:
7388:
7333:
7321:
7144:
7132:
7093:
7081:
7042:
7030:
7014:
7002:
6996:
6984:
6972:
6960:
6951:
6939:
6655:
6574:
6559:
6544:
6538:
6509:
6491:
6466:
6315:
6309:
6220:
6208:
6182:
6176:
6148:
6136:
6110:
6101:
6095:
6089:
6073:
6070:
6064:
6052:
5964:
5952:
5917:
5914:
5908:
5902:
5887:
5881:
5835:
5829:
5806:
5794:
5768:
5753:
5744:
5738:
5721:
5709:
5588:
5576:
5564:
5551:
5545:
5533:
5446:
5440:
5416:
5410:
5389:
5384:
5372:
5326:
5314:
5264:
5258:
5199:
5193:
5169:
5163:
5142:
5137:
5125:
5058:
5052:
4978:
4966:
4936:
4930:
4874:
4868:
4844:
4838:
4817:
4812:
4800:
4771:
4762:
4756:
4743:
4727:
4724:
4718:
4699:
4683:
4671:
4613:
4601:
4565:
4553:
4523:
4511:
4348:
4336:
4212:
4200:
4161:
4141:
4132:
4120:
4041:
4029:
3955:
3943:
3914:
3902:
3867:
3855:
3849:
3843:
3812:
3800:
3748:
3736:
3716:{\displaystyle \epsilon >0}
3675:
3669:
3566:
3560:
3548:
3542:
3527:
3521:
3512:
3506:
3497:
3491:
3482:
3476:
3369:
3363:
3351:
3345:
3330:
3318:
3302:
3290:
3274:
3262:
3178:
3172:
3137:
3128:
3122:
3109:
3093:
3090:
3084:
3065:
3049:
3037:
2871:
2859:
2825:
2819:
2356:
2353:
2347:
2335:
2329:
2320:
2311:
2298:
2292:
2280:
2264:
2252:
2236:
2224:
2128:
2116:
2046:
2034:
1998:
1986:
1943:
1931:
1834:{\displaystyle \forall x\in X}
1753:
1741:
1708:
1696:
1626:
1613:
1597:
1591:
1582:
1570:
1529:
1523:
1484:
1478:
1433:
1421:
1405:
1379:
1336:
1324:
1201:
1189:
1163:
1151:
1128:
1116:
1063:{\displaystyle \lambda \geq 0}
973:
954:
935:
916:
891:
872:
727:
715:
685:
673:
533:
521:
399:
387:
327:
321:
306:
300:
291:
285:
276:
264:
213:{\displaystyle p,q\in \Omega }
136:
1:
8655:is generated by the negative
8069:, its "opposite", defined by
7712:{\displaystyle \{1,2,...,n\}}
6760:By the derivative-linearity,
5277:in the direction opposite of
4536:. Then draw the Bregman ball
4529:{\displaystyle r:=D_{f}(w,v)}
3687:{\displaystyle \nabla f(x)=0}
93:is interpreted as a (dually)
9743:10.1016/0041-5553(67)90040-7
9651:10.1007/978-3-030-26980-7_31
5665:{\displaystyle x\neq y\in X}
4096:{\displaystyle \delta >0}
3459:{\displaystyle y\in \Omega }
3433:{\displaystyle x\in \Omega }
2010:{\displaystyle B(x,r)\cap X}
545:{\displaystyle D_{F}(p,q)=0}
8743:Kullback–Leibler divergence
8253:is generated by the convex
8042:Given a Bregman divergence
8001:{\displaystyle \Gamma _{n}}
7950:Kullback–Leibler divergence
7937:{\displaystyle \Gamma _{n}}
7768:{\displaystyle \Gamma _{n}}
7662:{\displaystyle \Gamma _{n}}
3636:. Take affine transform on
1273:{\displaystyle \Omega ^{*}}
1037:{\displaystyle F_{1},F_{2}}
617:{\displaystyle D_{F}=D_{G}}
10140:
9958:"Bregman Voronoi Diagrams"
8406:is the identity, i.e. for
8010:data processing inequality
5970:{\displaystyle t\in (0,r)}
5332:{\displaystyle D_{f}(y,v)}
5035:Pythagorean equality when
4354:{\displaystyle B_{f}(x,r)}
4218:{\displaystyle D_{f}(y,x)}
2134:{\displaystyle B_{f}(x,r)}
2052:{\displaystyle B_{f}(x,r)}
1342:{\displaystyle D_{F}(p,q)}
733:{\displaystyle D_{F}(p,q)}
691:{\displaystyle D_{F}(p,q)}
81:, but satisfy neither the
72:squared Euclidean distance
9986:10.1007/s00454-010-9256-1
9845:Harremoës, Peter (2017).
9546:10.1007/s00454-010-9256-1
6636:is a quadratic function.
6521:{\displaystyle \subset S}
5856:{\displaystyle z(t)=x+tv}
3603:Duality: See figure 1 of.
60:probability distributions
10093:10.1109/LSP.2017.2712195
10044:10.1109/TIT.2011.2159046
9602:10.1109/TIT.2014.2360184
9365:AdamÄŤĂk, Martin (2014).
9173:-dimensional paraboloid
7873:{\displaystyle D(x,x)=0}
7775:as any function of type
7559:{\displaystyle g(x,y)=0}
6388:{\displaystyle A\succ 0}
6252:{\displaystyle \nabla f}
6000:is continuous, also for
5993:{\displaystyle \nabla f}
5270:{\displaystyle P_{W}(v)}
5064:{\displaystyle P_{W}(v)}
4942:{\displaystyle P_{W}(v)}
3787:on the Euclidean sphere
3184:{\displaystyle P_{W}(v)}
10011:10.1145/1137856.1137931
9954:Boissonnat, Jean-Daniel
9946:10.1145/1247069.1247089
9783:10.1109/TIT.2008.929943
9518:Boissonnat, Jean-Daniel
9269:submodular set function
9237:Delaunay triangulations
8737:When restricted to the
7974:{\displaystyle n\geq 3}
7917:The only divergence on
7748:Define a divergence on
7738:{\displaystyle n\geq 2}
7505:is identically zero on
7438:{\displaystyle \{x=y\}}
6912:{\displaystyle \{x=y\}}
5472:Classification theorems
4650:Pythagorean inequality.
3996:{\displaystyle \delta }
3466:, we have by definition
3155:This is an equality if
1812:is finite dimensional,
174:{\displaystyle \Omega }
9409:; Tropp, Joel (2008).
9221:
9159:
9114:
9086:
9040:
8985:computational geometry
8967:
8898:
8752:Itakura–Saito distance
8727:
8645:
8495:
8468:
8448:
8400:
8380:
8310:
8247:
8138:
8063:
8032:
8002:
7975:
7938:
7907:
7874:
7833:
7769:
7739:
7713:
7663:
7632:
7560:
7519:
7499:
7479:
7459:
7439:
7407:
7375:
7355:
7303:
7250:
7223:
7170:
6913:
6881:
6803:
6774:
6751:
6713:
6693:
6667:
6630:
6610:
6590:
6522:
6478:
6444:
6415:
6389:
6363:
6293:
6273:
6253:
6227:
6189:
6155:
6117:
6026:
5994:
5971:
5933:
5857:
5813:
5775:
5666:
5637:
5618:
5595:
5506:
5462:
5333:
5291:
5271:
5235:
5215:
5085:
5065:
5025:
5005:
4985:
4943:
4907:
4906:{\displaystyle \geq 0}
4884:
4640:
4620:
4578:
4530:
4482:
4481:{\displaystyle w\in W}
4456:
4455:{\displaystyle v\in X}
4426:
4406:
4375:
4355:
4313:
4293:
4266:
4246:
4219:
4174:
4097:
4071:
4048:
3997:
3977:
3921:
3877:
3819:
3781:
3761:
3717:
3688:
3650:
3630:
3629:{\displaystyle x\in X}
3588:
3460:
3434:
3391:
3232:
3209:
3185:
3147:
3012:
2962:
2927:
2904:
2878:
2793:
2773:
2753:
2726:
2713:
2418:
2363:
2197:
2155:
2135:
2093:
2073:
2053:
2011:
1970:
1950:
1949:{\displaystyle B(x,r)}
1915:
1895:
1875:
1855:
1835:
1806:
1771:
1658:
1536:
1491:
1440:
1343:
1301:
1274:
1247:
1208:
1064:
1038:
986:
849:
734:
692:
650:is an affine function.
644:
618:
572:
546:
498:
472:
452:
432:
412:
352:
214:
175:
148:
9302:with noisy datasets.
9222:
9160:
9115:
9072:
9041:
8968:
8899:
8728:
8646:
8496:
8494:{\displaystyle D_{F}}
8469:
8449:
8401:
8381:
8311:
8248:
8139:
8064:
8062:{\displaystyle D_{F}}
8033:
8003:
7976:
7939:
7908:
7875:
7834:
7770:
7740:
7714:
7664:
7633:
7561:
7520:
7500:
7480:
7460:
7440:
7408:
7406:{\displaystyle (x,y)}
7376:
7356:
7304:
7251:
7249:{\displaystyle q_{0}}
7224:
7171:
6914:
6882:
6804:
6775:
6752:
6714:
6694:
6668:
6631:
6611:
6591:
6523:
6479:
6445:
6421:is an open subset of
6416:
6390:
6364:
6294:
6274:
6254:
6228:
6226:{\displaystyle t\in }
6190:
6188:{\displaystyle g'(t)}
6156:
6154:{\displaystyle t\in }
6118:
6027:
6025:{\displaystyle t=0,r}
5995:
5972:
5934:
5858:
5814:
5812:{\displaystyle t\in }
5776:
5667:
5635:
5619:
5596:
5507:
5463:
5334:
5292:
5272:
5236:
5216:
5086:
5066:
5026:
5006:
4986:
4944:
4908:
4885:
4641:
4621:
4579:
4531:
4483:
4457:
4432:is closed and convex.
4427:
4412:is well-defined when
4407:
4405:{\displaystyle P_{W}}
4376:
4356:
4314:
4294:
4292:{\displaystyle D_{f}}
4267:
4247:
4245:{\displaystyle C^{1}}
4220:
4175:
4098:
4072:
4049:
3998:
3978:
3922:
3878:
3820:
3782:
3762:
3718:
3689:
3651:
3631:
3589:
3461:
3440:, then for any other
3435:
3392:
3233:
3210:
3186:
3148:
3013:
2963:
2928:
2905:
2879:
2794:
2774:
2754:
2724:
2714:
2419:
2364:
2198:
2196:{\displaystyle p,q,z}
2156:
2136:
2094:
2074:
2054:
2012:
1971:
1951:
1916:
1901:is locally closed at
1896:
1876:
1856:
1836:
1807:
1772:
1659:
1537:
1492:
1441:
1344:
1302:
1300:{\displaystyle F^{*}}
1275:
1248:
1246:{\displaystyle F^{*}}
1209:
1065:
1039:
987:
850:
735:
693:
645:
619:
573:
547:
499:
473:
453:
433:
413:
353:
215:
176:
149:
10124:Statistical distance
10119:Geometric algorithms
10005:. pp. 485–486.
9907:10.1109/ISVD.2009.15
9281:precision and recall
9177:
9124:
9050:
8995:
8914:
8764:
8665:
8514:
8478:
8474:, are irrelevant to
8458:
8410:
8390:
8323:
8260:
8160:
8155:Mahalanobis distance
8073:
8046:
8016:
7985:
7959:
7921:
7884:
7843:
7779:
7752:
7723:
7673:
7646:
7570:
7529:
7509:
7489:
7469:
7449:
7417:
7385:
7365:
7315:
7260:
7233:
7180:
6926:
6891:
6813:
6784:
6764:
6726:
6703:
6677:
6643:
6620:
6600:
6532:
6488:
6454:
6425:
6405:
6373:
6303:
6283:
6279:is quadratic. Since
6263:
6240:
6199:
6165:
6127:
6039:
6004:
5981:
5943:
5870:
5823:
5785:
5676:
5644:
5608:
5520:
5514:Mahalanobis distance
5481:
5346:
5301:
5281:
5245:
5225:
5099:
5075:
5039:
5015:
4995:
4953:
4917:
4894:
4658:
4630:
4588:
4540:
4492:
4466:
4440:
4416:
4389:
4365:
4323:
4303:
4276:
4256:
4229:
4187:
4107:
4081:
4077:is strictly convex,
4061:
4007:
3987:
3934:
3887:
3831:
3791:
3771:
3727:
3701:
3660:
3640:
3614:
3470:
3444:
3418:
3249:
3222:
3199:
3159:
3024:
2984:
2937:
2917:
2894:
2806:
2783:
2763:
2737:
2431:
2382:
2211:
2175:
2145:
2103:
2083:
2063:
2021:
1980:
1960:
1925:
1905:
1885:
1865:
1845:
1816:
1781:
1683:
1557:
1501:
1456:
1359:
1311:
1284:
1257:
1230:
1080:
1048:
1008:
859:
747:
702:
660:
628:
588:
556:
508:
504:is strictly convex,
488:
462:
442:
422:
374:
251:
192:
165:
124:
91:statistical manifold
68:statistical distance
40:information geometry
10085:2017ISPL...24.1123N
9873:2017Entrp..19..206H
9832:on 17 February 2017
9467:2021Entrp..23.1417N
9383:2014Entrp..16.6338A
9265:von Neumann entropy
9216:
8090:
8031:{\displaystyle n=2}
8008:that satisfies the
6692:{\displaystyle f-q}
3409:Jensen's inequality
2141:is compact for all
2059:is bounded for all
643:{\displaystyle F-G}
571:{\displaystyle p=q}
240:evaluated at point
99:optimization theory
87:Pythagorean theorem
83:triangle inequality
9800:on 12 August 2010.
9285:mutual information
9249:Jensen divergences
9217:
9202:
9155:
9110:
9046:to the hyperplane
9036:
8989:projective duality
8963:
8944:
8894:
8804:
8745:for distributions.
8723:
8692:
8641:
8554:
8491:
8464:
8444:
8396:
8376:
8306:
8288:
8243:
8201:
8134:
8076:
8059:
8028:
7998:
7971:
7934:
7903:
7870:
7829:
7765:
7735:
7709:
7659:
7628:
7556:
7515:
7495:
7475:
7455:
7435:
7403:
7371:
7351:
7299:
7246:
7219:
7176:, for well-chosen
7166:
6909:
6877:
6799:
6770:
6747:
6709:
6689:
6663:
6626:
6606:
6586:
6518:
6474:
6440:
6411:
6385:
6359:
6289:
6269:
6249:
6236:Thus we find that
6223:
6185:
6151:
6113:
6022:
5990:
5967:
5929:
5853:
5809:
5771:
5662:
5638:
5630:
5614:
5591:
5502:
5458:
5329:
5287:
5267:
5231:
5211:
5081:
5061:
5021:
5001:
4981:
4939:
4903:
4880:
4636:
4616:
4574:
4526:
4478:
4452:
4422:
4402:
4371:
4351:
4309:
4289:
4262:
4242:
4215:
4170:
4093:
4067:
4044:
3993:
3973:
3917:
3873:
3815:
3777:
3757:
3713:
3684:
3646:
3626:
3584:
3456:
3430:
3387:
3238:is an affine set.
3228:
3205:
3181:
3143:
3008:
2958:
2923:
2900:
2874:
2789:
2769:
2749:
2731:Bregman projection
2727:
2709:
2414:
2359:
2193:
2151:
2131:
2089:
2069:
2049:
2007:
1966:
1946:
1911:
1891:
1871:
1851:
1831:
1802:
1767:
1654:
1532:
1487:
1436:
1339:
1297:
1270:
1243:
1204:
1060:
1034:
982:
845:
730:
688:
640:
614:
568:
542:
494:
468:
448:
428:
408:
348:
210:
171:
144:
44:Bregman divergence
9882:10.3390/e19050206
9767:(11): 5130–5139.
9660:978-3-030-26979-1
9586:(12): 7616–7626.
9476:10.3390/e23111417
9407:Dhillon, Inderjit
9392:10.3390/e16126338
9377:(12): 6338–6381.
8935:
8881:
8840:
8795:
8683:
8603:
8545:
8467:{\displaystyle F}
8399:{\displaystyle Q}
8287:
8200:
7518:{\displaystyle l}
7498:{\displaystyle g}
7478:{\displaystyle l}
7458:{\displaystyle g}
7374:{\displaystyle l}
6773:{\displaystyle f}
6712:{\displaystyle f}
6629:{\displaystyle f}
6609:{\displaystyle t}
6414:{\displaystyle S}
6292:{\displaystyle f}
6272:{\displaystyle f}
5628:
5617:{\displaystyle A}
5603:positive definite
5339:, contradiction.
5290:{\displaystyle w}
5234:{\displaystyle w}
5084:{\displaystyle X}
5024:{\displaystyle W}
5004:{\displaystyle W}
4639:{\displaystyle 0}
4425:{\displaystyle W}
4374:{\displaystyle X}
4312:{\displaystyle y}
4299:is continuous in
4265:{\displaystyle y}
4070:{\displaystyle f}
3780:{\displaystyle f}
3649:{\displaystyle f}
3231:{\displaystyle W}
3208:{\displaystyle W}
3193:relative interior
2926:{\displaystyle W}
2903:{\displaystyle W}
2835:
2792:{\displaystyle W}
2772:{\displaystyle q}
2696:
2638:
2570:
2376:Parallelogram law
2154:{\displaystyle r}
2092:{\displaystyle X}
2072:{\displaystyle r}
2017:is closed), then
1969:{\displaystyle x}
1914:{\displaystyle x}
1894:{\displaystyle X}
1874:{\displaystyle X}
1854:{\displaystyle x}
1671:Mean as minimizer
497:{\displaystyle F}
471:{\displaystyle F}
451:{\displaystyle q}
431:{\displaystyle p}
16:(Redirected from
10131:
10104:
10078:
10069:(8): 1123–1127.
10055:
10037:
10028:(8): 5455–5466.
10014:
9997:
9979:
9949:
9935:
9925:
9923:
9910:
9896:
9886:
9884:
9866:
9841:
9839:
9837:
9831:
9824:
9812:
9801:
9799:
9793:. Archived from
9776:
9756:
9746:
9725:
9701:
9695:
9689:
9679:
9673:
9672:
9644:
9628:
9622:
9621:
9595:
9575:
9566:
9565:
9539:
9516:Nielsen, Frank;
9513:
9507:
9506:
9496:
9478:
9460:
9436:
9430:
9429:
9415:
9403:
9397:
9396:
9394:
9362:
9356:
9355:
9353:
9351:
9342:
9334:
9311:gradient descent
9300:softmax function
9277:Hamming distance
9233:Voronoi diagrams
9226:
9224:
9223:
9218:
9215:
9210:
9195:
9194:
9164:
9162:
9161:
9156:
9136:
9135:
9119:
9117:
9116:
9111:
9109:
9108:
9099:
9098:
9085:
9080:
9068:
9067:
9045:
9043:
9042:
9037:
9032:
9031:
9016:
9015:
8972:
8970:
8969:
8964:
8943:
8903:
8901:
8900:
8895:
8893:
8889:
8882:
8880:
8866:
8852:
8841:
8839:
8825:
8811:
8803:
8776:
8775:
8732:
8730:
8729:
8724:
8691:
8650:
8648:
8647:
8642:
8604:
8602:
8588:
8574:
8553:
8526:
8525:
8500:
8498:
8497:
8492:
8490:
8489:
8473:
8471:
8470:
8465:
8453:
8451:
8450:
8445:
8443:
8442:
8405:
8403:
8402:
8397:
8385:
8383:
8382:
8377:
8375:
8374:
8335:
8334:
8315:
8313:
8312:
8307:
8299:
8298:
8289:
8280:
8252:
8250:
8249:
8244:
8224:
8223:
8202:
8193:
8172:
8171:
8143:
8141:
8140:
8135:
8118:
8117:
8089:
8084:
8068:
8066:
8065:
8060:
8058:
8057:
8037:
8035:
8034:
8029:
8007:
8005:
8004:
7999:
7997:
7996:
7980:
7978:
7977:
7972:
7943:
7941:
7940:
7935:
7933:
7932:
7912:
7910:
7909:
7904:
7902:
7901:
7879:
7877:
7876:
7871:
7838:
7836:
7835:
7830:
7810:
7809:
7797:
7796:
7774:
7772:
7771:
7766:
7764:
7763:
7744:
7742:
7741:
7736:
7718:
7716:
7715:
7710:
7668:
7666:
7665:
7660:
7658:
7657:
7637:
7635:
7634:
7629:
7627:
7626:
7614:
7613:
7601:
7600:
7588:
7587:
7565:
7563:
7562:
7557:
7524:
7522:
7521:
7516:
7504:
7502:
7501:
7496:
7484:
7482:
7481:
7476:
7465:is quadratic on
7464:
7462:
7461:
7456:
7444:
7442:
7441:
7436:
7412:
7410:
7409:
7404:
7380:
7378:
7377:
7372:
7360:
7358:
7357:
7352:
7350:
7349:
7344:
7308:
7306:
7305:
7300:
7298:
7297:
7285:
7284:
7272:
7271:
7255:
7253:
7252:
7247:
7245:
7244:
7228:
7226:
7225:
7220:
7218:
7217:
7205:
7204:
7192:
7191:
7175:
7173:
7172:
7167:
7159:
7158:
7131:
7130:
7118:
7117:
7108:
7107:
7080:
7079:
7067:
7066:
7057:
7056:
7029:
7028:
6938:
6937:
6918:
6916:
6915:
6910:
6886:
6884:
6883:
6878:
6876:
6875:
6863:
6862:
6850:
6849:
6837:
6836:
6808:
6806:
6805:
6800:
6798:
6797:
6792:
6779:
6777:
6776:
6771:
6756:
6754:
6753:
6748:
6746:
6745:
6740:
6718:
6716:
6715:
6710:
6698:
6696:
6695:
6690:
6672:
6670:
6669:
6664:
6662:
6635:
6633:
6632:
6627:
6615:
6613:
6612:
6607:
6595:
6593:
6592:
6587:
6527:
6525:
6524:
6519:
6483:
6481:
6480:
6475:
6473:
6449:
6447:
6446:
6441:
6439:
6438:
6433:
6420:
6418:
6417:
6412:
6394:
6392:
6391:
6386:
6368:
6366:
6365:
6360:
6349:
6348:
6330:
6329:
6298:
6296:
6295:
6290:
6278:
6276:
6275:
6270:
6258:
6256:
6255:
6250:
6232:
6230:
6229:
6224:
6194:
6192:
6191:
6186:
6175:
6160:
6158:
6157:
6152:
6122:
6120:
6119:
6114:
6088:
6087:
6051:
6050:
6031:
6029:
6028:
6023:
5999:
5997:
5996:
5991:
5976:
5974:
5973:
5968:
5938:
5936:
5935:
5930:
5880:
5862:
5860:
5859:
5854:
5818:
5816:
5815:
5810:
5780:
5778:
5777:
5772:
5728:
5671:
5669:
5668:
5663:
5623:
5621:
5620:
5615:
5600:
5598:
5597:
5592:
5572:
5571:
5532:
5531:
5511:
5509:
5508:
5503:
5501:
5500:
5495:
5467:
5465:
5464:
5459:
5439:
5438:
5420:
5419:
5409:
5408:
5392:
5371:
5370:
5361:
5360:
5338:
5336:
5335:
5330:
5313:
5312:
5296:
5294:
5293:
5288:
5276:
5274:
5273:
5268:
5257:
5256:
5240:
5238:
5237:
5232:
5220:
5218:
5217:
5212:
5192:
5191:
5173:
5172:
5162:
5161:
5145:
5124:
5123:
5114:
5113:
5090:
5088:
5087:
5082:
5070:
5068:
5067:
5062:
5051:
5050:
5030:
5028:
5027:
5022:
5010:
5008:
5007:
5002:
4990:
4988:
4987:
4982:
4965:
4964:
4948:
4946:
4945:
4940:
4929:
4928:
4912:
4910:
4909:
4904:
4890:, which must be
4889:
4887:
4886:
4881:
4867:
4866:
4848:
4847:
4837:
4836:
4820:
4799:
4798:
4789:
4788:
4755:
4754:
4742:
4741:
4717:
4716:
4698:
4697:
4670:
4669:
4645:
4643:
4642:
4637:
4625:
4623:
4622:
4617:
4600:
4599:
4583:
4581:
4580:
4575:
4552:
4551:
4535:
4533:
4532:
4527:
4510:
4509:
4487:
4485:
4484:
4479:
4461:
4459:
4458:
4453:
4431:
4429:
4428:
4423:
4411:
4409:
4408:
4403:
4401:
4400:
4380:
4378:
4377:
4372:
4360:
4358:
4357:
4352:
4335:
4334:
4318:
4316:
4315:
4310:
4298:
4296:
4295:
4290:
4288:
4287:
4271:
4269:
4268:
4263:
4251:
4249:
4248:
4243:
4241:
4240:
4224:
4222:
4221:
4216:
4199:
4198:
4179:
4177:
4176:
4171:
4157:
4119:
4118:
4102:
4100:
4099:
4094:
4076:
4074:
4073:
4068:
4053:
4051:
4050:
4045:
4019:
4018:
4002:
4000:
3999:
3994:
3982:
3980:
3979:
3974:
3972:
3971:
3966:
3926:
3924:
3923:
3918:
3882:
3880:
3879:
3874:
3824:
3822:
3821:
3816:
3786:
3784:
3783:
3778:
3766:
3764:
3763:
3758:
3722:
3720:
3719:
3714:
3693:
3691:
3690:
3685:
3655:
3653:
3652:
3647:
3635:
3633:
3632:
3627:
3593:
3591:
3590:
3585:
3465:
3463:
3462:
3457:
3439:
3437:
3436:
3431:
3396:
3394:
3393:
3388:
3317:
3316:
3289:
3288:
3261:
3260:
3237:
3235:
3234:
3229:
3214:
3212:
3211:
3206:
3190:
3188:
3187:
3182:
3171:
3170:
3152:
3150:
3149:
3144:
3121:
3120:
3108:
3107:
3083:
3082:
3064:
3063:
3036:
3035:
3017:
3015:
3014:
3009:
2967:
2965:
2964:
2959:
2957:
2956:
2951:
2932:
2930:
2929:
2924:
2909:
2907:
2906:
2901:
2883:
2881:
2880:
2875:
2858:
2857:
2848:
2847:
2836:
2833:
2818:
2817:
2798:
2796:
2795:
2790:
2778:
2776:
2775:
2770:
2758:
2756:
2755:
2750:
2718:
2716:
2715:
2710:
2708:
2704:
2697:
2692:
2691:
2690:
2678:
2677:
2667:
2660:
2659:
2644:
2640:
2639:
2634:
2633:
2632:
2620:
2619:
2609:
2604:
2603:
2589:
2588:
2576:
2572:
2571:
2566:
2565:
2564:
2552:
2551:
2541:
2536:
2535:
2521:
2520:
2508:
2504:
2497:
2496:
2482:
2481:
2469:
2465:
2458:
2457:
2443:
2442:
2423:
2421:
2420:
2415:
2413:
2412:
2400:
2399:
2368:
2366:
2365:
2360:
2319:
2318:
2279:
2278:
2251:
2250:
2223:
2222:
2202:
2200:
2199:
2194:
2160:
2158:
2157:
2152:
2140:
2138:
2137:
2132:
2115:
2114:
2099:is closed, then
2098:
2096:
2095:
2090:
2078:
2076:
2075:
2070:
2058:
2056:
2055:
2050:
2033:
2032:
2016:
2014:
2013:
2008:
1975:
1973:
1972:
1967:
1955:
1953:
1952:
1947:
1920:
1918:
1917:
1912:
1900:
1898:
1897:
1892:
1880:
1878:
1877:
1872:
1860:
1858:
1857:
1852:
1840:
1838:
1837:
1832:
1811:
1809:
1808:
1803:
1801:
1800:
1795:
1776:
1774:
1773:
1768:
1766:
1762:
1740:
1739:
1695:
1694:
1663:
1661:
1660:
1655:
1650:
1649:
1625:
1624:
1612:
1611:
1569:
1568:
1541:
1539:
1538:
1533:
1513:
1512:
1496:
1494:
1493:
1488:
1468:
1467:
1445:
1443:
1442:
1437:
1420:
1419:
1404:
1403:
1391:
1390:
1378:
1377:
1376:
1375:
1348:
1346:
1345:
1340:
1323:
1322:
1306:
1304:
1303:
1298:
1296:
1295:
1279:
1277:
1276:
1271:
1269:
1268:
1252:
1250:
1249:
1244:
1242:
1241:
1225:convex conjugate
1213:
1211:
1210:
1205:
1188:
1187:
1186:
1185:
1150:
1149:
1148:
1147:
1115:
1114:
1113:
1112:
1097:
1096:
1069:
1067:
1066:
1061:
1043:
1041:
1040:
1035:
1033:
1032:
1020:
1019:
991:
989:
988:
983:
972:
971:
953:
952:
934:
933:
915:
914:
890:
889:
871:
870:
854:
852:
851:
846:
844:
843:
828:
827:
812:
811:
790:
789:
771:
770:
739:
737:
736:
731:
714:
713:
697:
695:
694:
689:
672:
671:
649:
647:
646:
641:
623:
621:
620:
615:
613:
612:
600:
599:
577:
575:
574:
569:
551:
549:
548:
543:
520:
519:
503:
501:
500:
495:
477:
475:
474:
469:
457:
455:
454:
449:
437:
435:
434:
429:
417:
415:
414:
409:
386:
385:
357:
355:
354:
349:
263:
262:
230:Taylor expansion
219:
217:
216:
211:
180:
178:
177:
172:
153:
151:
150:
145:
143:
64:parametric model
48:Bregman distance
21:
18:Bregman distance
10139:
10138:
10134:
10133:
10132:
10130:
10129:
10128:
10109:
10108:
10107:
10058:
10017:
10000:
9952:
9933:
9928:
9913:
9894:
9889:
9844:
9835:
9833:
9829:
9822:
9815:
9804:
9797:
9754:
9749:
9728:
9709:
9705:
9704:
9696:
9692:
9680:
9676:
9661:
9630:
9629:
9625:
9577:
9576:
9569:
9515:
9514:
9510:
9438:
9437:
9433:
9413:
9405:
9404:
9400:
9364:
9363:
9359:
9349:
9347:
9340:
9336:
9335:
9328:
9323:
9315:hedge algorithm
9296:
9273:convex function
9257:
9245:
9180:
9175:
9174:
9127:
9122:
9121:
9100:
9090:
9053:
9048:
9047:
9023:
9007:
8993:
8992:
8987:is the idea of
8981:
8912:
8911:
8867:
8853:
8826:
8812:
8809:
8805:
8767:
8762:
8761:
8663:
8662:
8589:
8575:
8517:
8512:
8511:
8481:
8476:
8475:
8456:
8455:
8434:
8408:
8407:
8388:
8387:
8366:
8326:
8321:
8320:
8290:
8258:
8257:
8215:
8163:
8158:
8157:
8150:
8109:
8071:
8070:
8049:
8044:
8043:
8014:
8013:
7988:
7983:
7982:
7957:
7956:
7924:
7919:
7918:
7893:
7882:
7881:
7841:
7840:
7801:
7788:
7777:
7776:
7755:
7750:
7749:
7721:
7720:
7671:
7670:
7649:
7644:
7643:
7640:
7618:
7605:
7592:
7579:
7568:
7567:
7527:
7526:
7507:
7506:
7487:
7486:
7467:
7466:
7447:
7446:
7415:
7414:
7383:
7382:
7363:
7362:
7339:
7313:
7312:
7289:
7276:
7263:
7258:
7257:
7236:
7231:
7230:
7209:
7196:
7183:
7178:
7177:
7150:
7122:
7109:
7099:
7071:
7058:
7048:
7020:
6929:
6924:
6923:
6889:
6888:
6867:
6854:
6841:
6828:
6811:
6810:
6787:
6782:
6781:
6762:
6761:
6735:
6724:
6723:
6701:
6700:
6675:
6674:
6641:
6640:
6618:
6617:
6598:
6597:
6530:
6529:
6528:, the function
6486:
6485:
6452:
6451:
6428:
6423:
6422:
6403:
6402:
6371:
6370:
6340:
6321:
6301:
6300:
6281:
6280:
6261:
6260:
6238:
6237:
6197:
6196:
6168:
6163:
6162:
6161:, we must have
6125:
6124:
6079:
6042:
6037:
6036:
6002:
6001:
5979:
5978:
5941:
5940:
5873:
5868:
5867:
5821:
5820:
5783:
5782:
5674:
5673:
5642:
5641:
5606:
5605:
5563:
5523:
5518:
5517:
5490:
5479:
5478:
5474:
5430:
5400:
5387:
5362:
5352:
5344:
5343:
5304:
5299:
5298:
5279:
5278:
5248:
5243:
5242:
5223:
5222:
5183:
5153:
5140:
5115:
5105:
5097:
5096:
5073:
5072:
5042:
5037:
5036:
5013:
5012:
4993:
4992:
4956:
4951:
4950:
4920:
4915:
4914:
4892:
4891:
4858:
4828:
4815:
4790:
4780:
4746:
4733:
4708:
4689:
4661:
4656:
4655:
4654:By cosine law,
4628:
4627:
4591:
4586:
4585:
4543:
4538:
4537:
4501:
4490:
4489:
4464:
4463:
4438:
4437:
4414:
4413:
4392:
4387:
4386:
4363:
4362:
4326:
4321:
4320:
4301:
4300:
4279:
4274:
4273:
4254:
4253:
4232:
4227:
4226:
4190:
4185:
4184:
4110:
4105:
4104:
4079:
4078:
4059:
4058:
4010:
4005:
4004:
3985:
3984:
3961:
3932:
3931:
3885:
3884:
3829:
3828:
3789:
3788:
3769:
3768:
3725:
3724:
3699:
3698:
3658:
3657:
3638:
3637:
3612:
3611:
3468:
3467:
3442:
3441:
3416:
3415:
3404:
3308:
3280:
3252:
3247:
3246:
3220:
3219:
3197:
3196:
3162:
3157:
3156:
3112:
3099:
3074:
3055:
3027:
3022:
3021:
2982:
2981:
2946:
2935:
2934:
2915:
2914:
2892:
2891:
2849:
2831:
2809:
2804:
2803:
2781:
2780:
2761:
2760:
2735:
2734:
2682:
2669:
2668:
2665:
2661:
2651:
2624:
2611:
2610:
2595:
2594:
2590:
2580:
2556:
2543:
2542:
2527:
2526:
2522:
2512:
2488:
2487:
2483:
2473:
2449:
2448:
2444:
2434:
2429:
2428:
2404:
2391:
2380:
2379:
2310:
2270:
2242:
2214:
2209:
2208:
2173:
2172:
2143:
2142:
2106:
2101:
2100:
2081:
2080:
2061:
2060:
2024:
2019:
2018:
1978:
1977:
1958:
1957:
1923:
1922:
1903:
1902:
1883:
1882:
1863:
1862:
1843:
1842:
1814:
1813:
1790:
1779:
1778:
1731:
1718:
1714:
1686:
1681:
1680:
1641:
1616:
1603:
1560:
1555:
1554:
1504:
1499:
1498:
1459:
1454:
1453:
1411:
1395:
1382:
1367:
1362:
1357:
1356:
1314:
1309:
1308:
1287:
1282:
1281:
1260:
1255:
1254:
1233:
1228:
1227:
1177:
1172:
1139:
1134:
1104:
1088:
1083:
1078:
1077:
1046:
1045:
1024:
1011:
1006:
1005:
963:
944:
925:
906:
881:
862:
857:
856:
835:
819:
803:
781:
762:
745:
744:
705:
700:
699:
663:
658:
657:
626:
625:
604:
591:
586:
585:
554:
553:
511:
506:
505:
486:
485:
460:
459:
440:
439:
420:
419:
377:
372:
371:
364:
254:
249:
248:
190:
189:
163:
162:
156:convex function
122:
121:
118:
52:convex function
34:, specifically
28:
23:
22:
15:
12:
11:
5:
10137:
10135:
10127:
10126:
10121:
10111:
10110:
10106:
10105:
10056:
10015:
9998:
9970:(2): 281–307.
9950:
9926:
9911:
9887:
9842:
9813:
9802:
9747:
9737:(3): 200–217.
9726:
9706:
9703:
9702:
9690:
9674:
9659:
9623:
9567:
9530:(2): 281–307.
9508:
9431:
9398:
9357:
9325:
9324:
9322:
9319:
9307:mirror descent
9295:
9292:
9256:
9253:
9244:
9241:
9214:
9209:
9205:
9201:
9198:
9193:
9190:
9187:
9183:
9154:
9151:
9148:
9145:
9142:
9139:
9134:
9130:
9107:
9103:
9097:
9093:
9089:
9084:
9079:
9075:
9071:
9066:
9063:
9060:
9056:
9035:
9030:
9026:
9022:
9019:
9014:
9010:
9006:
9003:
9000:
8983:A key tool in
8980:
8977:
8976:
8975:
8974:
8973:
8962:
8959:
8956:
8953:
8950:
8947:
8942:
8938:
8934:
8931:
8928:
8925:
8922:
8919:
8906:
8905:
8904:
8892:
8888:
8885:
8879:
8876:
8873:
8870:
8865:
8862:
8859:
8856:
8850:
8847:
8844:
8838:
8835:
8832:
8829:
8824:
8821:
8818:
8815:
8808:
8802:
8798:
8794:
8791:
8788:
8785:
8782:
8779:
8774:
8770:
8756:
8755:
8747:
8746:
8735:
8734:
8733:
8722:
8719:
8716:
8713:
8710:
8707:
8704:
8701:
8698:
8695:
8690:
8686:
8682:
8679:
8676:
8673:
8670:
8653:
8652:
8651:
8640:
8637:
8634:
8631:
8628:
8625:
8622:
8619:
8616:
8613:
8610:
8607:
8601:
8598:
8595:
8592:
8587:
8584:
8581:
8578:
8572:
8569:
8566:
8563:
8560:
8557:
8552:
8548:
8544:
8541:
8538:
8535:
8532:
8529:
8524:
8520:
8506:
8505:
8502:
8488:
8484:
8463:
8441:
8437:
8433:
8430:
8427:
8424:
8421:
8418:
8415:
8395:
8373:
8369:
8365:
8362:
8359:
8356:
8353:
8350:
8347:
8344:
8341:
8338:
8333:
8329:
8317:
8305:
8302:
8297:
8293:
8286:
8283:
8277:
8274:
8271:
8268:
8265:
8255:quadratic form
8242:
8239:
8236:
8233:
8230:
8227:
8222:
8218:
8214:
8211:
8208:
8205:
8199:
8196:
8190:
8187:
8184:
8181:
8178:
8175:
8170:
8166:
8149:
8146:
8133:
8130:
8127:
8124:
8121:
8116:
8112:
8108:
8105:
8102:
8099:
8096:
8093:
8088:
8083:
8079:
8056:
8052:
8040:
8039:
8027:
8024:
8021:
7995:
7991:
7970:
7967:
7964:
7953:
7931:
7927:
7900:
7896:
7892:
7889:
7869:
7866:
7863:
7860:
7857:
7854:
7851:
7848:
7828:
7825:
7822:
7819:
7816:
7813:
7808:
7804:
7800:
7795:
7791:
7787:
7784:
7762:
7758:
7734:
7731:
7728:
7708:
7705:
7702:
7699:
7696:
7693:
7690:
7687:
7684:
7681:
7678:
7656:
7652:
7638:is quadratic.
7625:
7621:
7617:
7612:
7608:
7604:
7599:
7595:
7591:
7586:
7582:
7578:
7575:
7555:
7552:
7549:
7546:
7543:
7540:
7537:
7534:
7514:
7494:
7474:
7454:
7434:
7431:
7428:
7425:
7422:
7402:
7399:
7396:
7393:
7390:
7370:
7348:
7343:
7338:
7335:
7332:
7329:
7326:
7323:
7320:
7296:
7292:
7288:
7283:
7279:
7275:
7270:
7266:
7243:
7239:
7216:
7212:
7208:
7203:
7199:
7195:
7190:
7186:
7165:
7162:
7157:
7153:
7149:
7146:
7143:
7140:
7137:
7134:
7129:
7125:
7121:
7116:
7112:
7106:
7102:
7098:
7095:
7092:
7089:
7086:
7083:
7078:
7074:
7070:
7065:
7061:
7055:
7051:
7047:
7044:
7041:
7038:
7035:
7032:
7027:
7023:
7019:
7016:
7013:
7010:
7007:
7004:
7001:
6998:
6995:
6992:
6989:
6986:
6983:
6980:
6977:
6974:
6971:
6968:
6965:
6962:
6959:
6956:
6953:
6950:
6947:
6944:
6941:
6936:
6932:
6908:
6905:
6902:
6899:
6896:
6874:
6870:
6866:
6861:
6857:
6853:
6848:
6844:
6840:
6835:
6831:
6827:
6824:
6821:
6818:
6796:
6791:
6769:
6744:
6739:
6734:
6731:
6719:becomes zero.
6708:
6688:
6685:
6682:
6661:
6657:
6654:
6651:
6648:
6625:
6605:
6585:
6582:
6579:
6576:
6573:
6570:
6567:
6564:
6561:
6558:
6555:
6552:
6549:
6546:
6543:
6540:
6537:
6517:
6514:
6511:
6508:
6505:
6502:
6499:
6496:
6493:
6472:
6468:
6465:
6462:
6459:
6437:
6432:
6410:
6384:
6381:
6378:
6358:
6355:
6352:
6347:
6343:
6339:
6336:
6333:
6328:
6324:
6320:
6317:
6314:
6311:
6308:
6288:
6268:
6248:
6245:
6222:
6219:
6216:
6213:
6210:
6207:
6204:
6184:
6181:
6178:
6174:
6171:
6150:
6147:
6144:
6141:
6138:
6135:
6132:
6112:
6109:
6106:
6103:
6100:
6097:
6094:
6091:
6086:
6082:
6078:
6075:
6072:
6069:
6066:
6063:
6060:
6057:
6054:
6049:
6045:
6021:
6018:
6015:
6012:
6009:
5989:
5986:
5966:
5963:
5960:
5957:
5954:
5951:
5948:
5928:
5925:
5922:
5919:
5916:
5913:
5910:
5907:
5904:
5901:
5898:
5895:
5892:
5889:
5886:
5883:
5879:
5876:
5852:
5849:
5846:
5843:
5840:
5837:
5834:
5831:
5828:
5808:
5805:
5802:
5799:
5796:
5793:
5790:
5770:
5767:
5764:
5761:
5758:
5755:
5752:
5749:
5746:
5743:
5740:
5737:
5734:
5731:
5727:
5723:
5720:
5717:
5714:
5711:
5708:
5705:
5702:
5699:
5696:
5693:
5690:
5687:
5684:
5681:
5661:
5658:
5655:
5652:
5649:
5627:
5626:
5625:
5613:
5590:
5587:
5584:
5581:
5578:
5575:
5570:
5566:
5562:
5559:
5556:
5553:
5550:
5547:
5544:
5541:
5538:
5535:
5530:
5526:
5499:
5494:
5489:
5486:
5473:
5470:
5457:
5454:
5451:
5448:
5445:
5442:
5437:
5433:
5429:
5426:
5423:
5418:
5415:
5412:
5407:
5403:
5399:
5396:
5391:
5386:
5383:
5380:
5377:
5374:
5369:
5365:
5359:
5355:
5351:
5328:
5325:
5322:
5319:
5316:
5311:
5307:
5297:, to decrease
5286:
5266:
5263:
5260:
5255:
5251:
5230:
5210:
5207:
5204:
5201:
5198:
5195:
5190:
5186:
5182:
5179:
5176:
5171:
5168:
5165:
5160:
5156:
5152:
5149:
5144:
5139:
5136:
5133:
5130:
5127:
5122:
5118:
5112:
5108:
5104:
5093:
5092:
5080:
5060:
5057:
5054:
5049:
5045:
5020:
5000:
4980:
4977:
4974:
4971:
4968:
4963:
4959:
4938:
4935:
4932:
4927:
4923:
4902:
4899:
4879:
4876:
4873:
4870:
4865:
4861:
4857:
4854:
4851:
4846:
4843:
4840:
4835:
4831:
4827:
4824:
4819:
4814:
4811:
4808:
4805:
4802:
4797:
4793:
4787:
4783:
4779:
4776:
4773:
4770:
4767:
4764:
4761:
4758:
4753:
4749:
4745:
4740:
4736:
4732:
4729:
4726:
4723:
4720:
4715:
4711:
4707:
4704:
4701:
4696:
4692:
4688:
4685:
4682:
4679:
4676:
4673:
4668:
4664:
4652:
4651:
4635:
4615:
4612:
4609:
4606:
4603:
4598:
4594:
4573:
4570:
4567:
4564:
4561:
4558:
4555:
4550:
4546:
4525:
4522:
4519:
4516:
4513:
4508:
4504:
4500:
4497:
4477:
4474:
4471:
4451:
4448:
4445:
4434:
4433:
4421:
4399:
4395:
4370:
4350:
4347:
4344:
4341:
4338:
4333:
4329:
4308:
4286:
4282:
4261:
4239:
4235:
4214:
4211:
4208:
4205:
4202:
4197:
4193:
4169:
4166:
4163:
4160:
4156:
4152:
4149:
4146:
4143:
4140:
4137:
4134:
4131:
4128:
4125:
4122:
4117:
4113:
4092:
4089:
4086:
4066:
4043:
4040:
4037:
4034:
4031:
4028:
4025:
4022:
4017:
4013:
3992:
3970:
3965:
3960:
3957:
3954:
3951:
3948:
3945:
3942:
3939:
3916:
3913:
3910:
3907:
3904:
3901:
3898:
3895:
3892:
3872:
3869:
3866:
3863:
3860:
3857:
3854:
3851:
3848:
3845:
3842:
3839:
3836:
3814:
3811:
3808:
3805:
3802:
3799:
3796:
3776:
3756:
3753:
3750:
3747:
3744:
3741:
3738:
3735:
3732:
3712:
3709:
3706:
3683:
3680:
3677:
3674:
3671:
3668:
3665:
3645:
3625:
3622:
3619:
3608:
3607:
3604:
3601:
3598:
3595:
3583:
3580:
3577:
3574:
3571:
3568:
3565:
3562:
3559:
3556:
3553:
3550:
3547:
3544:
3541:
3538:
3535:
3532:
3529:
3526:
3523:
3520:
3517:
3514:
3511:
3508:
3505:
3502:
3499:
3496:
3493:
3490:
3487:
3484:
3481:
3478:
3475:
3455:
3452:
3449:
3429:
3426:
3423:
3412:
3403:
3400:
3399:
3398:
3386:
3383:
3380:
3377:
3374:
3371:
3368:
3365:
3362:
3359:
3356:
3353:
3350:
3347:
3344:
3341:
3338:
3335:
3332:
3329:
3326:
3323:
3320:
3315:
3311:
3307:
3304:
3301:
3298:
3295:
3292:
3287:
3283:
3279:
3276:
3273:
3270:
3267:
3264:
3259:
3255:
3227:
3204:
3180:
3177:
3174:
3169:
3165:
3142:
3139:
3136:
3133:
3130:
3127:
3124:
3119:
3115:
3111:
3106:
3102:
3098:
3095:
3092:
3089:
3086:
3081:
3077:
3073:
3070:
3067:
3062:
3058:
3054:
3051:
3048:
3045:
3042:
3039:
3034:
3030:
3007:
3004:
3001:
2998:
2995:
2992:
2989:
2978:
2977:
2971:
2970:
2969:
2955:
2950:
2945:
2942:
2922:
2911:
2899:
2873:
2870:
2867:
2864:
2861:
2856:
2852:
2846:
2843:
2840:
2830:
2827:
2824:
2821:
2816:
2812:
2801:
2800:
2788:
2768:
2748:
2745:
2742:
2707:
2703:
2700:
2695:
2689:
2685:
2681:
2676:
2672:
2664:
2658:
2654:
2650:
2647:
2643:
2637:
2631:
2627:
2623:
2618:
2614:
2607:
2602:
2598:
2593:
2587:
2583:
2579:
2575:
2569:
2563:
2559:
2555:
2550:
2546:
2539:
2534:
2530:
2525:
2519:
2515:
2511:
2507:
2503:
2500:
2495:
2491:
2486:
2480:
2476:
2472:
2468:
2464:
2461:
2456:
2452:
2447:
2441:
2437:
2426:
2425:
2411:
2407:
2403:
2398:
2394:
2390:
2387:
2372:
2371:
2370:
2369:
2358:
2355:
2352:
2349:
2346:
2343:
2340:
2337:
2334:
2331:
2328:
2325:
2322:
2317:
2313:
2309:
2306:
2303:
2300:
2297:
2294:
2291:
2288:
2285:
2282:
2277:
2273:
2269:
2266:
2263:
2260:
2257:
2254:
2249:
2245:
2241:
2238:
2235:
2232:
2229:
2226:
2221:
2217:
2192:
2189:
2186:
2183:
2180:
2169:
2168:
2165:Law of cosines
2162:
2150:
2130:
2127:
2124:
2121:
2118:
2113:
2109:
2088:
2068:
2048:
2045:
2042:
2039:
2036:
2031:
2027:
2006:
2003:
2000:
1997:
1994:
1991:
1988:
1985:
1965:
1945:
1942:
1939:
1936:
1933:
1930:
1910:
1890:
1870:
1850:
1830:
1827:
1824:
1821:
1799:
1794:
1789:
1786:
1765:
1761:
1758:
1755:
1752:
1749:
1746:
1743:
1738:
1734:
1730:
1727:
1724:
1721:
1717:
1713:
1710:
1707:
1704:
1701:
1698:
1693:
1689:
1674:
1667:
1666:
1665:
1664:
1653:
1648:
1644:
1640:
1637:
1634:
1631:
1628:
1623:
1619:
1615:
1610:
1606:
1602:
1599:
1596:
1593:
1590:
1587:
1584:
1581:
1578:
1575:
1572:
1567:
1563:
1549:
1548:
1544:
1543:
1531:
1528:
1525:
1522:
1519:
1516:
1511:
1507:
1486:
1483:
1480:
1477:
1474:
1471:
1466:
1462:
1449:
1448:
1447:
1446:
1435:
1432:
1429:
1426:
1423:
1418:
1414:
1410:
1407:
1402:
1398:
1394:
1389:
1385:
1381:
1374:
1370:
1365:
1351:
1350:
1338:
1335:
1332:
1329:
1326:
1321:
1317:
1294:
1290:
1267:
1263:
1240:
1236:
1217:
1216:
1215:
1214:
1203:
1200:
1197:
1194:
1191:
1184:
1180:
1175:
1171:
1168:
1165:
1162:
1159:
1156:
1153:
1146:
1142:
1137:
1133:
1130:
1127:
1124:
1121:
1118:
1111:
1107:
1103:
1100:
1095:
1091:
1086:
1072:
1071:
1059:
1056:
1053:
1031:
1027:
1023:
1018:
1014:
995:
994:
993:
981:
978:
975:
970:
966:
962:
959:
956:
951:
947:
943:
940:
937:
932:
928:
924:
921:
918:
913:
909:
905:
902:
899:
896:
893:
888:
884:
880:
877:
874:
869:
865:
842:
838:
834:
831:
826:
822:
818:
815:
810:
806:
802:
799:
796:
793:
788:
784:
780:
777:
774:
769:
765:
761:
758:
755:
752:
729:
726:
723:
720:
717:
712:
708:
687:
684:
681:
678:
675:
670:
666:
651:
639:
636:
633:
611:
607:
603:
598:
594:
579:
567:
564:
561:
541:
538:
535:
532:
529:
526:
523:
518:
514:
493:
479:
467:
447:
427:
407:
404:
401:
398:
395:
392:
389:
384:
380:
368:Non-negativity
363:
360:
359:
358:
347:
344:
341:
338:
335:
332:
329:
326:
323:
320:
317:
314:
311:
308:
305:
302:
299:
296:
293:
290:
287:
284:
281:
278:
275:
272:
269:
266:
261:
257:
209:
206:
203:
200:
197:
170:
142:
138:
135:
132:
129:
117:
114:
110:Lev M. Bregman
26:
24:
14:
13:
10:
9:
6:
4:
3:
2:
10136:
10125:
10122:
10120:
10117:
10116:
10114:
10102:
10098:
10094:
10090:
10086:
10082:
10077:
10072:
10068:
10064:
10063:
10057:
10053:
10049:
10045:
10041:
10036:
10031:
10027:
10023:
10022:
10016:
10012:
10008:
10004:
9999:
9995:
9991:
9987:
9983:
9978:
9973:
9969:
9965:
9964:
9959:
9955:
9951:
9947:
9943:
9939:
9932:
9927:
9922:
9917:
9912:
9908:
9904:
9900:
9893:
9888:
9883:
9878:
9874:
9870:
9865:
9860:
9856:
9852:
9848:
9843:
9828:
9821:
9820:
9814:
9810:
9809:
9803:
9796:
9792:
9788:
9784:
9780:
9775:
9770:
9766:
9762:
9761:
9753:
9748:
9744:
9740:
9736:
9732:
9727:
9723:
9719:
9718:
9713:
9708:
9707:
9700:
9694:
9691:
9688:
9684:
9678:
9675:
9670:
9666:
9662:
9656:
9652:
9648:
9643:
9638:
9634:
9627:
9624:
9619:
9615:
9611:
9607:
9603:
9599:
9594:
9589:
9585:
9581:
9574:
9572:
9568:
9563:
9559:
9555:
9551:
9547:
9543:
9538:
9533:
9529:
9525:
9524:
9519:
9512:
9509:
9504:
9500:
9495:
9490:
9486:
9482:
9477:
9472:
9468:
9464:
9459:
9454:
9450:
9446:
9442:
9435:
9432:
9428:
9423:
9419:
9412:
9408:
9402:
9399:
9393:
9388:
9384:
9380:
9376:
9372:
9368:
9361:
9358:
9346:
9339:
9333:
9331:
9327:
9320:
9318:
9316:
9312:
9308:
9303:
9301:
9293:
9291:
9288:
9286:
9282:
9278:
9274:
9270:
9266:
9262:
9254:
9252:
9250:
9242:
9240:
9238:
9234:
9228:
9212:
9207:
9203:
9199:
9196:
9191:
9188:
9185:
9181:
9172:
9168:
9149:
9143:
9137:
9132:
9128:
9105:
9101:
9095:
9091:
9087:
9082:
9077:
9073:
9069:
9064:
9061:
9058:
9054:
9028:
9024:
9020:
9017:
9012:
9008:
9001:
8998:
8990:
8986:
8978:
8957:
8951:
8948:
8945:
8940:
8936:
8932:
8929:
8923:
8917:
8910:
8909:
8907:
8890:
8886:
8883:
8874:
8868:
8860:
8854:
8848:
8845:
8842:
8833:
8827:
8819:
8813:
8806:
8800:
8796:
8792:
8786:
8783:
8780:
8772:
8768:
8760:
8759:
8758:
8757:
8753:
8749:
8748:
8744:
8740:
8736:
8717:
8711:
8708:
8705:
8699:
8693:
8688:
8684:
8680:
8674:
8668:
8661:
8660:
8658:
8654:
8635:
8629:
8626:
8623:
8617:
8611:
8608:
8605:
8596:
8590:
8582:
8576:
8570:
8567:
8561:
8555:
8550:
8546:
8542:
8536:
8533:
8530:
8522:
8518:
8510:
8509:
8508:
8507:
8503:
8486:
8482:
8461:
8439:
8431:
8425:
8419:
8413:
8393:
8371:
8363:
8360:
8357:
8351:
8345:
8342:
8339:
8331:
8327:
8318:
8303:
8300:
8295:
8291:
8284:
8281:
8275:
8269:
8263:
8256:
8237:
8234:
8231:
8225:
8220:
8212:
8209:
8206:
8197:
8194:
8188:
8182:
8179:
8176:
8168:
8164:
8156:
8152:
8151:
8147:
8145:
8128:
8125:
8122:
8114:
8110:
8106:
8100:
8097:
8094:
8086:
8081:
8077:
8054:
8050:
8025:
8022:
8019:
8011:
7993:
7968:
7965:
7962:
7954:
7951:
7947:
7929:
7916:
7915:
7914:
7898:
7890:
7887:
7867:
7864:
7858:
7855:
7852:
7846:
7820:
7817:
7806:
7798:
7793:
7785:
7782:
7760:
7746:
7732:
7729:
7726:
7703:
7700:
7697:
7694:
7691:
7688:
7685:
7682:
7679:
7654:
7639:
7623:
7619:
7615:
7610:
7606:
7602:
7597:
7593:
7589:
7584:
7580:
7576:
7573:
7553:
7550:
7544:
7541:
7538:
7532:
7512:
7492:
7472:
7452:
7429:
7426:
7423:
7397:
7394:
7391:
7368:
7346:
7336:
7330:
7327:
7324:
7310:
7294:
7290:
7286:
7281:
7277:
7273:
7268:
7264:
7241:
7237:
7214:
7210:
7206:
7201:
7197:
7193:
7188:
7184:
7163:
7160:
7155:
7151:
7147:
7141:
7138:
7135:
7127:
7123:
7119:
7114:
7110:
7104:
7100:
7096:
7090:
7087:
7084:
7076:
7072:
7068:
7063:
7059:
7053:
7049:
7045:
7039:
7036:
7033:
7025:
7021:
7017:
7011:
7008:
7005:
6999:
6993:
6990:
6987:
6981:
6975:
6969:
6966:
6963:
6957:
6954:
6948:
6945:
6942:
6934:
6930:
6920:
6903:
6900:
6897:
6872:
6868:
6864:
6859:
6855:
6851:
6846:
6842:
6838:
6833:
6829:
6825:
6822:
6819:
6816:
6794:
6767:
6758:
6742:
6732:
6729:
6720:
6706:
6686:
6683:
6680:
6652:
6649:
6646:
6637:
6623:
6603:
6596:is linear in
6580:
6577:
6571:
6568:
6565:
6562:
6556:
6547:
6541:
6535:
6515:
6512:
6506:
6503:
6500:
6497:
6494:
6463:
6460:
6457:
6435:
6408:
6400:
6396:
6382:
6379:
6376:
6356:
6353:
6350:
6345:
6341:
6337:
6334:
6331:
6326:
6322:
6318:
6312:
6306:
6286:
6266:
6246:
6234:
6217:
6214:
6211:
6205:
6202:
6179:
6172:
6169:
6145:
6142:
6139:
6133:
6130:
6107:
6104:
6098:
6092:
6084:
6080:
6076:
6067:
6061:
6058:
6055:
6047:
6043:
6033:
6019:
6016:
6013:
6010:
6007:
5987:
5961:
5958:
5955:
5949:
5946:
5923:
5920:
5911:
5905:
5899:
5890:
5884:
5877:
5874:
5864:
5850:
5847:
5844:
5841:
5838:
5832:
5826:
5803:
5800:
5797:
5791:
5788:
5765:
5762:
5759:
5756:
5750:
5747:
5741:
5735:
5732:
5729:
5725:
5718:
5715:
5712:
5706:
5703:
5700:
5694:
5691:
5688:
5682:
5679:
5659:
5656:
5653:
5650:
5647:
5634:
5611:
5604:
5585:
5582:
5579:
5573:
5568:
5560:
5557:
5554:
5548:
5542:
5539:
5536:
5528:
5524:
5515:
5497:
5487:
5484:
5476:
5475:
5471:
5469:
5455:
5452:
5443:
5435:
5431:
5427:
5424:
5421:
5413:
5405:
5401:
5397:
5394:
5381:
5378:
5375:
5367:
5363:
5357:
5340:
5323:
5320:
5317:
5309:
5305:
5284:
5261:
5253:
5249:
5228:
5221:, then since
5208:
5205:
5196:
5188:
5184:
5180:
5177:
5174:
5166:
5158:
5154:
5150:
5147:
5134:
5131:
5128:
5120:
5116:
5110:
5078:
5055:
5047:
5043:
5034:
5033:
5032:
5018:
4998:
4975:
4972:
4969:
4961:
4957:
4933:
4925:
4921:
4900:
4897:
4871:
4863:
4859:
4855:
4852:
4849:
4841:
4833:
4829:
4825:
4822:
4809:
4806:
4803:
4795:
4791:
4785:
4774:
4768:
4765:
4759:
4751:
4747:
4738:
4734:
4730:
4721:
4713:
4709:
4705:
4702:
4694:
4690:
4686:
4680:
4677:
4674:
4666:
4662:
4649:
4648:
4647:
4633:
4610:
4607:
4604:
4596:
4592:
4571:
4568:
4562:
4559:
4556:
4548:
4544:
4520:
4517:
4514:
4506:
4502:
4498:
4495:
4475:
4472:
4469:
4449:
4446:
4443:
4419:
4397:
4393:
4384:
4383:
4382:
4368:
4361:is closed if
4345:
4342:
4339:
4331:
4327:
4306:
4284:
4280:
4259:
4237:
4233:
4209:
4206:
4203:
4195:
4191:
4181:
4167:
4164:
4158:
4154:
4150:
4147:
4144:
4138:
4135:
4129:
4126:
4123:
4115:
4111:
4090:
4087:
4084:
4064:
4055:
4038:
4035:
4032:
4026:
4020:
4015:
4011:
3990:
3968:
3958:
3952:
3949:
3946:
3940:
3928:
3911:
3908:
3905:
3899:
3893:
3890:
3864:
3861:
3858:
3852:
3846:
3840:
3826:
3809:
3806:
3803:
3797:
3774:
3754:
3751:
3745:
3742:
3739:
3733:
3710:
3707:
3704:
3695:
3681:
3678:
3672:
3666:
3643:
3623:
3620:
3617:
3605:
3602:
3599:
3596:
3578:
3575:
3572:
3569:
3563:
3557:
3551:
3545:
3539:
3530:
3524:
3518:
3515:
3509:
3503:
3500:
3494:
3488:
3485:
3479:
3473:
3450:
3447:
3424:
3421:
3413:
3410:
3406:
3405:
3401:
3381:
3378:
3375:
3372:
3366:
3360:
3354:
3348:
3342:
3333:
3327:
3324:
3321:
3313:
3309:
3305:
3299:
3296:
3293:
3285:
3281:
3277:
3271:
3268:
3265:
3257:
3253:
3244:
3241:
3240:
3239:
3225:
3216:
3202:
3194:
3175:
3167:
3163:
3153:
3140:
3134:
3131:
3125:
3117:
3113:
3104:
3100:
3096:
3087:
3079:
3075:
3071:
3068:
3060:
3056:
3052:
3046:
3043:
3040:
3032:
3028:
3019:
3005:
3002:
2999:
2996:
2990:
2987:
2975:
2972:
2953:
2943:
2920:
2912:
2897:
2889:
2888:
2887:
2886:
2885:
2868:
2865:
2862:
2854:
2850:
2844:
2841:
2838:
2828:
2822:
2814:
2810:
2786:
2766:
2743:
2740:
2732:
2729:
2728:
2723:
2719:
2705:
2701:
2698:
2693:
2687:
2683:
2679:
2674:
2670:
2662:
2656:
2652:
2648:
2645:
2641:
2635:
2629:
2625:
2621:
2616:
2612:
2605:
2600:
2596:
2591:
2585:
2581:
2577:
2573:
2567:
2561:
2557:
2553:
2548:
2544:
2537:
2532:
2528:
2523:
2517:
2513:
2509:
2505:
2501:
2498:
2493:
2489:
2484:
2478:
2474:
2470:
2466:
2462:
2459:
2454:
2450:
2445:
2439:
2435:
2409:
2405:
2401:
2396:
2392:
2388:
2385:
2377:
2374:
2373:
2350:
2344:
2338:
2332:
2326:
2315:
2307:
2304:
2301:
2295:
2289:
2286:
2283:
2275:
2271:
2267:
2261:
2258:
2255:
2247:
2243:
2239:
2233:
2230:
2227:
2219:
2215:
2207:
2206:
2205:
2204:
2203:
2190:
2187:
2184:
2181:
2178:
2166:
2163:
2148:
2125:
2122:
2119:
2111:
2107:
2086:
2066:
2043:
2040:
2037:
2029:
2025:
2004:
2001:
1995:
1992:
1989:
1983:
1963:
1940:
1937:
1934:
1928:
1908:
1888:
1868:
1848:
1828:
1825:
1822:
1797:
1787:
1784:
1763:
1759:
1756:
1750:
1747:
1744:
1736:
1732:
1728:
1725:
1722:
1719:
1715:
1711:
1705:
1702:
1699:
1691:
1687:
1678:
1675:
1672:
1669:
1668:
1646:
1642:
1638:
1635:
1629:
1621:
1617:
1608:
1604:
1600:
1594:
1588:
1585:
1579:
1576:
1573:
1565:
1561:
1553:
1552:
1551:
1550:
1546:
1545:
1526:
1520:
1514:
1509:
1505:
1481:
1475:
1469:
1464:
1460:
1451:
1450:
1430:
1427:
1424:
1416:
1412:
1408:
1400:
1396:
1392:
1387:
1383:
1372:
1368:
1363:
1355:
1354:
1353:
1352:
1333:
1330:
1327:
1319:
1315:
1292:
1288:
1265:
1238:
1234:
1226:
1222:
1219:
1218:
1198:
1195:
1192:
1182:
1178:
1173:
1169:
1166:
1160:
1157:
1154:
1144:
1140:
1135:
1131:
1125:
1122:
1119:
1109:
1105:
1101:
1098:
1093:
1089:
1084:
1076:
1075:
1074:
1073:
1057:
1054:
1051:
1029:
1025:
1021:
1016:
1012:
1003:
999:
996:
979:
976:
968:
964:
960:
957:
949:
945:
941:
938:
930:
926:
922:
919:
911:
907:
903:
900:
897:
894:
886:
882:
878:
875:
867:
863:
840:
836:
832:
829:
824:
820:
816:
813:
808:
804:
800:
797:
794:
791:
786:
782:
778:
775:
772:
767:
763:
759:
756:
753:
750:
742:
741:
724:
721:
718:
710:
706:
682:
679:
676:
668:
664:
655:
652:
637:
634:
631:
609:
605:
601:
596:
592:
583:
580:
565:
562:
559:
539:
536:
530:
527:
524:
516:
512:
491:
483:
480:
465:
445:
425:
405:
402:
396:
393:
390:
382:
378:
369:
366:
365:
361:
345:
339:
336:
333:
330:
324:
318:
309:
303:
297:
294:
288:
282:
279:
273:
270:
267:
259:
255:
247:
246:
245:
243:
239:
236:around point
235:
231:
227:
223:
204:
201:
198:
195:
187:
182:
161:
158:defined on a
157:
130:
127:
115:
113:
111:
106:
104:
103:least squares
100:
96:
95:flat manifold
92:
88:
84:
80:
75:
73:
69:
65:
61:
57:
53:
49:
45:
41:
37:
33:
19:
10066:
10060:
10025:
10019:
10002:
9967:
9961:
9937:
9898:
9854:
9850:
9834:. Retrieved
9827:the original
9818:
9806:
9795:the original
9764:
9758:
9734:
9730:
9724:: 1705–1749.
9721:
9715:
9693:
9685:, from this
9677:
9632:
9626:
9583:
9579:
9527:
9521:
9511:
9451:(11): 1417.
9448:
9444:
9434:
9425:
9421:
9417:
9401:
9374:
9370:
9360:
9348:. Retrieved
9344:
9304:
9297:
9294:Applications
9289:
9261:Stein's loss
9258:
9246:
9229:
9170:
9169:defines the
9166:
8982:
8153:The squared
8041:
7946:f-divergence
7839:, such that
7747:
7641:
7311:
6921:
6759:
6721:
6638:
6398:
6397:
6235:
6034:
5977:, and since
5865:
5639:
5516:), that is,
5341:
5094:
4653:
4462:. Take some
4435:
4182:
4056:
3929:
3827:
3723:, such that
3696:
3609:
3242:
3217:
3154:
3020:
2979:
2973:
2802:
2730:
2427:
2170:
2164:
1976:, such that
1956:centered at
1676:
1670:
1220:
1001:
997:
653:
581:
481:
367:
241:
237:
233:
225:
221:
185:
183:
119:
107:
76:
47:
43:
29:
5031:is convex.
4488:, then let
4385:Projection
1307:is dual to
188:for points
56:divergences
32:mathematics
10113:Categories
10076:1702.04877
9864:1701.01010
9857:(5): 206.
9774:cs/0611123
9642:1810.09113
9458:2107.05901
9345:utexas.edu
9321:References
7229:. Now use
6673:, we have
6195:linear on
4949:minimizes
3697:Take some
3656:, so that
3191:is in the
2733:: For any
2378:: for any
482:Positivity
362:Properties
160:convex set
116:Definition
36:statistics
10035:1004.5049
9977:0709.2196
9921:0711.3242
9610:0018-9448
9593:1404.6810
9554:0179-5376
9537:0709.2196
9485:1099-4300
9350:19 August
9200:∑
9141:∇
9133:∗
9074:∑
9021:…
8949:
8937:∑
8933:−
8884:−
8849:
8843:−
8797:∑
8709:
8685:∑
8659:function
8627:∑
8609:∑
8606:−
8571:
8547:∑
8436:‖
8429:‖
8368:‖
8361:−
8355:‖
8235:−
8210:−
8087:∗
7990:Γ
7966:≥
7926:Γ
7895:Γ
7891:∈
7824:∞
7812:→
7803:Γ
7799:×
7790:Γ
7757:Γ
7730:≥
7651:Γ
7337:∈
7319:∀
7000:⋅
6979:∇
6865:−
6852:−
6839:−
6826:−
6684:−
6656:→
6584:⟩
6554:∇
6551:⟨
6513:⊂
6467:→
6380:≻
6244:∇
6206:∈
6134:∈
5985:∇
5950:∈
5927:⟩
5897:∇
5894:⟨
5792:∈
5716:−
5698:‖
5692:−
5686:‖
5672:, define
5657:∈
5651:≠
5601:for some
5583:−
5558:−
5488:⊂
5450:⟩
5428:−
5354:∇
5350:⟨
5203:⟩
5181:−
5107:∇
5103:⟨
4970:⋅
4898:≥
4878:⟩
4856:−
4782:∇
4778:⟨
4731:−
4687:−
4605:⋅
4569:∩
4473:∈
4447:∈
4165:∩
4159:δ
4136:⊂
4085:δ
4039:ϵ
4024:∂
4021:∈
3991:δ
3959:⊂
3953:ϵ
3938:∂
3912:ϵ
3897:∂
3894:∈
3871:⟩
3862:−
3838:∇
3835:⟨
3810:ϵ
3795:∂
3752:⊂
3746:ϵ
3731:∂
3705:ϵ
3664:∇
3621:∈
3582:⟩
3576:−
3555:∇
3552:−
3537:∇
3534:⟨
3516:−
3486:−
3454:Ω
3451:∈
3428:Ω
3425:∈
3385:⟩
3379:−
3358:∇
3355:−
3340:∇
3337:⟨
3306:−
3278:−
3053:≥
3003:∈
2994:Ω
2991:∈
2944:⊂
2941:Ω
2863:ω
2842:∈
2839:ω
2747:Ω
2744:⊂
2702:θ
2684:θ
2671:θ
2626:θ
2613:θ
2597:θ
2558:θ
2545:θ
2529:θ
2502:θ
2490:θ
2463:θ
2451:θ
2406:θ
2393:θ
2386:θ
2342:∇
2339:−
2324:∇
2305:−
2296:−
2002:∩
1826:∈
1820:∀
1788:⊂
1777:. When
1757:≤
1723:∈
1652:⟩
1647:∗
1633:⟨
1630:−
1622:∗
1609:∗
1518:∇
1510:∗
1473:∇
1465:∗
1401:∗
1388:∗
1373:∗
1293:∗
1266:∗
1262:Ω
1239:∗
1170:λ
1102:λ
1055:≥
1052:λ
998:Linearity
977:≈
895:≈
795:−
654:Convexity
635:−
403:≥
343:⟩
337:−
316:∇
313:⟨
310:−
295:−
224:at point
208:Ω
205:∈
169:Ω
137:→
134:Ω
131::
10101:31899023
10052:14238708
9901:. IEEE.
9836:20 March
9669:53046425
9618:13108908
9503:34828115
9313:and the
9165:, where
8148:Examples
7913:, then:
7880:for all
6369:, where
6173:′
6123:for all
5878:′
5640:For any
4913:, since
4003:at some
3883:for all
2980:For any
2884:. Then
2171:For any
1881:, or if
418:for all
10081:Bibcode
9994:1327029
9869:Bibcode
9851:Entropy
9562:1327029
9494:8619509
9463:Bibcode
9445:Entropy
9379:Bibcode
9371:Entropy
8739:simplex
8657:entropy
7948:is the
7719:, with
7566:. Thus
7525:, thus
7381:across
6616:, then
4319:, thus
4103:. Then
1221:Duality
855:, then
484:: When
79:metrics
10099:
10050:
9992:
9789:
9667:
9657:
9616:
9608:
9560:
9552:
9501:
9491:
9483:
6919:line.
5819:. Let
5011:, and
4183:Since
4057:Since
3930:Since
3402:Proofs
2834:argmin
1452:Here,
10097:S2CID
10071:arXiv
10048:S2CID
10030:arXiv
9990:S2CID
9972:arXiv
9934:(PDF)
9916:arXiv
9895:(PDF)
9859:arXiv
9830:(PDF)
9823:(PDF)
9798:(PDF)
9787:S2CID
9769:arXiv
9755:(PDF)
9665:S2CID
9637:arXiv
9614:S2CID
9588:arXiv
9558:S2CID
9532:arXiv
9453:arXiv
9424:(4).
9414:(PDF)
9341:(PDF)
6401:: If
6399:Lemma
5866:Then
5629:Proof
5342:Thus
2779:onto
2079:. If
1841:, if
120:Let
9838:2014
9791:1254
9687:book
9655:ISBN
9606:ISSN
9550:ISSN
9499:PMID
9481:ISSN
9352:2023
9263:and
9235:and
8750:The
6922:Let
5939:for
5781:for
5206:>
4436:Fix
4381:is.
4088:>
3708:>
3610:Fix
3243:Lack
1497:and
901:>
624:iff
552:iff
42:, a
38:and
10089:doi
10040:doi
10007:doi
9982:doi
9942:doi
9903:doi
9877:doi
9779:doi
9739:doi
9699:pdf
9683:pdf
9647:doi
9598:doi
9542:doi
9489:PMC
9471:doi
9387:doi
8946:log
8846:log
8706:log
8568:log
7955:If
5095:If
4991:in
4252:in
4225:is
3195:of
2913:if
2890:if
980:0.2
942:0.1
904:0.9
833:0.1
817:0.9
798:0.9
776:0.1
232:of
46:or
30:In
10115::
10095:.
10087:.
10079:.
10067:24
10065:.
10046:.
10038:.
10026:57
10024:.
9988:.
9980:.
9968:44
9966:.
9960:.
9940:.
9936:.
9897:.
9875:.
9867:.
9855:19
9853:.
9849:.
9785:.
9777:.
9765:54
9763:.
9757:.
9733:.
9720:.
9714:.
9663:.
9653:.
9645:.
9612:.
9604:.
9596:.
9584:60
9582:.
9570:^
9556:.
9548:.
9540:.
9528:44
9526:.
9497:.
9487:.
9479:.
9469:.
9461:.
9449:23
9447:.
9443:.
9422:29
9420:.
9416:.
9385:.
9375:16
9373:.
9369:.
9343:.
9329:^
9317:.
9283:,
9279:,
9227:.
7745:.
6820::=
6548::=
6450:,
6395:.
6233:.
6032:.
5863:.
5468:.
4499::=
4272:,
4180:.
4054:.
3927:.
3825:.
3694:.
3215:.
3018:,
1712::=
1349:as
656::
584::
438:,
370::
244::
181:.
105:.
74:.
10103:.
10091::
10083::
10073::
10054:.
10042::
10032::
10013:.
10009::
9996:.
9984::
9974::
9948:.
9944::
9924:.
9918::
9909:.
9905::
9885:.
9879::
9871::
9861::
9840:.
9811:.
9781::
9771::
9745:.
9741::
9735:7
9722:6
9671:.
9649::
9639::
9620:.
9600::
9590::
9564:.
9544::
9534::
9505:.
9473::
9465::
9455::
9395:.
9389::
9381::
9354:.
9213:2
9208:i
9204:x
9197:=
9192:1
9189:+
9186:d
9182:x
9171:d
9167:F
9153:)
9150:p
9147:(
9144:F
9138:=
9129:p
9106:i
9102:x
9096:i
9092:p
9088:2
9083:d
9078:1
9070:=
9065:1
9062:+
9059:d
9055:x
9034:)
9029:d
9025:p
9018:,
9013:1
9009:p
9005:(
9002:=
8999:p
8961:)
8958:i
8955:(
8952:p
8941:i
8930:=
8927:)
8924:p
8921:(
8918:F
8891:)
8887:1
8878:)
8875:i
8872:(
8869:q
8864:)
8861:i
8858:(
8855:p
8837:)
8834:i
8831:(
8828:q
8823:)
8820:i
8817:(
8814:p
8807:(
8801:i
8793:=
8790:)
8787:q
8784:,
8781:p
8778:(
8773:F
8769:D
8754:,
8721:)
8718:i
8715:(
8712:p
8703:)
8700:i
8697:(
8694:p
8689:i
8681:=
8678:)
8675:p
8672:(
8669:F
8639:)
8636:i
8633:(
8630:q
8624:+
8621:)
8618:i
8615:(
8612:p
8600:)
8597:i
8594:(
8591:q
8586:)
8583:i
8580:(
8577:p
8565:)
8562:i
8559:(
8556:p
8551:i
8543:=
8540:)
8537:q
8534:,
8531:p
8528:(
8523:F
8519:D
8501:.
8487:F
8483:D
8462:F
8440:2
8432:x
8426:=
8423:)
8420:x
8417:(
8414:F
8394:Q
8372:2
8364:y
8358:x
8352:=
8349:)
8346:y
8343:,
8340:x
8337:(
8332:F
8328:D
8316:.
8304:x
8301:Q
8296:T
8292:x
8285:2
8282:1
8276:=
8273:)
8270:x
8267:(
8264:F
8241:)
8238:y
8232:x
8229:(
8226:Q
8221:T
8217:)
8213:y
8207:x
8204:(
8198:2
8195:1
8189:=
8186:)
8183:y
8180:,
8177:x
8174:(
8169:F
8165:D
8132:)
8129:v
8126:,
8123:w
8120:(
8115:F
8111:D
8107:=
8104:)
8101:w
8098:,
8095:v
8092:(
8082:F
8078:D
8055:F
8051:D
8038:.
8026:2
8023:=
8020:n
7994:n
7969:3
7963:n
7952:.
7930:n
7899:n
7888:x
7868:0
7865:=
7862:)
7859:x
7856:,
7853:x
7850:(
7847:D
7827:]
7821:,
7818:0
7815:[
7807:n
7794:n
7786::
7783:D
7761:n
7733:2
7727:n
7707:}
7704:n
7701:,
7698:.
7695:.
7692:.
7689:,
7686:2
7683:,
7680:1
7677:{
7655:n
7624:3
7620:q
7616:+
7611:2
7607:q
7603:+
7598:1
7594:q
7590:+
7585:0
7581:q
7577:=
7574:f
7554:0
7551:=
7548:)
7545:y
7542:,
7539:x
7536:(
7533:g
7513:l
7493:g
7473:l
7453:g
7433:}
7430:y
7427:=
7424:x
7421:{
7401:)
7398:y
7395:,
7392:x
7389:(
7369:l
7347:2
7342:R
7334:)
7331:y
7328:,
7325:x
7322:(
7295:3
7291:q
7287:,
7282:2
7278:q
7274:,
7269:1
7265:q
7242:0
7238:q
7215:3
7211:A
7207:,
7202:2
7198:A
7194:,
7189:1
7185:A
7164:y
7161:x
7156:3
7152:A
7148:=
7145:)
7142:y
7139:,
7136:x
7133:(
7128:3
7124:q
7120:,
7115:2
7111:y
7105:2
7101:A
7097:=
7094:)
7091:y
7088:,
7085:x
7082:(
7077:2
7073:q
7069:,
7064:2
7060:x
7054:1
7050:A
7046:=
7043:)
7040:y
7037:,
7034:x
7031:(
7026:1
7022:q
7018:,
7015:)
7012:y
7009:,
7006:x
7003:(
6997:)
6994:0
6991:,
6988:0
6985:(
6982:f
6976:+
6973:)
6970:0
6967:,
6964:0
6961:(
6958:f
6955:=
6952:)
6949:y
6946:,
6943:x
6940:(
6935:0
6931:q
6907:}
6904:y
6901:=
6898:x
6895:{
6873:3
6869:q
6860:2
6856:q
6847:1
6843:q
6834:0
6830:q
6823:f
6817:g
6795:2
6790:R
6768:f
6743:2
6738:R
6733:=
6730:S
6707:f
6687:q
6681:f
6660:R
6653:S
6650::
6647:q
6624:f
6604:t
6581:v
6578:,
6575:)
6572:v
6569:t
6566:+
6563:x
6560:(
6557:f
6545:)
6542:t
6539:(
6536:h
6516:S
6510:]
6507:v
6504:+
6501:x
6498:,
6495:x
6492:[
6471:R
6464:S
6461::
6458:f
6436:n
6431:R
6409:S
6383:0
6377:A
6357:C
6354:+
6351:x
6346:T
6342:B
6338:+
6335:x
6332:A
6327:T
6323:x
6319:+
6316:)
6313:x
6310:(
6307:f
6287:f
6267:f
6247:f
6221:]
6218:r
6215:,
6212:0
6209:[
6203:t
6183:)
6180:t
6177:(
6170:g
6149:]
6146:r
6143:,
6140:0
6137:[
6131:t
6111:)
6108:x
6105:;
6102:)
6099:t
6096:(
6093:z
6090:(
6085:f
6081:D
6077:=
6074:)
6071:)
6068:t
6065:(
6062:z
6059:;
6056:x
6053:(
6048:f
6044:D
6020:r
6017:,
6014:0
6011:=
6008:t
5988:f
5965:)
5962:r
5959:,
5956:0
5953:(
5947:t
5924:v
5921:,
5918:)
5915:)
5912:t
5909:(
5906:z
5903:(
5900:f
5891:=
5888:)
5885:t
5882:(
5875:g
5851:v
5848:t
5845:+
5842:x
5839:=
5836:)
5833:t
5830:(
5827:z
5807:]
5804:r
5801:,
5798:0
5795:[
5789:t
5769:)
5766:v
5763:t
5760:+
5757:x
5754:(
5751:f
5748:=
5745:)
5742:t
5739:(
5736:g
5733:,
5730:r
5726:/
5722:)
5719:x
5713:y
5710:(
5707:=
5704:v
5701:,
5695:x
5689:y
5683:=
5680:r
5660:X
5654:y
5648:x
5624:.
5612:A
5589:)
5586:x
5580:y
5577:(
5574:A
5569:T
5565:)
5561:x
5555:y
5552:(
5549:=
5546:)
5543:x
5540:,
5537:y
5534:(
5529:f
5525:D
5498:n
5493:R
5485:X
5456:0
5453:=
5447:)
5444:v
5441:(
5436:W
5432:P
5425:w
5422:,
5417:)
5414:v
5411:(
5406:W
5402:P
5398:=
5395:y
5390:|
5385:)
5382:v
5379:,
5376:y
5373:(
5368:f
5364:D
5358:y
5327:)
5324:v
5321:,
5318:y
5315:(
5310:f
5306:D
5285:w
5265:)
5262:v
5259:(
5254:W
5250:P
5229:w
5209:0
5200:)
5197:v
5194:(
5189:W
5185:P
5178:w
5175:,
5170:)
5167:v
5164:(
5159:W
5155:P
5151:=
5148:y
5143:|
5138:)
5135:v
5132:,
5129:y
5126:(
5121:f
5117:D
5111:y
5091:.
5079:X
5059:)
5056:v
5053:(
5048:W
5044:P
5019:W
4999:W
4979:)
4976:v
4973:,
4967:(
4962:f
4958:D
4937:)
4934:v
4931:(
4926:W
4922:P
4901:0
4875:)
4872:v
4869:(
4864:W
4860:P
4853:w
4850:,
4845:)
4842:v
4839:(
4834:W
4830:P
4826:=
4823:y
4818:|
4813:)
4810:v
4807:,
4804:y
4801:(
4796:f
4792:D
4786:y
4775:=
4772:)
4769:v
4766:,
4763:)
4760:v
4757:(
4752:W
4748:P
4744:(
4739:f
4735:D
4728:)
4725:)
4722:v
4719:(
4714:W
4710:P
4706:,
4703:w
4700:(
4695:f
4691:D
4684:)
4681:v
4678:,
4675:w
4672:(
4667:f
4663:D
4634:0
4614:)
4611:v
4608:,
4602:(
4597:f
4593:D
4572:W
4566:)
4563:r
4560:,
4557:v
4554:(
4549:f
4545:B
4524:)
4521:v
4518:,
4515:w
4512:(
4507:f
4503:D
4496:r
4476:W
4470:w
4450:X
4444:v
4420:W
4398:W
4394:P
4369:X
4349:)
4346:r
4343:,
4340:x
4337:(
4332:f
4328:B
4307:y
4285:f
4281:D
4260:y
4238:1
4234:C
4213:)
4210:x
4207:,
4204:y
4201:(
4196:f
4192:D
4168:X
4162:)
4155:/
4151:r
4148:,
4145:x
4142:(
4139:B
4133:)
4130:r
4127:,
4124:x
4121:(
4116:f
4112:B
4091:0
4065:f
4042:)
4036:,
4033:x
4030:(
4027:B
4016:0
4012:y
3969:n
3964:R
3956:)
3950:,
3947:x
3944:(
3941:B
3915:)
3909:,
3906:x
3903:(
3900:B
3891:y
3868:)
3865:x
3859:y
3856:(
3853:,
3850:)
3847:y
3844:(
3841:f
3813:)
3807:,
3804:x
3801:(
3798:B
3775:f
3755:X
3749:)
3743:,
3740:x
3737:(
3734:B
3711:0
3682:0
3679:=
3676:)
3673:x
3670:(
3667:f
3644:f
3624:X
3618:x
3594:.
3579:x
3573:y
3570:,
3567:)
3564:x
3561:(
3558:G
3549:)
3546:x
3543:(
3540:F
3531:+
3528:)
3525:x
3522:(
3519:G
3513:)
3510:x
3507:(
3504:F
3501:=
3498:)
3495:y
3492:(
3489:G
3483:)
3480:y
3477:(
3474:F
3448:y
3422:x
3411:.
3382:y
3376:z
3373:,
3370:)
3367:x
3364:(
3361:f
3352:)
3349:y
3346:(
3343:f
3334:=
3331:)
3328:x
3325:,
3322:y
3319:(
3314:F
3310:D
3303:)
3300:y
3297:,
3294:z
3291:(
3286:F
3282:D
3275:)
3272:x
3269:,
3266:z
3263:(
3258:F
3254:D
3226:W
3203:W
3179:)
3176:v
3173:(
3168:W
3164:P
3141:.
3138:)
3135:v
3132:,
3129:)
3126:v
3123:(
3118:W
3114:P
3110:(
3105:F
3101:D
3097:+
3094:)
3091:)
3088:v
3085:(
3080:W
3076:P
3072:,
3069:a
3066:(
3061:F
3057:D
3050:)
3047:v
3044:,
3041:a
3038:(
3033:F
3029:D
3006:W
3000:a
2997:,
2988:v
2976::
2954:n
2949:R
2921:W
2898:W
2872:)
2869:q
2866:,
2860:(
2855:F
2851:D
2845:W
2829:=
2826:)
2823:q
2820:(
2815:W
2811:P
2799::
2787:W
2767:q
2741:W
2706:)
2699::
2694:2
2688:2
2680:+
2675:1
2663:(
2657:F
2653:B
2649:2
2646:+
2642:)
2636:2
2630:2
2622:+
2617:1
2606::
2601:2
2592:(
2586:F
2582:B
2578:+
2574:)
2568:2
2562:2
2554:+
2549:1
2538::
2533:1
2524:(
2518:F
2514:B
2510:=
2506:)
2499::
2494:2
2485:(
2479:F
2475:B
2471:+
2467:)
2460::
2455:1
2446:(
2440:F
2436:B
2424:,
2410:2
2402:,
2397:1
2389:,
2357:)
2354:)
2351:z
2348:(
2345:F
2336:)
2333:q
2330:(
2327:F
2321:(
2316:T
2312:)
2308:z
2302:p
2299:(
2293:)
2290:q
2287:,
2284:z
2281:(
2276:F
2272:D
2268:+
2265:)
2262:z
2259:,
2256:p
2253:(
2248:F
2244:D
2240:=
2237:)
2234:q
2231:,
2228:p
2225:(
2220:F
2216:D
2191:z
2188:,
2185:q
2182:,
2179:p
2167::
2161:.
2149:r
2129:)
2126:r
2123:,
2120:x
2117:(
2112:f
2108:B
2087:X
2067:r
2047:)
2044:r
2041:,
2038:x
2035:(
2030:f
2026:B
2005:X
1999:)
1996:r
1993:,
1990:x
1987:(
1984:B
1964:x
1944:)
1941:r
1938:,
1935:x
1932:(
1929:B
1909:x
1889:X
1869:X
1849:x
1829:X
1823:x
1798:n
1793:R
1785:X
1764:}
1760:r
1754:)
1751:x
1748:,
1745:y
1742:(
1737:f
1733:D
1729::
1726:X
1720:y
1716:{
1709:)
1706:r
1703:,
1700:x
1697:(
1692:f
1688:B
1643:q
1639:,
1636:p
1627:)
1618:q
1614:(
1605:F
1601:+
1598:)
1595:p
1592:(
1589:F
1586:=
1583:)
1580:q
1577:,
1574:p
1571:(
1566:F
1562:D
1530:)
1527:q
1524:(
1521:F
1515:=
1506:q
1485:)
1482:p
1479:(
1476:F
1470:=
1461:p
1434:)
1431:p
1428:,
1425:q
1422:(
1417:F
1413:D
1409:=
1406:)
1397:q
1393:,
1384:p
1380:(
1369:F
1364:D
1337:)
1334:q
1331:,
1328:p
1325:(
1320:F
1316:D
1289:F
1235:F
1202:)
1199:q
1196:,
1193:p
1190:(
1183:2
1179:F
1174:D
1167:+
1164:)
1161:q
1158:,
1155:p
1152:(
1145:1
1141:F
1136:D
1132:=
1129:)
1126:q
1123:,
1120:p
1117:(
1110:2
1106:F
1099:+
1094:1
1090:F
1085:D
1070:,
1058:0
1030:2
1026:F
1022:,
1017:1
1013:F
1002:F
992:.
974:)
969:2
965:x
961:,
958:y
955:(
950:f
946:D
939:+
936:)
931:1
927:x
923:,
920:y
917:(
912:f
908:D
898:1
892:)
887:3
883:x
879:,
876:y
873:(
868:f
864:D
841:2
837:x
830:+
825:1
821:x
814:=
809:3
805:x
801:,
792:=
787:2
783:x
779:,
773:=
768:1
764:x
760:,
757:1
754:=
751:y
728:)
725:q
722:,
719:p
716:(
711:F
707:D
686:)
683:q
680:,
677:p
674:(
669:F
665:D
638:G
632:F
610:G
606:D
602:=
597:F
593:D
578:.
566:q
563:=
560:p
540:0
537:=
534:)
531:q
528:,
525:p
522:(
517:F
513:D
492:F
478:.
466:F
446:q
426:p
406:0
400:)
397:q
394:,
391:p
388:(
383:F
379:D
346:.
340:q
334:p
331:,
328:)
325:q
322:(
319:F
307:)
304:q
301:(
298:F
292:)
289:p
286:(
283:F
280:=
277:)
274:q
271:,
268:p
265:(
260:F
256:D
242:p
238:q
234:F
226:p
222:F
202:q
199:,
196:p
186:F
141:R
128:F
20:)
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.
