2113:
1587:
544:
2108:{\displaystyle {\begin{aligned}D_{KL}(P\parallel Q)&=E_{Q}\\&\geq {\frac {1}{2}}E_{Q}\left\\&\geq {\frac {1}{2}}{\frac {E_{Q}^{2}}{E_{Q}}}&{\text{(from Titu's lemma)}}\\&={\frac {1}{2}}E_{Q}^{2}&{\text{(As }}E_{Q}=1{\text{ )}}\\&={\frac {1}{2}}V(p,q)^{2}.\end{aligned}}}
384:
329:
3134:
2922:
705:
1223:
213:
2653:
2294:
1318:
850:
2489:
1078:
539:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\operatorname {E} _{P}\left(\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)=\int _{X}\left(\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} P}
1419:
2429:
2775:
2176:
1592:
224:
3271:
The divergence becomes infinite whenever one of the two distributions assigns probability zero to an event while the other assigns it a nonzero probability (no matter how small); see e.g.
3018:
1579:
2822:
2381:
2348:
583:
1093:
1493:
2577:
125:
2984:
989:
335:
2521:
743:
3010:
902:
922:
772:
3208:, Séminaire de Probabilités, XII (Univ. Strasbourg, Strasbourg, 1976/1977), pp. 342–363, Lecture Notes in Math., 649, Springer, Berlin, 1978, Lemma 2.1 (French).
2945:
2815:
2795:
2696:
2676:
2196:
1469:
1449:
962:
942:
575:
376:
356:
86:
66:
133:
3221:, Revised and extended from the 2004 French original. Translated by Vladimir Zaiats. Springer Series in Statistics. Springer, New York, 2009. xii+214 pp.
2582:
2208:
1234:
3226:
3189:
780:
3302:
Götze, Friedrich; Sambale, Holger; Sinulis, Arthur (2019). "Higher order concentration for functions of weakly dependent random variables".
2434:
997:
3379:
1498:
This form of
Pinsker's inequality shows that "convergence in divergence" is a stronger notion than "convergence in variation distance".
3284:
3256:
3164:
2199:
1329:
2386:
1084:
550:
37:
2701:
874:
Note that the expression of
Pinsker inequality depends on what basis of logarithm is used in the definition of KL-divergence.
2304:
Pinsker first proved the inequality with a greater constant. The inequality in the above form was proved independently by
2128:
1502:
1429:
324:{\displaystyle \delta (P,Q)=\sup {\bigl \{}|P(A)-Q(A)|\mid \quad A\in \Sigma {\text{ is a measurable event}}{\bigr \}}}
3374:
1083:
Given the above comments, there is an alternative statement of
Pinsker's inequality in some literature that relates
2119:
3129:{\displaystyle \delta (P,Q)^{2}\leq {\frac {1}{2}}D(P\parallel Q)\leq {\frac {1}{\alpha _{Q}}}\delta (P,Q)^{2}.}
2948:
89:
33:
29:
1508:
25:
2917:{\displaystyle {\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)\leq {\frac {1}{\alpha _{Q}}}\delta (P,Q)^{2}.}
856:
700:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)=\sum _{i\in X}\left(\log {\frac {P(i)}{Q(i)}}\right)P(i)\!}
2353:
1218:{\displaystyle D(P\parallel Q)={\frac {D_{KL}(P\parallel Q)}{\ln 2}}\geq {\frac {1}{2\ln 2}}V^{2}(p,q),}
2327:
1474:
2526:
3329:
3311:
2313:
98:
17:
3248:
2954:
967:
3280:
3274:
3252:
3222:
3185:
3160:
3154:
2494:
716:
3321:
3240:
2989:
2305:
877:
93:
2125:
Note that the lower bound from
Pinsker's inequality is vacuous for any distributions where
1425:
907:
711:
2309:
751:
208:{\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}},}
2930:
2800:
2780:
2681:
2661:
2181:
1454:
1434:
947:
927:
746:
560:
361:
341:
71:
51:
3368:
3241:
3333:
2648:{\displaystyle P_{\varepsilon }(0)=\varepsilon ,P_{\varepsilon }(1)=1-\varepsilon }
860:
2289:{\displaystyle \delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.}
1313:{\displaystyle {\sqrt {\frac {D_{KL}(P\parallel Q)}{2}}}\geq {\frac {V(p,q)}{2}},}
554:
774:, Pinsker's inequality differs from the one given above by a factor of two:
845:{\displaystyle \|P-Q\|\leq {\sqrt {2D_{\mathrm {KL} }(P\parallel Q)}}.}
3325:
2484:{\displaystyle D_{\mathrm {KL} }(P_{\varepsilon }\parallel Q)=\infty }
1073:{\displaystyle D(P\parallel Q)={\frac {D_{KL}(P\parallel Q)}{\ln 2}}.}
3316:
3156:
Information Theory: Coding
Theorems for Discrete Memoryless Systems
2198:. For such distributions, an alternative bound can be used, due to
2698:. More specifically, it can be shown that with the definition
1414:{\displaystyle V(p,q)=\sum _{x\in {\mathcal {X}}}|p(x)-q(x)|}
577:
is a finite set, the
Kullback–Leibler divergence is given by
2424:{\displaystyle \delta (P_{\varepsilon },Q)\leq \varepsilon }
2324:
A precise inverse of the inequality cannot hold: for every
1480:
1367:
2770:{\displaystyle \alpha _{Q}:=\min _{x\in X:Q(x)>0}Q(x)}
2658:
However, an inverse inequality holds on finite spaces
3021:
2992:
2957:
2933:
2825:
2803:
2783:
2704:
2684:
2664:
2585:
2529:
2497:
2437:
2389:
2356:
2330:
2211:
2184:
2131:
1590:
1511:
1477:
1457:
1437:
1332:
1237:
1096:
1000:
970:
950:
930:
910:
880:
783:
754:
719:
586:
563:
387:
364:
344:
227:
136:
101:
74:
54:
2171:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)>2}
3128:
3004:
2978:
2939:
2916:
2809:
2789:
2769:
2690:
2670:
2647:
2571:
2515:
2491:. An easy example is given by the two-point space
2483:
2423:
2375:
2342:
2288:
2190:
2170:
2107:
1573:
1487:
1463:
1443:
1413:
1312:
1217:
1072:
983:
956:
936:
916:
896:
844:
766:
737:
699:
569:
538:
370:
350:
323:
207:
119:
80:
60:
40:. The inequality is tight up to constant factors.
696:
2719:
2178:, since the total variation distance is at most
249:
316:
254:
8:
2510:
2498:
796:
784:
732:
720:
3159:. Cambridge University Press. p. 44.
36:(or statistical distance) in terms of the
3315:
3117:
3090:
3081:
3050:
3041:
3020:
2991:
2956:
2932:
2905:
2878:
2869:
2841:
2840:
2826:
2824:
2802:
2782:
2722:
2709:
2703:
2683:
2663:
2618:
2590:
2584:
2528:
2496:
2460:
2443:
2442:
2436:
2400:
2388:
2361:
2355:
2329:
2254:
2253:
2245:
2233:
2210:
2183:
2137:
2136:
2130:
2092:
2063:
2048:
2031:
2004:
1995:
1987:
1978:
1961:
1952:
1938:
1923:
1907:
1880:
1868:
1859:
1842:
1833:
1826:
1816:
1791:
1765:
1749:
1739:
1725:
1634:
1599:
1591:
1589:
1539:
1510:
1479:
1478:
1476:
1456:
1436:
1406:
1374:
1366:
1365:
1358:
1331:
1280:
1246:
1238:
1236:
1191:
1166:
1125:
1118:
1095:
1029:
1022:
999:
975:
969:
949:
929:
909:
885:
879:
855:A proof of Pinsker's inequality uses the
812:
811:
802:
782:
753:
718:
647:
624:
592:
591:
585:
562:
528:
527:
511:
501:
498:
481:
458:
448:
445:
425:
393:
392:
386:
363:
343:
315:
314:
309:
291:
259:
253:
252:
226:
175:
174:
160:
158:
135:
100:
73:
53:
3354:, 2nd edition, Willey-Interscience, 2006
3243:Introduction to Nonparametric Estimation
3219:Introduction to nonparametric estimation
3206:Estimation des densités: risque minimax
3145:
1574:{\displaystyle r(x)=P(x)/Q(x)-1\geq -1}
3357:Nicolo Cesa-Bianchi and Gábor Lugosi:
3276:Data Complexity in Pattern Recognition
3182:Information Theory and Network Coding
3153:Csiszár, Imre; Körner, János (2011).
48:Pinsker's inequality states that, if
7:
3350:Thomas M. Cover and Joy A. Thomas:
3184:. Hong Kong: Springer. p. 26.
2118:Here Titu's lemma is also known as
1426:(non-normalized) variation distance
3361:, Cambridge University Press, 2006
2845:
2842:
2797:which is absolutely continuous to
2478:
2447:
2444:
2376:{\displaystyle P_{\varepsilon },Q}
2258:
2255:
2141:
2138:
816:
813:
596:
593:
529:
512:
502:
459:
449:
422:
397:
394:
338:(or statistical distance) between
306:
179:
176:
111:
14:
3304:Electronic Journal of Probability
3273:Basu, Mitra; Ho, Tin Kam (2006).
2343:{\displaystyle \varepsilon >0}
3359:Prediction, Learning, and Games
299:
3352:Elements of Information Theory
3114:
3101:
3075:
3063:
3038:
3025:
2967:
2961:
2902:
2889:
2863:
2851:
2764:
2758:
2744:
2738:
2630:
2624:
2602:
2596:
2560:
2554:
2539:
2533:
2472:
2453:
2412:
2393:
2276:
2264:
2227:
2215:
2159:
2147:
2089:
2076:
2039:
2028:
2022:
2010:
1984:
1979:
1975:
1969:
1962:
1958:
1915:
1904:
1898:
1886:
1865:
1860:
1856:
1850:
1843:
1839:
1788:
1782:
1762:
1755:
1712:
1709:
1703:
1694:
1691:
1685:
1673:
1664:
1661:
1655:
1643:
1640:
1620:
1608:
1553:
1547:
1536:
1530:
1521:
1515:
1488:{\displaystyle {\mathcal {X}}}
1407:
1403:
1397:
1388:
1382:
1375:
1348:
1336:
1298:
1286:
1267:
1255:
1209:
1197:
1146:
1134:
1112:
1100:
1050:
1038:
1016:
1004:
834:
822:
693:
687:
673:
667:
659:
653:
614:
602:
415:
403:
292:
288:
282:
273:
267:
260:
243:
231:
197:
185:
152:
140:
114:
102:
1:
2678:with a constant depending on
2572:{\displaystyle Q(0)=0,Q(1)=1}
1430:probability density functions
991:(logarithm in base 2). Then,
3239:Tsybakov, Alexandre (2009).
3204:Bretagnolle, J.; Huber, C,
551:Kullback–Leibler divergence
311: is a measurable event
120:{\displaystyle (X,\Sigma )}
38:Kullback–Leibler divergence
24:, named after its inventor
3398:
3380:Probabilistic inequalities
3180:Raymond W., Yeung (2008).
2350:, there are distributions
964:is typically defined with
710:Note that in terms of the
3279:. Springer. p. 161.
2979:{\displaystyle Q(x)>0}
984:{\displaystyle \log _{2}}
557:. When the sample space
90:probability distributions
3217:Tsybakov, Alexandre B.,
2777:we have for any measure
1087:to variation distance:
336:total variation distance
34:total variation distance
2516:{\displaystyle \{0,1\}}
2202:(see, also, Tsybakov):
738:{\displaystyle \|P-Q\|}
26:Mark Semenovich Pinsker
3130:
3006:
3005:{\displaystyle x\in X}
2980:
2941:
2918:
2811:
2791:
2771:
2692:
2672:
2649:
2573:
2517:
2485:
2425:
2377:
2344:
2290:
2192:
2172:
2120:Sedrakyan's inequality
2109:
1575:
1489:
1465:
1445:
1415:
1314:
1219:
1085:information divergence
1074:
985:
958:
938:
918:
898:
897:{\displaystyle D_{KL}}
846:
768:
739:
701:
571:
540:
372:
352:
325:
209:
121:
82:
62:
3131:
3007:
2981:
2942:
2927:As a consequence, if
2919:
2812:
2792:
2772:
2693:
2673:
2650:
2574:
2518:
2486:
2426:
2378:
2345:
2291:
2200:Bretagnolle and Huber
2193:
2173:
2110:
1576:
1490:
1471:on the same alphabet
1466:
1446:
1416:
1315:
1220:
1075:
986:
959:
939:
919:
899:
847:
769:
740:
702:
572:
541:
373:
353:
326:
210:
122:
83:
63:
3247:. Springer. p.
3019:
2990:
2955:
2931:
2823:
2801:
2781:
2702:
2682:
2662:
2583:
2527:
2495:
2435:
2387:
2354:
2328:
2209:
2182:
2129:
1588:
1509:
1505:is shown by letting
1475:
1455:
1435:
1330:
1235:
1094:
998:
968:
948:
928:
917:{\displaystyle \ln }
908:
878:
857:partition inequality
781:
752:
717:
712:total variation norm
584:
561:
385:
362:
342:
225:
134:
99:
72:
52:
22:Pinsker's inequality
1925:(from Titu's lemma)
924:(logarithm in base
870:Alternative version
767:{\displaystyle P-Q}
3375:Information theory
3126:
3002:
2976:
2937:
2914:
2807:
2787:
2767:
2754:
2688:
2668:
2645:
2569:
2513:
2481:
2421:
2373:
2340:
2286:
2188:
2168:
2105:
2103:
1571:
1501:A simple proof by
1485:
1461:
1441:
1411:
1373:
1310:
1215:
1070:
981:
954:
934:
914:
894:
842:
764:
735:
697:
635:
567:
536:
368:
348:
321:
205:
117:
78:
58:
18:information theory
3326:10.1214/19-EJP338
3300:see Lemma 4.1 in
3227:978-0-387-79051-0
3191:978-0-387-79233-0
3096:
3058:
2940:{\displaystyle Q}
2884:
2834:
2810:{\displaystyle Q}
2790:{\displaystyle P}
2718:
2691:{\displaystyle Q}
2671:{\displaystyle X}
2281:
2191:{\displaystyle 1}
2071:
2051:
1998:
1946:
1926:
1919:
1824:
1800:
1733:
1464:{\displaystyle q}
1444:{\displaystyle p}
1354:
1305:
1275:
1274:
1185:
1161:
1065:
957:{\displaystyle D}
937:{\displaystyle e}
904:is defined using
837:
677:
620:
570:{\displaystyle X}
520:
467:
371:{\displaystyle Q}
351:{\displaystyle P}
312:
200:
168:
81:{\displaystyle Q}
61:{\displaystyle P}
3387:
3338:
3337:
3319:
3298:
3292:
3290:
3269:
3263:
3262:
3246:
3236:
3230:
3229:, Equation 2.25.
3215:
3209:
3202:
3196:
3195:
3177:
3171:
3170:
3150:
3135:
3133:
3132:
3127:
3122:
3121:
3097:
3095:
3094:
3082:
3059:
3051:
3046:
3045:
3011:
3009:
3008:
3003:
2985:
2983:
2982:
2977:
2946:
2944:
2943:
2938:
2923:
2921:
2920:
2915:
2910:
2909:
2885:
2883:
2882:
2870:
2850:
2849:
2848:
2835:
2827:
2816:
2814:
2813:
2808:
2796:
2794:
2793:
2788:
2776:
2774:
2773:
2768:
2753:
2714:
2713:
2697:
2695:
2694:
2689:
2677:
2675:
2674:
2669:
2654:
2652:
2651:
2646:
2623:
2622:
2595:
2594:
2578:
2576:
2575:
2570:
2522:
2520:
2519:
2514:
2490:
2488:
2487:
2482:
2465:
2464:
2452:
2451:
2450:
2430:
2428:
2427:
2422:
2405:
2404:
2382:
2380:
2379:
2374:
2366:
2365:
2349:
2347:
2346:
2341:
2295:
2293:
2292:
2287:
2282:
2280:
2279:
2263:
2262:
2261:
2234:
2197:
2195:
2194:
2189:
2177:
2175:
2174:
2169:
2146:
2145:
2144:
2114:
2112:
2111:
2106:
2104:
2097:
2096:
2072:
2064:
2056:
2052:
2049:
2035:
2009:
2008:
1999:
1996:
1992:
1991:
1982:
1965:
1957:
1956:
1947:
1939:
1931:
1927:
1924:
1920:
1918:
1911:
1885:
1884:
1874:
1873:
1872:
1863:
1846:
1838:
1837:
1827:
1825:
1817:
1809:
1805:
1801:
1799:
1795:
1771:
1770:
1769:
1750:
1744:
1743:
1734:
1726:
1718:
1639:
1638:
1607:
1606:
1580:
1578:
1577:
1572:
1543:
1494:
1492:
1491:
1486:
1484:
1483:
1470:
1468:
1467:
1462:
1450:
1448:
1447:
1442:
1420:
1418:
1417:
1412:
1410:
1378:
1372:
1371:
1370:
1319:
1317:
1316:
1311:
1306:
1301:
1281:
1276:
1270:
1254:
1253:
1240:
1239:
1224:
1222:
1221:
1216:
1196:
1195:
1186:
1184:
1167:
1162:
1160:
1149:
1133:
1132:
1119:
1079:
1077:
1076:
1071:
1066:
1064:
1053:
1037:
1036:
1023:
990:
988:
987:
982:
980:
979:
963:
961:
960:
955:
943:
941:
940:
935:
923:
921:
920:
915:
903:
901:
900:
895:
893:
892:
851:
849:
848:
843:
838:
821:
820:
819:
803:
773:
771:
770:
765:
744:
742:
741:
736:
706:
704:
703:
698:
683:
679:
678:
676:
662:
648:
634:
601:
600:
599:
576:
574:
573:
568:
545:
543:
542:
537:
532:
526:
522:
521:
519:
515:
509:
505:
499:
486:
485:
473:
469:
468:
466:
462:
456:
452:
446:
430:
429:
402:
401:
400:
377:
375:
374:
369:
357:
355:
354:
349:
330:
328:
327:
322:
320:
319:
313:
310:
295:
263:
258:
257:
214:
212:
211:
206:
201:
184:
183:
182:
169:
161:
159:
126:
124:
123:
118:
94:measurable space
87:
85:
84:
79:
67:
65:
64:
59:
44:Formal statement
32:that bounds the
3397:
3396:
3390:
3389:
3388:
3386:
3385:
3384:
3365:
3364:
3347:
3345:Further reading
3342:
3341:
3301:
3299:
3295:
3287:
3272:
3270:
3266:
3259:
3238:
3237:
3233:
3216:
3212:
3203:
3199:
3192:
3179:
3178:
3174:
3167:
3152:
3151:
3147:
3142:
3113:
3086:
3037:
3017:
3016:
2988:
2987:
2953:
2952:
2929:
2928:
2901:
2874:
2836:
2821:
2820:
2799:
2798:
2779:
2778:
2705:
2700:
2699:
2680:
2679:
2660:
2659:
2614:
2586:
2581:
2580:
2525:
2524:
2493:
2492:
2456:
2438:
2433:
2432:
2396:
2385:
2384:
2357:
2352:
2351:
2326:
2325:
2322:
2320:Inverse problem
2302:
2249:
2241:
2207:
2206:
2180:
2179:
2132:
2127:
2126:
2102:
2101:
2088:
2054:
2053:
2000:
1993:
1983:
1948:
1929:
1928:
1921:
1876:
1875:
1864:
1829:
1828:
1807:
1806:
1772:
1761:
1751:
1745:
1735:
1716:
1715:
1630:
1623:
1595:
1586:
1585:
1507:
1506:
1473:
1472:
1453:
1452:
1433:
1432:
1328:
1327:
1282:
1242:
1241:
1233:
1232:
1187:
1171:
1150:
1121:
1120:
1092:
1091:
1054:
1025:
1024:
996:
995:
971:
966:
965:
946:
945:
926:
925:
906:
905:
881:
876:
875:
872:
807:
779:
778:
750:
749:
715:
714:
663:
649:
640:
636:
587:
582:
581:
559:
558:
510:
500:
491:
487:
477:
457:
447:
438:
434:
421:
388:
383:
382:
360:
359:
340:
339:
223:
222:
170:
132:
131:
97:
96:
70:
69:
50:
49:
46:
12:
11:
5:
3395:
3394:
3391:
3383:
3382:
3377:
3367:
3366:
3363:
3362:
3355:
3346:
3343:
3340:
3339:
3293:
3285:
3264:
3257:
3231:
3210:
3197:
3190:
3172:
3165:
3144:
3143:
3141:
3138:
3137:
3136:
3125:
3120:
3116:
3112:
3109:
3106:
3103:
3100:
3093:
3089:
3085:
3080:
3077:
3074:
3071:
3068:
3065:
3062:
3057:
3054:
3049:
3044:
3040:
3036:
3033:
3030:
3027:
3024:
3001:
2998:
2995:
2975:
2972:
2969:
2966:
2963:
2960:
2936:
2925:
2924:
2913:
2908:
2904:
2900:
2897:
2894:
2891:
2888:
2881:
2877:
2873:
2868:
2865:
2862:
2859:
2856:
2853:
2847:
2844:
2839:
2833:
2830:
2806:
2786:
2766:
2763:
2760:
2757:
2752:
2749:
2746:
2743:
2740:
2737:
2734:
2731:
2728:
2725:
2721:
2717:
2712:
2708:
2687:
2667:
2644:
2641:
2638:
2635:
2632:
2629:
2626:
2621:
2617:
2613:
2610:
2607:
2604:
2601:
2598:
2593:
2589:
2568:
2565:
2562:
2559:
2556:
2553:
2550:
2547:
2544:
2541:
2538:
2535:
2532:
2512:
2509:
2506:
2503:
2500:
2480:
2477:
2474:
2471:
2468:
2463:
2459:
2455:
2449:
2446:
2441:
2420:
2417:
2414:
2411:
2408:
2403:
2399:
2395:
2392:
2372:
2369:
2364:
2360:
2339:
2336:
2333:
2321:
2318:
2301:
2298:
2297:
2296:
2285:
2278:
2275:
2272:
2269:
2266:
2260:
2257:
2252:
2248:
2244:
2240:
2237:
2232:
2229:
2226:
2223:
2220:
2217:
2214:
2187:
2167:
2164:
2161:
2158:
2155:
2152:
2149:
2143:
2140:
2135:
2116:
2115:
2100:
2095:
2091:
2087:
2084:
2081:
2078:
2075:
2070:
2067:
2062:
2059:
2057:
2055:
2047:
2044:
2041:
2038:
2034:
2030:
2027:
2024:
2021:
2018:
2015:
2012:
2007:
2003:
1994:
1990:
1986:
1981:
1977:
1974:
1971:
1968:
1964:
1960:
1955:
1951:
1945:
1942:
1937:
1934:
1932:
1930:
1922:
1917:
1914:
1910:
1906:
1903:
1900:
1897:
1894:
1891:
1888:
1883:
1879:
1871:
1867:
1862:
1858:
1855:
1852:
1849:
1845:
1841:
1836:
1832:
1823:
1820:
1815:
1812:
1810:
1808:
1804:
1798:
1794:
1790:
1787:
1784:
1781:
1778:
1775:
1768:
1764:
1760:
1757:
1754:
1748:
1742:
1738:
1732:
1729:
1724:
1721:
1719:
1717:
1714:
1711:
1708:
1705:
1702:
1699:
1696:
1693:
1690:
1687:
1684:
1681:
1678:
1675:
1672:
1669:
1666:
1663:
1660:
1657:
1654:
1651:
1648:
1645:
1642:
1637:
1633:
1629:
1626:
1624:
1622:
1619:
1616:
1613:
1610:
1605:
1602:
1598:
1594:
1593:
1570:
1567:
1564:
1561:
1558:
1555:
1552:
1549:
1546:
1542:
1538:
1535:
1532:
1529:
1526:
1523:
1520:
1517:
1514:
1482:
1460:
1440:
1422:
1421:
1409:
1405:
1402:
1399:
1396:
1393:
1390:
1387:
1384:
1381:
1377:
1369:
1364:
1361:
1357:
1353:
1350:
1347:
1344:
1341:
1338:
1335:
1321:
1320:
1309:
1304:
1300:
1297:
1294:
1291:
1288:
1285:
1279:
1273:
1269:
1266:
1263:
1260:
1257:
1252:
1249:
1245:
1226:
1225:
1214:
1211:
1208:
1205:
1202:
1199:
1194:
1190:
1183:
1180:
1177:
1174:
1170:
1165:
1159:
1156:
1153:
1148:
1145:
1142:
1139:
1136:
1131:
1128:
1124:
1117:
1114:
1111:
1108:
1105:
1102:
1099:
1081:
1080:
1069:
1063:
1060:
1057:
1052:
1049:
1046:
1043:
1040:
1035:
1032:
1028:
1021:
1018:
1015:
1012:
1009:
1006:
1003:
978:
974:
953:
933:
913:
891:
888:
884:
871:
868:
853:
852:
841:
836:
833:
830:
827:
824:
818:
815:
810:
806:
801:
798:
795:
792:
789:
786:
763:
760:
757:
747:signed measure
734:
731:
728:
725:
722:
708:
707:
695:
692:
689:
686:
682:
675:
672:
669:
666:
661:
658:
655:
652:
646:
643:
639:
633:
630:
627:
623:
619:
616:
613:
610:
607:
604:
598:
595:
590:
566:
547:
546:
535:
531:
525:
518:
514:
508:
504:
497:
494:
490:
484:
480:
476:
472:
465:
461:
455:
451:
444:
441:
437:
433:
428:
424:
420:
417:
414:
411:
408:
405:
399:
396:
391:
367:
347:
332:
331:
318:
308:
305:
302:
298:
294:
290:
287:
284:
281:
278:
275:
272:
269:
266:
262:
256:
251:
248:
245:
242:
239:
236:
233:
230:
216:
215:
204:
199:
196:
193:
190:
187:
181:
178:
173:
167:
164:
157:
154:
151:
148:
145:
142:
139:
116:
113:
110:
107:
104:
77:
57:
45:
42:
13:
10:
9:
6:
4:
3:
2:
3393:
3392:
3381:
3378:
3376:
3373:
3372:
3370:
3360:
3356:
3353:
3349:
3348:
3344:
3335:
3331:
3327:
3323:
3318:
3313:
3309:
3305:
3297:
3294:
3288:
3286:9781846281723
3282:
3278:
3277:
3268:
3265:
3260:
3258:9780387790527
3254:
3250:
3245:
3244:
3235:
3232:
3228:
3224:
3220:
3214:
3211:
3207:
3201:
3198:
3193:
3187:
3183:
3176:
3173:
3168:
3166:9781139499989
3162:
3158:
3157:
3149:
3146:
3139:
3123:
3118:
3110:
3107:
3104:
3098:
3091:
3087:
3083:
3078:
3072:
3069:
3066:
3060:
3055:
3052:
3047:
3042:
3034:
3031:
3028:
3022:
3015:
3014:
3013:
2999:
2996:
2993:
2973:
2970:
2964:
2958:
2950:
2934:
2911:
2906:
2898:
2895:
2892:
2886:
2879:
2875:
2871:
2866:
2860:
2857:
2854:
2837:
2831:
2828:
2819:
2818:
2817:
2804:
2784:
2761:
2755:
2750:
2747:
2741:
2735:
2732:
2729:
2726:
2723:
2715:
2710:
2706:
2685:
2665:
2656:
2642:
2639:
2636:
2633:
2627:
2619:
2615:
2611:
2608:
2605:
2599:
2591:
2587:
2566:
2563:
2557:
2551:
2548:
2545:
2542:
2536:
2530:
2507:
2504:
2501:
2475:
2469:
2466:
2461:
2457:
2439:
2418:
2415:
2409:
2406:
2401:
2397:
2390:
2370:
2367:
2362:
2358:
2337:
2334:
2331:
2319:
2317:
2315:
2311:
2307:
2299:
2283:
2273:
2270:
2267:
2250:
2246:
2242:
2238:
2235:
2230:
2224:
2221:
2218:
2212:
2205:
2204:
2203:
2201:
2185:
2165:
2162:
2156:
2153:
2150:
2133:
2123:
2121:
2098:
2093:
2085:
2082:
2079:
2073:
2068:
2065:
2060:
2058:
2045:
2042:
2036:
2032:
2025:
2019:
2016:
2013:
2005:
2001:
1988:
1972:
1966:
1953:
1949:
1943:
1940:
1935:
1933:
1912:
1908:
1901:
1895:
1892:
1889:
1881:
1877:
1869:
1853:
1847:
1834:
1830:
1821:
1818:
1813:
1811:
1802:
1796:
1792:
1785:
1779:
1776:
1773:
1766:
1758:
1752:
1746:
1740:
1736:
1730:
1727:
1722:
1720:
1706:
1700:
1697:
1688:
1682:
1679:
1676:
1670:
1667:
1658:
1652:
1649:
1646:
1635:
1631:
1627:
1625:
1617:
1614:
1611:
1603:
1600:
1596:
1584:
1583:
1582:
1568:
1565:
1562:
1559:
1556:
1550:
1544:
1540:
1533:
1527:
1524:
1518:
1512:
1504:
1499:
1496:
1458:
1438:
1431:
1427:
1400:
1394:
1391:
1385:
1379:
1362:
1359:
1355:
1351:
1345:
1342:
1339:
1333:
1326:
1325:
1324:
1307:
1302:
1295:
1292:
1289:
1283:
1277:
1271:
1264:
1261:
1258:
1250:
1247:
1243:
1231:
1230:
1229:
1212:
1206:
1203:
1200:
1192:
1188:
1181:
1178:
1175:
1172:
1168:
1163:
1157:
1154:
1151:
1143:
1140:
1137:
1129:
1126:
1122:
1115:
1109:
1106:
1103:
1097:
1090:
1089:
1088:
1086:
1067:
1061:
1058:
1055:
1047:
1044:
1041:
1033:
1030:
1026:
1019:
1013:
1010:
1007:
1001:
994:
993:
992:
976:
972:
951:
931:
911:
889:
886:
882:
869:
867:
865:
863:
858:
839:
831:
828:
825:
808:
804:
799:
793:
790:
787:
777:
776:
775:
761:
758:
755:
748:
729:
726:
723:
713:
690:
684:
680:
670:
664:
656:
650:
644:
641:
637:
631:
628:
625:
621:
617:
611:
608:
605:
588:
580:
579:
578:
564:
556:
552:
533:
523:
516:
506:
495:
492:
488:
482:
478:
474:
470:
463:
453:
442:
439:
435:
431:
426:
418:
412:
409:
406:
389:
381:
380:
379:
365:
345:
337:
303:
300:
296:
285:
279:
276:
270:
264:
246:
240:
237:
234:
228:
221:
220:
219:
202:
194:
191:
188:
171:
165:
162:
155:
149:
146:
143:
137:
130:
129:
128:
108:
105:
95:
91:
75:
55:
43:
41:
39:
35:
31:
27:
23:
19:
3358:
3351:
3307:
3303:
3296:
3275:
3267:
3242:
3234:
3218:
3213:
3205:
3200:
3181:
3175:
3155:
3148:
2926:
2657:
2323:
2303:
2124:
2117:
1503:John Pollard
1500:
1497:
1428:between two
1423:
1322:
1227:
1082:
873:
864:-divergences
861:
854:
709:
548:
333:
217:
47:
21:
15:
944:), whereas
3369:Categories
3317:1801.06348
3140:References
1323:in which
30:inequality
3099:δ
3088:α
3079:≤
3070:∥
3048:≤
3023:δ
2997:∈
2947:has full
2887:δ
2876:α
2867:≤
2858:∥
2727:∈
2707:α
2643:ε
2640:−
2620:ε
2609:ε
2592:ε
2479:∞
2467:∥
2462:ε
2419:ε
2416:≤
2402:ε
2391:δ
2363:ε
2332:ε
2314:Kemperman
2271:∥
2247:−
2239:−
2231:≤
2213:δ
2154:∥
1997:(As
1814:≥
1723:≥
1698:−
1671:
1615:∥
1566:−
1563:≥
1557:−
1392:−
1363:∈
1356:∑
1278:≥
1262:∥
1179:
1164:≥
1155:
1141:∥
1107:∥
1059:
1045:∥
1011:∥
829:∥
800:≤
797:‖
791:−
785:‖
759:−
733:‖
727:−
721:‖
645:
629:∈
622:∑
609:∥
496:
479:∫
443:
432:
410:∥
307:Σ
304:∈
297:∣
277:−
229:δ
192:∥
156:≤
138:δ
112:Σ
3334:52200238
3012:), then
2986:for all
2306:Kullback
88:are two
28:, is an
2949:support
2310:Csiszár
2300:History
2050: )
1424:is the
745:of the
549:is the
334:is the
127:, then
3332:
3283:
3255:
3225:
3188:
3163:
2951:(i.e.
2312:, and
1228:i.e.,
218:where
3330:S2CID
3312:arXiv
2523:with
2383:with
1451:and
92:on a
3281:ISBN
3253:ISBN
3223:ISBN
3186:ISBN
3161:ISBN
2971:>
2748:>
2579:and
2431:but
2335:>
2163:>
859:for
555:nats
378:and
358:and
68:and
3322:doi
3249:132
2720:min
1668:log
973:log
642:log
553:in
493:log
440:log
250:sup
16:In
3371::
3328:.
3320:.
3310:.
3308:24
3306:.
3251:.
2716::=
2655:.
2316:.
2308:,
2122:.
1581::
1495:.
1176:ln
1152:ln
1056:ln
912:ln
866:.
20:,
3336:.
3324::
3314::
3291:.
3289:.
3261:.
3194:.
3169:.
3124:.
3119:2
3115:)
3111:Q
3108:,
3105:P
3102:(
3092:Q
3084:1
3076:)
3073:Q
3067:P
3064:(
3061:D
3056:2
3053:1
3043:2
3039:)
3035:Q
3032:,
3029:P
3026:(
3000:X
2994:x
2974:0
2968:)
2965:x
2962:(
2959:Q
2935:Q
2912:.
2907:2
2903:)
2899:Q
2896:,
2893:P
2890:(
2880:Q
2872:1
2864:)
2861:Q
2855:P
2852:(
2846:L
2843:K
2838:D
2832:2
2829:1
2805:Q
2785:P
2765:)
2762:x
2759:(
2756:Q
2751:0
2745:)
2742:x
2739:(
2736:Q
2733::
2730:X
2724:x
2711:Q
2686:Q
2666:X
2637:1
2634:=
2631:)
2628:1
2625:(
2616:P
2612:,
2606:=
2603:)
2600:0
2597:(
2588:P
2567:1
2564:=
2561:)
2558:1
2555:(
2552:Q
2549:,
2546:0
2543:=
2540:)
2537:0
2534:(
2531:Q
2511:}
2508:1
2505:,
2502:0
2499:{
2476:=
2473:)
2470:Q
2458:P
2454:(
2448:L
2445:K
2440:D
2413:)
2410:Q
2407:,
2398:P
2394:(
2371:Q
2368:,
2359:P
2338:0
2284:.
2277:)
2274:Q
2268:P
2265:(
2259:L
2256:K
2251:D
2243:e
2236:1
2228:)
2225:Q
2222:,
2219:P
2216:(
2186:1
2166:2
2160:)
2157:Q
2151:P
2148:(
2142:L
2139:K
2134:D
2099:.
2094:2
2090:)
2086:q
2083:,
2080:p
2077:(
2074:V
2069:2
2066:1
2061:=
2046:1
2043:=
2040:]
2037:3
2033:/
2029:)
2026:x
2023:(
2020:r
2017:+
2014:1
2011:[
2006:Q
2002:E
1989:2
1985:]
1980:|
1976:)
1973:x
1970:(
1967:r
1963:|
1959:[
1954:Q
1950:E
1944:2
1941:1
1936:=
1916:]
1913:3
1909:/
1905:)
1902:x
1899:(
1896:r
1893:+
1890:1
1887:[
1882:Q
1878:E
1870:2
1866:]
1861:|
1857:)
1854:x
1851:(
1848:r
1844:|
1840:[
1835:Q
1831:E
1822:2
1819:1
1803:]
1797:3
1793:/
1789:)
1786:x
1783:(
1780:r
1777:+
1774:1
1767:2
1763:)
1759:x
1756:(
1753:r
1747:[
1741:Q
1737:E
1731:2
1728:1
1713:]
1710:)
1707:x
1704:(
1701:r
1695:)
1692:)
1689:x
1686:(
1683:r
1680:+
1677:1
1674:(
1665:)
1662:)
1659:x
1656:(
1653:r
1650:+
1647:1
1644:(
1641:[
1636:Q
1632:E
1628:=
1621:)
1618:Q
1612:P
1609:(
1604:L
1601:K
1597:D
1569:1
1560:1
1554:)
1551:x
1548:(
1545:Q
1541:/
1537:)
1534:x
1531:(
1528:P
1525:=
1522:)
1519:x
1516:(
1513:r
1481:X
1459:q
1439:p
1408:|
1404:)
1401:x
1398:(
1395:q
1389:)
1386:x
1383:(
1380:p
1376:|
1368:X
1360:x
1352:=
1349:)
1346:q
1343:,
1340:p
1337:(
1334:V
1308:,
1303:2
1299:)
1296:q
1293:,
1290:p
1287:(
1284:V
1272:2
1268:)
1265:Q
1259:P
1256:(
1251:L
1248:K
1244:D
1213:,
1210:)
1207:q
1204:,
1201:p
1198:(
1193:2
1189:V
1182:2
1173:2
1169:1
1158:2
1147:)
1144:Q
1138:P
1135:(
1130:L
1127:K
1123:D
1116:=
1113:)
1110:Q
1104:P
1101:(
1098:D
1068:.
1062:2
1051:)
1048:Q
1042:P
1039:(
1034:L
1031:K
1027:D
1020:=
1017:)
1014:Q
1008:P
1005:(
1002:D
977:2
952:D
932:e
890:L
887:K
883:D
862:f
840:.
835:)
832:Q
826:P
823:(
817:L
814:K
809:D
805:2
794:Q
788:P
762:Q
756:P
730:Q
724:P
694:)
691:i
688:(
685:P
681:)
674:)
671:i
668:(
665:Q
660:)
657:i
654:(
651:P
638:(
632:X
626:i
618:=
615:)
612:Q
606:P
603:(
597:L
594:K
589:D
565:X
534:P
530:d
524:)
517:Q
513:d
507:P
503:d
489:(
483:X
475:=
471:)
464:Q
460:d
454:P
450:d
436:(
427:P
423:E
419:=
416:)
413:Q
407:P
404:(
398:L
395:K
390:D
366:Q
346:P
317:}
301:A
293:|
289:)
286:A
283:(
280:Q
274:)
271:A
268:(
265:P
261:|
255:{
247:=
244:)
241:Q
238:,
235:P
232:(
203:,
198:)
195:Q
189:P
186:(
180:L
177:K
172:D
166:2
163:1
153:)
150:Q
147:,
144:P
141:(
115:)
109:,
106:X
103:(
76:Q
56:P
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.