Knowledge (XXG)

Bretagnolle–Huber inequality

Source 📝

3215: 3988: 2826: 2669: 3635: 1454: 3210:{\displaystyle {\begin{aligned}\left(\int {\sqrt {PQ}}\right)^{2}&=\exp \left(2\log \left(\int {\sqrt {PQ}}\right)\right)\\&=\exp \left(2\log \left(\int P{\sqrt {\frac {Q}{P}}}\right)\right)\\&=\exp \left(2\log \left(\operatorname {E} _{P}\left\right)\right)\\&\geq \exp \left(\operatorname {E} _{P}\left\right)=\exp(-D_{KL}(P,Q))\end{aligned}}} 2353: 611: 3983:{\displaystyle {\begin{aligned}(1-2\delta )^{2}&\leq d_{\mathrm {TV} }\left(P_{1}^{n},P_{2}^{n}\right)^{2}\\&\leq 1-e^{-D_{\mathrm {KL} }(P_{1}^{n}\parallel P_{2}^{n})}\\&=1-e^{-nD_{\mathrm {KL} }(P_{1}\parallel P_{2})}\\&=1-e^{-n{\frac {\log(1/(1-4\varepsilon ^{2}))}{2}}}\end{aligned}}} 4021:
The result was first proved in 1979 by Jean Bretagnolle and Catherine Huber, and published in the proceedings of the Strasbourg Probability Seminar. Alexandre Tsybakov's book features an early re-publication of the inequality and its attribution to Bretagnolle and Huber, which is presented as an
1202: 945: 2664:{\displaystyle {\begin{aligned}1-d_{\mathrm {TV} }(P,Q)^{2}&=(1-d_{\mathrm {TV} }(P,Q))(1+d_{\mathrm {TV} }(P,Q))\\&=\int \min(P,Q)\int \max(P,Q)\\&\geq \left(\int {\sqrt {\min(P,Q)\max(P,Q)}}\right)^{2}\\&=\left(\int {\sqrt {PQ}}\right)^{2}\end{aligned}}} 453: 168:
is large (larger than 2 for instance.), Pinsker's inequality is vacuous, while Bretagnolle–Huber remains bounded and hence non-vacuous. It is used in statistics and machine learning to prove information-theoretic lower bounds relying on
1732: 3488: 1097: 2337: 2225: 1627: 1449:{\displaystyle {\begin{aligned}Q(A)-P(A)\leq d_{\mathrm {TV} }(P,Q)&\leq 1-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))\\&=Q(A)+Q({\bar {A}})-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))\end{aligned}}} 438: 781: 1854: 3640: 1520:
We prove the main statement following the ideas in Tsybakov's book (Lemma 2.6, page 89), which differ from the original proof (see C.Canonne's note for a modernized retranscription of their argument).
1947: 2096: 606:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)={\begin{cases}\int _{\mathcal {X}}\log {\bigl (}{\frac {dP}{dQ}}{\bigr )}\,dP&{\text{if }}P\ll Q,\\+\infty &{\text{otherwise}}.\end{cases}}} 2831: 2358: 1207: 1141: 2815: 275: 166: 115: 3356: 2740: 2005: 1194: 983: 1510: 721: 3408: 3309: 3540: 3604: 3572: 3382: 3289: 4022:
early and less general version of Assouad's lemma (see notes 2.8). A constant improvement on Bretagnolle–Huber was proved in 2014 as a consequence of an extension of
640: 1642: 3416: 4009:, a lower bound on the minimax regret of any bandit algorithm can be proved using Bretagnolle–Huber and its consequence on hypothesis testing (see Chapter 15 of 991: 3624: 3511: 1161: 765: 745: 684: 664: 319: 299: 228: 208: 65: 45: 2236: 2107: 1539: 940:{\displaystyle d_{\mathrm {TV} }(P,Q)\leq {\sqrt {1-\exp(-D_{\mathrm {KL} }(P\parallel Q))}}\leq 1-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))} 327: 1752: 4199: 4143: 4296: 177:
is a variation of Concentration inequality for multinomially distributed random variables which bounds the total variation distance.)
1863: 68: 2010: 3542:. This is because the total variation upper bounds the probability of under- or over-estimating the coins' means. Denote 724: 1105: 4291: 2754: 444: 240: 124: 73: 4186:, Lecture notes in Mathematics, vol. 649, Berlin, Heidelberg: Springer Berlin Heidelberg, pp. 342–363, 955:
The following version is directly implied by the bound above but some authors prefer stating it this way. Let
4041: 231: 174: 495: 3314: 2680: 118: 3247: 2818: 1952: 1528: 3493:
In order to obtain this lower bound we impose that the total variation distance between two sequences of
1169: 958: 1462: 689: 4023: 643: 3387: 3294: 4267: 4241: 4205: 4157: 4068: 4006: 170: 3516: 3577: 3545: 3361: 3253: 4259: 4195: 4149: 4139: 1727:{\displaystyle \left(\int {\sqrt {PQ}}\right)^{2}\geq \exp(-D_{\mathrm {KL} }(P\parallel Q))} 4251: 4187: 4131: 3483:{\displaystyle n\geq {\frac {1}{2\varepsilon ^{2}}}\log \left({\frac {1}{2\delta }}\right).} 619: 235: 1092:{\displaystyle P(A)+Q({\bar {A}})\geq {\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))} 4035: 278: 24: 3223:
Combining the results of steps 1 and 2 leads to the claimed bound on the total variation.
3609: 3496: 2332:{\displaystyle \int _{\bar {A^{*}}}\max(P,Q){\text{ or }}\int _{\bar {A^{*}}}\min(P,Q)} 1146: 750: 730: 669: 649: 304: 284: 213: 193: 50: 30: 4285: 4209: 4271: 4161: 4094: 2220:{\displaystyle d_{\mathrm {TV} }(P,Q)=\int _{A^{*}}\max(P,Q)-\int _{A^{*}}\min(P,Q)} 1622:{\displaystyle 1-d_{\mathrm {TV} }(P,Q)^{2}\geq \left(\int {\sqrt {PQ}}\right)^{2}} 433:{\displaystyle d_{\mathrm {TV} }(P,Q)=\sup _{A\in {\mathcal {F}}}\{|P(A)-Q(A)|\}.} 4125: 4263: 4153: 4067:
Canonne, Clément (2022). "A short note on an inequality between KL and TV".
3242:
How many coin tosses do I need to distinguish a fair coin from a biased one?
1527:
1. Prove using Cauchy–Schwarz that the total variation is related to the
4179: 3358:). Then, in order to identify the biased coin with probability at least 1849:{\displaystyle d_{\mathrm {TV} }(P,Q)=1-\int \min(P,Q)=\int \max(P,Q)-1} 4229: 4191: 4255: 4228:
Gerchinovitz, Sébastien; Ménard, Pierre; Stoltz, Gilles (2020-05-01).
4246: 4135: 4073: 117:. The bound can be viewed as an alternative to the well-known 1634:
2. Prove by a clever application of Jensen’s inequality that
1181: 970: 504: 377: 259: 249: 599: 1942:{\displaystyle A^{*}=\arg \max _{A\in \Omega }|P(A)-Q(A)|} 2091:{\displaystyle d_{\mathrm {TV} }(P,Q)=P(A^{*})-Q(A^{*})} 1166:
Indeed, by definition of the total variation, for any
3638: 3612: 3580: 3548: 3519: 3499: 3419: 3390: 3364: 3317: 3297: 3256: 2829: 2757: 2683: 2356: 2239: 2110: 2013: 1955: 1866: 1755: 1645: 1542: 1465: 1205: 1172: 1149: 1108: 994: 961: 784: 753: 733: 692: 672: 652: 622: 456: 330: 307: 287: 243: 216: 196: 127: 76: 53: 33: 3982: 3618: 3598: 3566: 3534: 3505: 3482: 3402: 3376: 3350: 3303: 3283: 3209: 2809: 2734: 2663: 2331: 2219: 2090: 1999: 1941: 1848: 1726: 1621: 1504: 1459:Rearranging, we obtain the claimed lower bound on 1448: 1188: 1155: 1136:{\displaystyle {\bar {A}}=\Omega \smallsetminus A} 1135: 1091: 977: 939: 759: 739: 715: 678: 658: 634: 605: 432: 313: 293: 269: 222: 202: 160: 109: 59: 39: 3993:The result is obtained by rearranging the terms. 2810:{\displaystyle (\cdot )^{2}=\exp(2\log(\cdot ))} 2711: 2693: 2586: 2568: 2529: 2508: 2311: 2264: 2199: 2161: 1887: 1822: 1798: 365: 4180:"Estimation des densités : Risque minimax" 270:{\displaystyle ({\mathcal {X}},{\mathcal {F}})} 161:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)} 110:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)} 27:distance between two probability distributions 4088: 4086: 4084: 1949:and without loss of generality, assume that 545: 518: 8: 424: 384: 4130:. Springer Series in Statistics. Springer. 4093:Lattimore, Tor; Szepesvari, Csaba (2020). 3606:the respective joint distributions of the 4245: 4072: 4062: 4060: 4058: 3956: 3935: 3920: 3913: 3882: 3869: 3852: 3851: 3840: 3809: 3804: 3791: 3786: 3769: 3768: 3760: 3734: 3723: 3718: 3705: 3700: 3680: 3679: 3662: 3639: 3637: 3611: 3590: 3585: 3579: 3558: 3553: 3547: 3518: 3498: 3458: 3439: 3426: 3418: 3389: 3363: 3334: 3322: 3316: 3296: 3273: 3261: 3255: 3176: 3133: 3106: 3065: 3056: 3040: 3021: 2960: 2899: 2858: 2843: 2830: 2828: 2768: 2756: 2682: 2651: 2636: 2611: 2566: 2467: 2466: 2425: 2424: 2398: 2372: 2371: 2357: 2355: 2298: 2292: 2291: 2282: 2251: 2245: 2244: 2238: 2191: 2186: 2153: 2148: 2116: 2115: 2109: 2079: 2057: 2019: 2018: 2012: 1988: 1966: 1954: 1934: 1902: 1890: 1871: 1865: 1761: 1760: 1754: 1696: 1695: 1670: 1655: 1644: 1613: 1598: 1580: 1554: 1553: 1541: 1488: 1487: 1464: 1414: 1413: 1387: 1370: 1369: 1310: 1309: 1283: 1245: 1244: 1206: 1204: 1180: 1179: 1171: 1148: 1110: 1109: 1107: 1061: 1060: 1034: 1017: 1016: 993: 969: 968: 960: 909: 908: 882: 843: 842: 818: 790: 789: 783: 752: 732: 693: 691: 671: 651: 621: 588: 559: 550: 544: 543: 523: 517: 516: 503: 502: 490: 462: 461: 455: 419: 387: 376: 375: 368: 336: 335: 329: 306: 286: 258: 257: 248: 247: 242: 215: 195: 133: 132: 126: 82: 81: 75: 67:by a concave and bounded function of the 52: 32: 4230:"Fano's Inequality for Random Variables" 4127:Introduction to nonparametric estimation 4054: 3233:Sample complexity of biased coin tosses 775:The Bretagnolle–Huber inequality says: 3997:Information-theoretic lower bound for 3351:{\displaystyle p_{2}=1/2+\varepsilon } 3246:Assume you have 2 coins, a fair coin ( 2735:{\displaystyle PQ=\min(P,Q)\max(P,Q).} 1531:(right-hand side of the inequality): 7: 4173: 4171: 4119: 4117: 2000:{\displaystyle P(A^{*})>Q(A^{*})} 4178:Bretagnolle, J.; Huber, C. (1978), 1189:{\displaystyle A\in {\mathcal {F}}} 978:{\displaystyle A\in {\mathcal {F}}} 4042:Bretagnolle–Huber–Carol Inequality 3856: 3853: 3773: 3770: 3684: 3681: 3103: 3018: 2471: 2468: 2429: 2426: 2376: 2373: 2120: 2117: 2023: 2020: 1897: 1765: 1762: 1700: 1697: 1558: 1555: 1505:{\displaystyle P(A)+Q({\bar {A}})} 1418: 1415: 1314: 1311: 1249: 1246: 1124: 1065: 1062: 913: 910: 847: 844: 794: 791: 583: 466: 463: 340: 337: 175:Bretagnolle–Huber–Carol Inequality 137: 134: 86: 83: 14: 3626:coin tosses for each coin, then 716:{\displaystyle {\frac {dP}{dQ}}} 16:Inequality in information theory 4124:Tsybakov, Alexandre B. (2010). 3965: 3962: 3940: 3929: 3888: 3862: 3815: 3779: 3659: 3643: 3200: 3197: 3185: 3166: 2804: 2801: 2795: 2783: 2765: 2758: 2726: 2714: 2708: 2696: 2601: 2589: 2583: 2571: 2544: 2532: 2523: 2511: 2492: 2489: 2477: 2453: 2450: 2447: 2435: 2411: 2395: 2382: 2326: 2314: 2304: 2279: 2267: 2257: 2214: 2202: 2176: 2164: 2138: 2126: 2085: 2072: 2063: 2050: 2041: 2029: 1994: 1981: 1972: 1959: 1935: 1931: 1925: 1916: 1910: 1903: 1837: 1825: 1813: 1801: 1783: 1771: 1721: 1718: 1706: 1685: 1577: 1564: 1499: 1493: 1484: 1475: 1469: 1439: 1436: 1424: 1403: 1381: 1375: 1366: 1357: 1351: 1335: 1332: 1320: 1299: 1267: 1255: 1234: 1228: 1219: 1213: 1115: 1086: 1083: 1071: 1050: 1028: 1022: 1013: 1004: 998: 934: 931: 919: 898: 868: 865: 853: 832: 812: 800: 484: 472: 420: 416: 410: 401: 395: 388: 358: 346: 264: 244: 155: 143: 104: 92: 1: 4184:Séminaire de Probabilités XII 2233:And then adding and removing 4102:. Cambridge University Press 3403:{\displaystyle \delta >0} 3304:{\displaystyle \varepsilon } 21:Bretagnolle–Huber inequality 4044:in Concentration inequality 1524:The proof is in two steps: 616:In the above, the notation 445:Kullback-Leibler divergence 69:Kullback–Leibler divergence 19:In information theory, the 4313: 4297:Probabilistic inequalities 4038:for a list of upper bounds 3535:{\displaystyle 1-2\delta } 2339:we obtain both identities. 3599:{\displaystyle P_{2}^{n}} 3567:{\displaystyle P_{1}^{n}} 3377:{\displaystyle 1-\delta } 3284:{\displaystyle p_{1}=1/2} 1529:Bhattacharyya coefficient 232:probability distributions 3228:Examples of applications 725:Radon–Nikodym derivative 447:is defined as follows: 186:Preliminary definitions 3984: 3620: 3600: 3568: 3536: 3507: 3484: 3404: 3378: 3352: 3305: 3285: 3250:distributed with mean 3211: 2811: 2736: 2665: 2333: 2221: 2092: 2001: 1943: 1850: 1728: 1623: 1506: 1450: 1190: 1157: 1137: 1093: 979: 941: 761: 741: 717: 680: 660: 636: 635:{\displaystyle P\ll Q} 607: 434: 315: 295: 271: 224: 204: 162: 111: 61: 41: 3985: 3621: 3601: 3569: 3537: 3508: 3485: 3405: 3379: 3353: 3306: 3286: 3212: 2812: 2737: 2666: 2334: 2222: 2098:. Then we can rewrite 2093: 2002: 1944: 1851: 1729: 1624: 1507: 1451: 1191: 1158: 1143:is the complement of 1138: 1094: 980: 942: 762: 742: 718: 681: 661: 637: 608: 435: 316: 296: 272: 225: 205: 163: 112: 62: 42: 3636: 3610: 3578: 3546: 3517: 3513:samples is at least 3497: 3417: 3388: 3362: 3315: 3295: 3254: 2827: 2755: 2681: 2354: 2237: 2108: 2011: 1953: 1864: 1860:To see this, denote 1753: 1643: 1540: 1463: 1203: 1170: 1147: 1106: 992: 959: 782: 751: 731: 690: 670: 650: 620: 454: 328: 305: 285: 241: 214: 194: 125: 119:Pinsker's inequality 74: 51: 31: 4234:Statistical Science 4001:-armed bandit games 3814: 3796: 3728: 3710: 3595: 3563: 2819:Jensen's inequality 985:be any event. Then 951:Alternative version 644:absolute continuity 4292:Information theory 4192:10.1007/bfb0064610 4007:multi-armed bandit 3980: 3978: 3800: 3782: 3714: 3696: 3616: 3596: 3581: 3564: 3549: 3532: 3503: 3480: 3400: 3374: 3348: 3301: 3281: 3207: 3205: 2807: 2732: 2661: 2659: 2329: 2217: 2088: 1997: 1939: 1901: 1846: 1724: 1619: 1502: 1446: 1444: 1186: 1153: 1133: 1089: 975: 937: 757: 737: 713: 676: 656: 632: 603: 598: 430: 383: 311: 291: 277:. Recall that the 267: 220: 200: 171:hypothesis testing 158: 107: 57: 37: 4256:10.1214/19-sts716 4201:978-3-540-08761-8 4145:978-1-4419-2709-5 4096:Bandit Algorithms 4024:Fano's Inequality 4011:Bandit Algorithms 3972: 3619:{\displaystyle n} 3506:{\displaystyle n} 3471: 3446: 3240:The question is 3141: 3050: 3049: 2970: 2969: 2907: 2851: 2644: 2604: 2307: 2285: 2260: 1886: 1745:First notice that 1663: 1606: 1496: 1395: 1378: 1291: 1156:{\displaystyle A} 1118: 1042: 1025: 890: 871: 771:General statement 760:{\displaystyle Q} 740:{\displaystyle P} 711: 679:{\displaystyle Q} 659:{\displaystyle P} 591: 562: 541: 364: 314:{\displaystyle Q} 294:{\displaystyle P} 223:{\displaystyle Q} 203:{\displaystyle P} 60:{\displaystyle Q} 40:{\displaystyle P} 4304: 4276: 4275: 4249: 4225: 4219: 4218: 4217: 4216: 4175: 4166: 4165: 4121: 4112: 4111: 4109: 4107: 4101: 4090: 4079: 4078: 4076: 4064: 3989: 3987: 3986: 3981: 3979: 3975: 3974: 3973: 3968: 3961: 3960: 3939: 3921: 3896: 3892: 3891: 3887: 3886: 3874: 3873: 3861: 3860: 3859: 3823: 3819: 3818: 3813: 3808: 3795: 3790: 3778: 3777: 3776: 3743: 3739: 3738: 3733: 3729: 3727: 3722: 3709: 3704: 3689: 3688: 3687: 3667: 3666: 3625: 3623: 3622: 3617: 3605: 3603: 3602: 3597: 3594: 3589: 3573: 3571: 3570: 3565: 3562: 3557: 3541: 3539: 3538: 3533: 3512: 3510: 3509: 3504: 3489: 3487: 3486: 3481: 3476: 3472: 3470: 3459: 3447: 3445: 3444: 3443: 3427: 3409: 3407: 3406: 3401: 3383: 3381: 3380: 3375: 3357: 3355: 3354: 3349: 3338: 3327: 3326: 3310: 3308: 3307: 3302: 3290: 3288: 3287: 3282: 3277: 3266: 3265: 3216: 3214: 3213: 3208: 3206: 3184: 3183: 3156: 3152: 3151: 3147: 3146: 3142: 3134: 3111: 3110: 3084: 3080: 3076: 3075: 3071: 3070: 3066: 3064: 3063: 3055: 3051: 3042: 3041: 3026: 3025: 2985: 2981: 2977: 2976: 2972: 2971: 2962: 2961: 2922: 2918: 2914: 2913: 2909: 2908: 2900: 2863: 2862: 2857: 2853: 2852: 2844: 2816: 2814: 2813: 2808: 2773: 2772: 2741: 2739: 2738: 2733: 2670: 2668: 2667: 2662: 2660: 2656: 2655: 2650: 2646: 2645: 2637: 2620: 2616: 2615: 2610: 2606: 2605: 2567: 2550: 2498: 2476: 2475: 2474: 2434: 2433: 2432: 2403: 2402: 2381: 2380: 2379: 2338: 2336: 2335: 2330: 2310: 2309: 2308: 2303: 2302: 2293: 2286: 2283: 2263: 2262: 2261: 2256: 2255: 2246: 2226: 2224: 2223: 2218: 2198: 2197: 2196: 2195: 2160: 2159: 2158: 2157: 2125: 2124: 2123: 2097: 2095: 2094: 2089: 2084: 2083: 2062: 2061: 2028: 2027: 2026: 2006: 2004: 2003: 1998: 1993: 1992: 1971: 1970: 1948: 1946: 1945: 1940: 1938: 1906: 1900: 1876: 1875: 1855: 1853: 1852: 1847: 1770: 1769: 1768: 1733: 1731: 1730: 1725: 1705: 1704: 1703: 1675: 1674: 1669: 1665: 1664: 1656: 1628: 1626: 1625: 1620: 1618: 1617: 1612: 1608: 1607: 1599: 1585: 1584: 1563: 1562: 1561: 1511: 1509: 1508: 1503: 1498: 1497: 1489: 1455: 1453: 1452: 1447: 1445: 1423: 1422: 1421: 1396: 1388: 1380: 1379: 1371: 1341: 1319: 1318: 1317: 1292: 1284: 1254: 1253: 1252: 1195: 1193: 1192: 1187: 1185: 1184: 1162: 1160: 1159: 1154: 1142: 1140: 1139: 1134: 1120: 1119: 1111: 1098: 1096: 1095: 1090: 1070: 1069: 1068: 1043: 1035: 1027: 1026: 1018: 984: 982: 981: 976: 974: 973: 946: 944: 943: 938: 918: 917: 916: 891: 883: 872: 852: 851: 850: 819: 799: 798: 797: 766: 764: 763: 758: 747:with respect to 746: 744: 743: 738: 722: 720: 719: 714: 712: 710: 702: 694: 685: 683: 682: 677: 666:with respect to 665: 663: 662: 657: 641: 639: 638: 633: 612: 610: 609: 604: 602: 601: 592: 589: 563: 560: 549: 548: 542: 540: 532: 524: 522: 521: 509: 508: 507: 471: 470: 469: 439: 437: 436: 431: 423: 391: 382: 381: 380: 345: 344: 343: 320: 318: 317: 312: 300: 298: 297: 292: 276: 274: 273: 268: 263: 262: 253: 252: 236:measurable space 229: 227: 226: 221: 209: 207: 206: 201: 181:Formal statement 167: 165: 164: 159: 142: 141: 140: 116: 114: 113: 108: 91: 90: 89: 66: 64: 63: 58: 46: 44: 43: 38: 4312: 4311: 4307: 4306: 4305: 4303: 4302: 4301: 4282: 4281: 4280: 4279: 4227: 4226: 4222: 4214: 4212: 4202: 4177: 4176: 4169: 4146: 4123: 4122: 4115: 4105: 4103: 4099: 4092: 4091: 4082: 4066: 4065: 4056: 4051: 4036:Total variation 4032: 4019: 4003: 3977: 3976: 3952: 3922: 3909: 3894: 3893: 3878: 3865: 3847: 3836: 3821: 3820: 3764: 3756: 3741: 3740: 3695: 3691: 3690: 3675: 3668: 3658: 3634: 3633: 3608: 3607: 3576: 3575: 3544: 3543: 3515: 3514: 3495: 3494: 3463: 3454: 3435: 3431: 3415: 3414: 3386: 3385: 3360: 3359: 3318: 3313: 3312: 3293: 3292: 3257: 3252: 3251: 3235: 3230: 3204: 3203: 3172: 3129: 3119: 3115: 3102: 3101: 3097: 3082: 3081: 3036: 3035: 3034: 3030: 3017: 3016: 3012: 3002: 2998: 2983: 2982: 2953: 2949: 2939: 2935: 2920: 2919: 2895: 2891: 2881: 2877: 2864: 2839: 2835: 2834: 2825: 2824: 2764: 2753: 2752: 2679: 2678: 2658: 2657: 2632: 2628: 2627: 2618: 2617: 2562: 2558: 2557: 2548: 2547: 2496: 2495: 2462: 2420: 2404: 2394: 2367: 2352: 2351: 2294: 2287: 2247: 2240: 2235: 2234: 2187: 2182: 2149: 2144: 2111: 2106: 2105: 2075: 2053: 2014: 2009: 2008: 1984: 1962: 1951: 1950: 1867: 1862: 1861: 1756: 1751: 1750: 1691: 1651: 1647: 1646: 1641: 1640: 1594: 1590: 1589: 1576: 1549: 1538: 1537: 1518: 1461: 1460: 1443: 1442: 1409: 1339: 1338: 1305: 1270: 1240: 1201: 1200: 1168: 1167: 1145: 1144: 1104: 1103: 1056: 990: 989: 957: 956: 953: 904: 838: 785: 780: 779: 773: 749: 748: 729: 728: 723:stands for the 703: 695: 688: 687: 668: 667: 648: 647: 618: 617: 597: 596: 586: 577: 576: 557: 533: 525: 498: 491: 457: 452: 451: 331: 326: 325: 321:is defined by 303: 302: 283: 282: 279:total variation 239: 238: 212: 211: 192: 191: 188: 183: 128: 123: 122: 77: 72: 71: 49: 48: 29: 28: 25:total variation 17: 12: 11: 5: 4310: 4308: 4300: 4299: 4294: 4284: 4283: 4278: 4277: 4220: 4200: 4167: 4144: 4136:10.1007/b13794 4113: 4080: 4053: 4052: 4050: 4047: 4046: 4045: 4039: 4031: 4028: 4018: 4015: 4002: 3995: 3991: 3990: 3971: 3967: 3964: 3959: 3955: 3951: 3948: 3945: 3942: 3938: 3934: 3931: 3928: 3925: 3919: 3916: 3912: 3908: 3905: 3902: 3899: 3897: 3895: 3890: 3885: 3881: 3877: 3872: 3868: 3864: 3858: 3855: 3850: 3846: 3843: 3839: 3835: 3832: 3829: 3826: 3824: 3822: 3817: 3812: 3807: 3803: 3799: 3794: 3789: 3785: 3781: 3775: 3772: 3767: 3763: 3759: 3755: 3752: 3749: 3746: 3744: 3742: 3737: 3732: 3726: 3721: 3717: 3713: 3708: 3703: 3699: 3694: 3686: 3683: 3678: 3674: 3671: 3669: 3665: 3661: 3657: 3654: 3651: 3648: 3645: 3642: 3641: 3615: 3593: 3588: 3584: 3561: 3556: 3552: 3531: 3528: 3525: 3522: 3502: 3491: 3490: 3479: 3475: 3469: 3466: 3462: 3457: 3453: 3450: 3442: 3438: 3434: 3430: 3425: 3422: 3399: 3396: 3393: 3373: 3370: 3367: 3347: 3344: 3341: 3337: 3333: 3330: 3325: 3321: 3311:-biased coin ( 3300: 3280: 3276: 3272: 3269: 3264: 3260: 3234: 3231: 3229: 3226: 3225: 3224: 3220: 3219: 3218: 3217: 3202: 3199: 3196: 3193: 3190: 3187: 3182: 3179: 3175: 3171: 3168: 3165: 3162: 3159: 3155: 3150: 3145: 3140: 3137: 3132: 3128: 3125: 3122: 3118: 3114: 3109: 3105: 3100: 3096: 3093: 3090: 3087: 3085: 3083: 3079: 3074: 3069: 3062: 3059: 3054: 3048: 3045: 3039: 3033: 3029: 3024: 3020: 3015: 3011: 3008: 3005: 3001: 2997: 2994: 2991: 2988: 2986: 2984: 2980: 2975: 2968: 2965: 2959: 2956: 2952: 2948: 2945: 2942: 2938: 2934: 2931: 2928: 2925: 2923: 2921: 2917: 2912: 2906: 2903: 2898: 2894: 2890: 2887: 2884: 2880: 2876: 2873: 2870: 2867: 2865: 2861: 2856: 2850: 2847: 2842: 2838: 2833: 2832: 2806: 2803: 2800: 2797: 2794: 2791: 2788: 2785: 2782: 2779: 2776: 2771: 2767: 2763: 2760: 2748: 2747: 2743: 2742: 2731: 2728: 2725: 2722: 2719: 2716: 2713: 2710: 2707: 2704: 2701: 2698: 2695: 2692: 2689: 2686: 2674: 2673: 2672: 2671: 2654: 2649: 2643: 2640: 2635: 2631: 2626: 2623: 2621: 2619: 2614: 2609: 2603: 2600: 2597: 2594: 2591: 2588: 2585: 2582: 2579: 2576: 2573: 2570: 2565: 2561: 2556: 2553: 2551: 2549: 2546: 2543: 2540: 2537: 2534: 2531: 2528: 2525: 2522: 2519: 2516: 2513: 2510: 2507: 2504: 2501: 2499: 2497: 2494: 2491: 2488: 2485: 2482: 2479: 2473: 2470: 2465: 2461: 2458: 2455: 2452: 2449: 2446: 2443: 2440: 2437: 2431: 2428: 2423: 2419: 2416: 2413: 2410: 2407: 2405: 2401: 2397: 2393: 2390: 2387: 2384: 2378: 2375: 2370: 2366: 2363: 2360: 2359: 2346: 2345: 2341: 2340: 2328: 2325: 2322: 2319: 2316: 2313: 2306: 2301: 2297: 2290: 2284: or  2281: 2278: 2275: 2272: 2269: 2266: 2259: 2254: 2250: 2243: 2230: 2229: 2228: 2227: 2216: 2213: 2210: 2207: 2204: 2201: 2194: 2190: 2185: 2181: 2178: 2175: 2172: 2169: 2166: 2163: 2156: 2152: 2147: 2143: 2140: 2137: 2134: 2131: 2128: 2122: 2119: 2114: 2100: 2099: 2087: 2082: 2078: 2074: 2071: 2068: 2065: 2060: 2056: 2052: 2049: 2046: 2043: 2040: 2037: 2034: 2031: 2025: 2022: 2017: 1996: 1991: 1987: 1983: 1980: 1977: 1974: 1969: 1965: 1961: 1958: 1937: 1933: 1930: 1927: 1924: 1921: 1918: 1915: 1912: 1909: 1905: 1899: 1896: 1893: 1889: 1885: 1882: 1879: 1874: 1870: 1857: 1856: 1845: 1842: 1839: 1836: 1833: 1830: 1827: 1824: 1821: 1818: 1815: 1812: 1809: 1806: 1803: 1800: 1797: 1794: 1791: 1788: 1785: 1782: 1779: 1776: 1773: 1767: 1764: 1759: 1747: 1746: 1742: 1741: 1737: 1736: 1735: 1734: 1723: 1720: 1717: 1714: 1711: 1708: 1702: 1699: 1694: 1690: 1687: 1684: 1681: 1678: 1673: 1668: 1662: 1659: 1654: 1650: 1632: 1631: 1630: 1629: 1616: 1611: 1605: 1602: 1597: 1593: 1588: 1583: 1579: 1575: 1572: 1569: 1566: 1560: 1557: 1552: 1548: 1545: 1517: 1514: 1501: 1495: 1492: 1486: 1483: 1480: 1477: 1474: 1471: 1468: 1457: 1456: 1441: 1438: 1435: 1432: 1429: 1426: 1420: 1417: 1412: 1408: 1405: 1402: 1399: 1394: 1391: 1386: 1383: 1377: 1374: 1368: 1365: 1362: 1359: 1356: 1353: 1350: 1347: 1344: 1342: 1340: 1337: 1334: 1331: 1328: 1325: 1322: 1316: 1313: 1308: 1304: 1301: 1298: 1295: 1290: 1287: 1282: 1279: 1276: 1273: 1271: 1269: 1266: 1263: 1260: 1257: 1251: 1248: 1243: 1239: 1236: 1233: 1230: 1227: 1224: 1221: 1218: 1215: 1212: 1209: 1208: 1183: 1178: 1175: 1152: 1132: 1129: 1126: 1123: 1117: 1114: 1100: 1099: 1088: 1085: 1082: 1079: 1076: 1073: 1067: 1064: 1059: 1055: 1052: 1049: 1046: 1041: 1038: 1033: 1030: 1024: 1021: 1015: 1012: 1009: 1006: 1003: 1000: 997: 972: 967: 964: 952: 949: 948: 947: 936: 933: 930: 927: 924: 921: 915: 912: 907: 903: 900: 897: 894: 889: 886: 881: 878: 875: 870: 867: 864: 861: 858: 855: 849: 846: 841: 837: 834: 831: 828: 825: 822: 817: 814: 811: 808: 805: 802: 796: 793: 788: 772: 769: 756: 736: 709: 706: 701: 698: 675: 655: 631: 628: 625: 614: 613: 600: 595: 587: 585: 582: 579: 578: 575: 572: 569: 566: 558: 556: 553: 547: 539: 536: 531: 528: 520: 515: 512: 506: 501: 497: 496: 494: 489: 486: 483: 480: 477: 474: 468: 465: 460: 441: 440: 429: 426: 422: 418: 415: 412: 409: 406: 403: 400: 397: 394: 390: 386: 379: 374: 371: 367: 363: 360: 357: 354: 351: 348: 342: 339: 334: 310: 290: 266: 261: 256: 251: 246: 219: 199: 187: 184: 182: 179: 157: 154: 151: 148: 145: 139: 136: 131: 106: 103: 100: 97: 94: 88: 85: 80: 56: 36: 15: 13: 10: 9: 6: 4: 3: 2: 4309: 4298: 4295: 4293: 4290: 4289: 4287: 4273: 4269: 4265: 4261: 4257: 4253: 4248: 4243: 4239: 4235: 4231: 4224: 4221: 4211: 4207: 4203: 4197: 4193: 4189: 4185: 4181: 4174: 4172: 4168: 4163: 4159: 4155: 4151: 4147: 4141: 4137: 4133: 4129: 4128: 4120: 4118: 4114: 4098: 4097: 4089: 4087: 4085: 4081: 4075: 4070: 4063: 4061: 4059: 4055: 4048: 4043: 4040: 4037: 4034: 4033: 4029: 4027: 4025: 4016: 4014: 4012: 4008: 4000: 3996: 3994: 3969: 3957: 3953: 3949: 3946: 3943: 3936: 3932: 3926: 3923: 3917: 3914: 3910: 3906: 3903: 3900: 3898: 3883: 3879: 3875: 3870: 3866: 3848: 3844: 3841: 3837: 3833: 3830: 3827: 3825: 3810: 3805: 3801: 3797: 3792: 3787: 3783: 3765: 3761: 3757: 3753: 3750: 3747: 3745: 3735: 3730: 3724: 3719: 3715: 3711: 3706: 3701: 3697: 3692: 3676: 3672: 3670: 3663: 3655: 3652: 3649: 3646: 3632: 3631: 3630: 3627: 3613: 3591: 3586: 3582: 3559: 3554: 3550: 3529: 3526: 3523: 3520: 3500: 3477: 3473: 3467: 3464: 3460: 3455: 3451: 3448: 3440: 3436: 3432: 3428: 3423: 3420: 3413: 3412: 3411: 3410:), at least 3397: 3394: 3391: 3371: 3368: 3365: 3345: 3342: 3339: 3335: 3331: 3328: 3323: 3319: 3298: 3278: 3274: 3270: 3267: 3262: 3258: 3249: 3244: 3243: 3238: 3232: 3227: 3222: 3221: 3194: 3191: 3188: 3180: 3177: 3173: 3169: 3163: 3160: 3157: 3153: 3148: 3143: 3138: 3135: 3130: 3126: 3123: 3120: 3116: 3112: 3107: 3098: 3094: 3091: 3088: 3086: 3077: 3072: 3067: 3060: 3057: 3052: 3046: 3043: 3037: 3031: 3027: 3022: 3013: 3009: 3006: 3003: 2999: 2995: 2992: 2989: 2987: 2978: 2973: 2966: 2963: 2957: 2954: 2950: 2946: 2943: 2940: 2936: 2932: 2929: 2926: 2924: 2915: 2910: 2904: 2901: 2896: 2892: 2888: 2885: 2882: 2878: 2874: 2871: 2868: 2866: 2859: 2854: 2848: 2845: 2840: 2836: 2823: 2822: 2820: 2798: 2792: 2789: 2786: 2780: 2777: 2774: 2769: 2761: 2750: 2749: 2745: 2744: 2729: 2723: 2720: 2717: 2705: 2702: 2699: 2690: 2687: 2684: 2676: 2675: 2652: 2647: 2641: 2638: 2633: 2629: 2624: 2622: 2612: 2607: 2598: 2595: 2592: 2580: 2577: 2574: 2563: 2559: 2554: 2552: 2541: 2538: 2535: 2526: 2520: 2517: 2514: 2505: 2502: 2500: 2486: 2483: 2480: 2463: 2459: 2456: 2444: 2441: 2438: 2421: 2417: 2414: 2408: 2406: 2399: 2391: 2388: 2385: 2368: 2364: 2361: 2350: 2349: 2348: 2347: 2343: 2342: 2323: 2320: 2317: 2299: 2295: 2288: 2276: 2273: 2270: 2252: 2248: 2241: 2232: 2231: 2211: 2208: 2205: 2192: 2188: 2183: 2179: 2173: 2170: 2167: 2154: 2150: 2145: 2141: 2135: 2132: 2129: 2112: 2104: 2103: 2102: 2101: 2080: 2076: 2069: 2066: 2058: 2054: 2047: 2044: 2038: 2035: 2032: 2015: 1989: 1985: 1978: 1975: 1967: 1963: 1956: 1928: 1922: 1919: 1913: 1907: 1894: 1891: 1883: 1880: 1877: 1872: 1868: 1859: 1858: 1843: 1840: 1834: 1831: 1828: 1819: 1816: 1810: 1807: 1804: 1795: 1792: 1789: 1786: 1780: 1777: 1774: 1757: 1749: 1748: 1744: 1743: 1739: 1738: 1715: 1712: 1709: 1692: 1688: 1682: 1679: 1676: 1671: 1666: 1660: 1657: 1652: 1648: 1639: 1638: 1637: 1636: 1635: 1614: 1609: 1603: 1600: 1595: 1591: 1586: 1581: 1573: 1570: 1567: 1550: 1546: 1543: 1536: 1535: 1534: 1533: 1532: 1530: 1525: 1522: 1515: 1513: 1490: 1481: 1478: 1472: 1466: 1433: 1430: 1427: 1410: 1406: 1400: 1397: 1392: 1389: 1384: 1372: 1363: 1360: 1354: 1348: 1345: 1343: 1329: 1326: 1323: 1306: 1302: 1296: 1293: 1288: 1285: 1280: 1277: 1274: 1272: 1264: 1261: 1258: 1241: 1237: 1231: 1225: 1222: 1216: 1210: 1199: 1198: 1197: 1176: 1173: 1164: 1150: 1130: 1127: 1121: 1112: 1080: 1077: 1074: 1057: 1053: 1047: 1044: 1039: 1036: 1031: 1019: 1010: 1007: 1001: 995: 988: 987: 986: 965: 962: 950: 928: 925: 922: 905: 901: 895: 892: 887: 884: 879: 876: 873: 862: 859: 856: 839: 835: 829: 826: 823: 820: 815: 809: 806: 803: 786: 778: 777: 776: 770: 768: 754: 734: 726: 707: 704: 699: 696: 673: 653: 645: 629: 626: 623: 593: 580: 573: 570: 567: 564: 554: 551: 537: 534: 529: 526: 513: 510: 499: 492: 487: 481: 478: 475: 458: 450: 449: 448: 446: 427: 413: 407: 404: 398: 392: 372: 369: 361: 355: 352: 349: 332: 324: 323: 322: 308: 288: 280: 254: 237: 233: 217: 197: 185: 180: 178: 176: 172: 152: 149: 146: 129: 120: 101: 98: 95: 78: 70: 54: 34: 26: 22: 4237: 4233: 4223: 4213:, retrieved 4183: 4126: 4104:. Retrieved 4095: 4020: 4010: 4004: 3998: 3992: 3628: 3492: 3245: 3241: 3239: 3236: 1633: 1526: 1523: 1519: 1458: 1165: 1101: 954: 774: 615: 442: 189: 20: 18: 642:stands for 23:bounds the 4286:Categories 4247:1702.05985 4215:2022-08-20 4074:2202.07198 4049:References 3384:(for some 2817:and apply 2007:such that 4264:0883-4237 4210:122597694 4154:757859245 4106:18 August 3954:ε 3947:− 3927:⁡ 3915:− 3907:− 3876:∥ 3842:− 3834:− 3798:∥ 3762:− 3754:− 3748:≤ 3673:≤ 3656:δ 3650:− 3530:δ 3524:− 3468:δ 3452:⁡ 3437:ε 3424:≥ 3392:δ 3372:δ 3369:− 3346:ε 3299:ε 3291:) and an 3248:Bernoulli 3170:− 3164:⁡ 3127:⁡ 3121:− 3113:⁡ 3095:⁡ 3089:≥ 3058:− 3028:⁡ 3010:⁡ 2996:⁡ 2955:∫ 2947:⁡ 2933:⁡ 2897:∫ 2889:⁡ 2875:⁡ 2841:∫ 2799:⋅ 2793:⁡ 2781:⁡ 2762:⋅ 2751:We write 2634:∫ 2564:∫ 2555:≥ 2527:∫ 2506:∫ 2418:− 2365:− 2305:¯ 2300:∗ 2289:∫ 2258:¯ 2253:∗ 2242:∫ 2193:∗ 2184:∫ 2180:− 2155:∗ 2146:∫ 2081:∗ 2067:− 2059:∗ 1990:∗ 1968:∗ 1920:− 1898:Ω 1895:∈ 1884:⁡ 1873:∗ 1841:− 1820:∫ 1796:∫ 1793:− 1713:∥ 1689:− 1683:⁡ 1677:≥ 1653:∫ 1596:∫ 1587:≥ 1547:− 1494:¯ 1431:∥ 1407:− 1401:⁡ 1385:− 1376:¯ 1327:∥ 1303:− 1297:⁡ 1281:− 1275:≤ 1238:≤ 1223:− 1177:∈ 1128:∖ 1125:Ω 1116:¯ 1078:∥ 1054:− 1048:⁡ 1032:≥ 1023:¯ 966:∈ 926:∥ 902:− 896:⁡ 880:− 874:≤ 860:∥ 836:− 830:⁡ 824:− 816:≤ 627:≪ 590:otherwise 584:∞ 568:≪ 514:⁡ 500:∫ 479:∥ 405:− 373:∈ 150:∥ 99:∥ 4272:15808752 4162:42933599 4030:See also 3629:We have 3237:Source: 2677:because 561:if  281:between 4017:History 2746:Step 2: 1740:Step 1: 230:be two 121:: when 4270:  4262:  4208:  4198:  4160:  4152:  4142:  1102:where 686:, and 4268:S2CID 4242:arXiv 4240:(2). 4206:S2CID 4158:S2CID 4100:(PDF) 4069:arXiv 1516:Proof 234:on a 4260:ISSN 4196:ISBN 4150:OCLC 4140:ISBN 4108:2022 3574:and 3395:> 2344:Then 1976:> 443:The 301:and 210:and 190:Let 47:and 4252:doi 4188:doi 4132:doi 4013:). 4005:In 3924:log 3449:log 3161:exp 3124:log 3092:exp 3007:log 2993:exp 2944:log 2930:exp 2886:log 2872:exp 2790:log 2778:exp 2712:max 2694:min 2587:max 2569:min 2530:max 2509:min 2312:min 2265:max 2200:min 2162:max 1888:max 1881:arg 1823:max 1799:min 1680:exp 1398:exp 1294:exp 1045:exp 893:exp 827:exp 727:of 646:of 511:log 366:sup 4288:: 4266:. 4258:. 4250:. 4238:35 4236:. 4232:. 4204:, 4194:, 4182:, 4170:^ 4156:. 4148:. 4138:. 4116:^ 4083:^ 4057:^ 4026:. 2821:: 1512:. 1196:, 1163:. 767:. 4274:. 4254:: 4244:: 4190:: 4164:. 4134:: 4110:. 4077:. 4071:: 3999:k 3970:2 3966:) 3963:) 3958:2 3950:4 3944:1 3941:( 3937:/ 3933:1 3930:( 3918:n 3911:e 3904:1 3901:= 3889:) 3884:2 3880:P 3871:1 3867:P 3863:( 3857:L 3854:K 3849:D 3845:n 3838:e 3831:1 3828:= 3816:) 3811:n 3806:2 3802:P 3793:n 3788:1 3784:P 3780:( 3774:L 3771:K 3766:D 3758:e 3751:1 3736:2 3731:) 3725:n 3720:2 3716:P 3712:, 3707:n 3702:1 3698:P 3693:( 3685:V 3682:T 3677:d 3664:2 3660:) 3653:2 3647:1 3644:( 3614:n 3592:n 3587:2 3583:P 3560:n 3555:1 3551:P 3527:2 3521:1 3501:n 3478:. 3474:) 3465:2 3461:1 3456:( 3441:2 3433:2 3429:1 3421:n 3398:0 3366:1 3343:+ 3340:2 3336:/ 3332:1 3329:= 3324:2 3320:p 3279:2 3275:/ 3271:1 3268:= 3263:1 3259:p 3201:) 3198:) 3195:Q 3192:, 3189:P 3186:( 3181:L 3178:K 3174:D 3167:( 3158:= 3154:) 3149:] 3144:) 3139:Q 3136:P 3131:( 3117:[ 3108:P 3104:E 3099:( 3078:) 3073:) 3068:] 3061:1 3053:) 3047:Q 3044:P 3038:( 3032:[ 3023:P 3019:E 3014:( 3004:2 3000:( 2990:= 2979:) 2974:) 2967:P 2964:Q 2958:P 2951:( 2941:2 2937:( 2927:= 2916:) 2911:) 2905:Q 2902:P 2893:( 2883:2 2879:( 2869:= 2860:2 2855:) 2849:Q 2846:P 2837:( 2805:) 2802:) 2796:( 2787:2 2784:( 2775:= 2770:2 2766:) 2759:( 2730:. 2727:) 2724:Q 2721:, 2718:P 2715:( 2709:) 2706:Q 2703:, 2700:P 2697:( 2691:= 2688:Q 2685:P 2653:2 2648:) 2642:Q 2639:P 2630:( 2625:= 2613:2 2608:) 2602:) 2599:Q 2596:, 2593:P 2590:( 2584:) 2581:Q 2578:, 2575:P 2572:( 2560:( 2545:) 2542:Q 2539:, 2536:P 2533:( 2524:) 2521:Q 2518:, 2515:P 2512:( 2503:= 2493:) 2490:) 2487:Q 2484:, 2481:P 2478:( 2472:V 2469:T 2464:d 2460:+ 2457:1 2454:( 2451:) 2448:) 2445:Q 2442:, 2439:P 2436:( 2430:V 2427:T 2422:d 2415:1 2412:( 2409:= 2400:2 2396:) 2392:Q 2389:, 2386:P 2383:( 2377:V 2374:T 2369:d 2362:1 2327:) 2324:Q 2321:, 2318:P 2315:( 2296:A 2280:) 2277:Q 2274:, 2271:P 2268:( 2249:A 2215:) 2212:Q 2209:, 2206:P 2203:( 2189:A 2177:) 2174:Q 2171:, 2168:P 2165:( 2151:A 2142:= 2139:) 2136:Q 2133:, 2130:P 2127:( 2121:V 2118:T 2113:d 2086:) 2077:A 2073:( 2070:Q 2064:) 2055:A 2051:( 2048:P 2045:= 2042:) 2039:Q 2036:, 2033:P 2030:( 2024:V 2021:T 2016:d 1995:) 1986:A 1982:( 1979:Q 1973:) 1964:A 1960:( 1957:P 1936:| 1932:) 1929:A 1926:( 1923:Q 1917:) 1914:A 1911:( 1908:P 1904:| 1892:A 1878:= 1869:A 1844:1 1838:) 1835:Q 1832:, 1829:P 1826:( 1817:= 1814:) 1811:Q 1808:, 1805:P 1802:( 1790:1 1787:= 1784:) 1781:Q 1778:, 1775:P 1772:( 1766:V 1763:T 1758:d 1722:) 1719:) 1716:Q 1710:P 1707:( 1701:L 1698:K 1693:D 1686:( 1672:2 1667:) 1661:Q 1658:P 1649:( 1615:2 1610:) 1604:Q 1601:P 1592:( 1582:2 1578:) 1574:Q 1571:, 1568:P 1565:( 1559:V 1556:T 1551:d 1544:1 1500:) 1491:A 1485:( 1482:Q 1479:+ 1476:) 1473:A 1470:( 1467:P 1440:) 1437:) 1434:Q 1428:P 1425:( 1419:L 1416:K 1411:D 1404:( 1393:2 1390:1 1382:) 1373:A 1367:( 1364:Q 1361:+ 1358:) 1355:A 1352:( 1349:Q 1346:= 1336:) 1333:) 1330:Q 1324:P 1321:( 1315:L 1312:K 1307:D 1300:( 1289:2 1286:1 1278:1 1268:) 1265:Q 1262:, 1259:P 1256:( 1250:V 1247:T 1242:d 1235:) 1232:A 1229:( 1226:P 1220:) 1217:A 1214:( 1211:Q 1182:F 1174:A 1151:A 1131:A 1122:= 1113:A 1087:) 1084:) 1081:Q 1075:P 1072:( 1066:L 1063:K 1058:D 1051:( 1040:2 1037:1 1029:) 1020:A 1014:( 1011:Q 1008:+ 1005:) 1002:A 999:( 996:P 971:F 963:A 935:) 932:) 929:Q 923:P 920:( 914:L 911:K 906:D 899:( 888:2 885:1 877:1 869:) 866:) 863:Q 857:P 854:( 848:L 845:K 840:D 833:( 821:1 813:) 810:Q 807:, 804:P 801:( 795:V 792:T 787:d 755:Q 735:P 708:Q 705:d 700:P 697:d 674:Q 654:P 630:Q 624:P 594:. 581:+ 574:, 571:Q 565:P 555:P 552:d 546:) 538:Q 535:d 530:P 527:d 519:( 505:X 493:{ 488:= 485:) 482:Q 476:P 473:( 467:L 464:K 459:D 428:. 425:} 421:| 417:) 414:A 411:( 408:Q 402:) 399:A 396:( 393:P 389:| 385:{ 378:F 370:A 362:= 359:) 356:Q 353:, 350:P 347:( 341:V 338:T 333:d 309:Q 289:P 265:) 260:F 255:, 250:X 245:( 218:Q 198:P 173:( 156:) 153:Q 147:P 144:( 138:L 135:K 130:D 105:) 102:Q 96:P 93:( 87:L 84:K 79:D 55:Q 35:P

Index

total variation
Kullback–Leibler divergence
Pinsker's inequality
hypothesis testing
Bretagnolle–Huber–Carol Inequality
probability distributions
measurable space
total variation
Kullback-Leibler divergence
absolute continuity
Radon–Nikodym derivative
Bhattacharyya coefficient
Jensen's inequality
Bernoulli
multi-armed bandit
Fano's Inequality
Total variation
Bretagnolle–Huber–Carol Inequality



arXiv
2202.07198



Bandit Algorithms


Introduction to nonparametric estimation

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.