Knowledge

Bretagnolle–Huber inequality

Source 📝

3226: 3999: 2837: 2680: 3646: 1465: 3221:{\displaystyle {\begin{aligned}\left(\int {\sqrt {PQ}}\right)^{2}&=\exp \left(2\log \left(\int {\sqrt {PQ}}\right)\right)\\&=\exp \left(2\log \left(\int P{\sqrt {\frac {Q}{P}}}\right)\right)\\&=\exp \left(2\log \left(\operatorname {E} _{P}\left\right)\right)\\&\geq \exp \left(\operatorname {E} _{P}\left\right)=\exp(-D_{KL}(P,Q))\end{aligned}}} 2364: 622: 3994:{\displaystyle {\begin{aligned}(1-2\delta )^{2}&\leq d_{\mathrm {TV} }\left(P_{1}^{n},P_{2}^{n}\right)^{2}\\&\leq 1-e^{-D_{\mathrm {KL} }(P_{1}^{n}\parallel P_{2}^{n})}\\&=1-e^{-nD_{\mathrm {KL} }(P_{1}\parallel P_{2})}\\&=1-e^{-n{\frac {\log(1/(1-4\varepsilon ^{2}))}{2}}}\end{aligned}}} 4032:
The result was first proved in 1979 by Jean Bretagnolle and Catherine Huber, and published in the proceedings of the Strasbourg Probability Seminar. Alexandre Tsybakov's book features an early re-publication of the inequality and its attribution to Bretagnolle and Huber, which is presented as an
1213: 956: 2675:{\displaystyle {\begin{aligned}1-d_{\mathrm {TV} }(P,Q)^{2}&=(1-d_{\mathrm {TV} }(P,Q))(1+d_{\mathrm {TV} }(P,Q))\\&=\int \min(P,Q)\int \max(P,Q)\\&\geq \left(\int {\sqrt {\min(P,Q)\max(P,Q)}}\right)^{2}\\&=\left(\int {\sqrt {PQ}}\right)^{2}\end{aligned}}} 464: 179:
is large (larger than 2 for instance.), Pinsker's inequality is vacuous, while Bretagnolle–Huber remains bounded and hence non-vacuous. It is used in statistics and machine learning to prove information-theoretic lower bounds relying on
1743: 3499: 1108: 2348: 2236: 1638: 1460:{\displaystyle {\begin{aligned}Q(A)-P(A)\leq d_{\mathrm {TV} }(P,Q)&\leq 1-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))\\&=Q(A)+Q({\bar {A}})-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))\end{aligned}}} 449: 792: 1865: 3651: 1531:
We prove the main statement following the ideas in Tsybakov's book (Lemma 2.6, page 89), which differ from the original proof (see C.Canonne's note for a modernized retranscription of their argument).
1958: 2107: 617:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)={\begin{cases}\int _{\mathcal {X}}\log {\bigl (}{\frac {dP}{dQ}}{\bigr )}\,dP&{\text{if }}P\ll Q,\\+\infty &{\text{otherwise}}.\end{cases}}} 2842: 2369: 1218: 1152: 2826: 286: 177: 126: 3367: 2751: 2016: 1205: 994: 1521: 732: 3419: 3320: 3551: 3615: 3583: 3393: 3300: 4033:
early and less general version of Assouad's lemma (see notes 2.8). A constant improvement on Bretagnolle–Huber was proved in 2014 as a consequence of an extension of
651: 1653: 3427: 4020:, a lower bound on the minimax regret of any bandit algorithm can be proved using Bretagnolle–Huber and its consequence on hypothesis testing (see Chapter 15 of 1002: 3635: 3522: 1172: 776: 756: 695: 675: 330: 310: 239: 219: 76: 56: 2247: 2118: 1550: 951:{\displaystyle d_{\mathrm {TV} }(P,Q)\leq {\sqrt {1-\exp(-D_{\mathrm {KL} }(P\parallel Q))}}\leq 1-{\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))} 338: 1763: 4210: 4154: 4307: 188:
is a variation of Concentration inequality for multinomially distributed random variables which bounds the total variation distance.)
1874: 79: 2021: 3553:. This is because the total variation upper bounds the probability of under- or over-estimating the coins' means. Denote 735: 1116: 4302: 2765: 455: 251: 135: 84: 4197:, Lecture notes in Mathematics, vol. 649, Berlin, Heidelberg: Springer Berlin Heidelberg, pp. 342–363, 966:
The following version is directly implied by the bound above but some authors prefer stating it this way. Let
4052: 242: 185: 506: 3325: 2691: 129: 3258: 2829: 1963: 1539: 3504:
In order to obtain this lower bound we impose that the total variation distance between two sequences of
1180: 969: 1473: 700: 4034: 654: 3398: 3305: 4278: 4252: 4216: 4168: 4079: 4017: 181: 3527: 3588: 3556: 3372: 3264: 4270: 4206: 4160: 4150: 1738:{\displaystyle \left(\int {\sqrt {PQ}}\right)^{2}\geq \exp(-D_{\mathrm {KL} }(P\parallel Q))} 4262: 4198: 4142: 3494:{\displaystyle n\geq {\frac {1}{2\varepsilon ^{2}}}\log \left({\frac {1}{2\delta }}\right).} 630: 246: 17: 1103:{\displaystyle P(A)+Q({\bar {A}})\geq {\frac {1}{2}}\exp(-D_{\mathrm {KL} }(P\parallel Q))} 4046: 289: 35: 3234:
Combining the results of steps 1 and 2 leads to the claimed bound on the total variation.
3620: 3507: 2343:{\displaystyle \int _{\bar {A^{*}}}\max(P,Q){\text{ or }}\int _{\bar {A^{*}}}\min(P,Q)} 1157: 761: 741: 680: 660: 315: 295: 224: 204: 61: 41: 4296: 4220: 4282: 4172: 4105: 2231:{\displaystyle d_{\mathrm {TV} }(P,Q)=\int _{A^{*}}\max(P,Q)-\int _{A^{*}}\min(P,Q)} 1633:{\displaystyle 1-d_{\mathrm {TV} }(P,Q)^{2}\geq \left(\int {\sqrt {PQ}}\right)^{2}} 444:{\displaystyle d_{\mathrm {TV} }(P,Q)=\sup _{A\in {\mathcal {F}}}\{|P(A)-Q(A)|\}.} 4136: 4274: 4164: 4078:
Canonne, Clément (2022). "A short note on an inequality between KL and TV".
3253:
How many coin tosses do I need to distinguish a fair coin from a biased one?
1538:
1. Prove using Cauchy–Schwarz that the total variation is related to the
4190: 3369:). Then, in order to identify the biased coin with probability at least 1860:{\displaystyle d_{\mathrm {TV} }(P,Q)=1-\int \min(P,Q)=\int \max(P,Q)-1} 4240: 4202: 4266: 4239:
Gerchinovitz, Sébastien; Ménard, Pierre; Stoltz, Gilles (2020-05-01).
4257: 4146: 4084: 128:. The bound can be viewed as an alternative to the well-known 1645:
2. Prove by a clever application of Jensen’s inequality that
1192: 981: 515: 388: 270: 260: 610: 1953:{\displaystyle A^{*}=\arg \max _{A\in \Omega }|P(A)-Q(A)|} 2102:{\displaystyle d_{\mathrm {TV} }(P,Q)=P(A^{*})-Q(A^{*})} 1177:
Indeed, by definition of the total variation, for any
3649: 3623: 3591: 3559: 3530: 3510: 3430: 3401: 3375: 3328: 3308: 3267: 2840: 2768: 2694: 2367: 2250: 2121: 2024: 1966: 1877: 1766: 1656: 1553: 1476: 1216: 1183: 1160: 1119: 1005: 972: 795: 764: 744: 703: 683: 663: 633: 467: 341: 318: 298: 254: 227: 207: 138: 87: 64: 44: 3993: 3629: 3609: 3577: 3545: 3516: 3493: 3413: 3387: 3361: 3314: 3294: 3220: 2820: 2745: 2674: 2342: 2230: 2101: 2010: 1952: 1859: 1737: 1632: 1515: 1470:Rearranging, we obtain the claimed lower bound on 1459: 1199: 1166: 1147:{\displaystyle {\bar {A}}=\Omega \smallsetminus A} 1146: 1102: 988: 950: 770: 750: 726: 689: 669: 645: 616: 443: 324: 304: 280: 233: 213: 171: 120: 70: 50: 4004:The result is obtained by rearranging the terms. 2821:{\displaystyle (\cdot )^{2}=\exp(2\log(\cdot ))} 2722: 2704: 2597: 2579: 2540: 2519: 2322: 2275: 2210: 2172: 1898: 1833: 1809: 376: 4191:"Estimation des densités : Risque minimax" 281:{\displaystyle ({\mathcal {X}},{\mathcal {F}})} 172:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)} 121:{\displaystyle D_{\mathrm {KL} }(P\parallel Q)} 38:distance between two probability distributions 4099: 4097: 4095: 1960:and without loss of generality, assume that 556: 529: 8: 435: 395: 4141:. Springer Series in Statistics. Springer. 4104:Lattimore, Tor; Szepesvari, Csaba (2020). 3617:the respective joint distributions of the 4256: 4083: 4073: 4071: 4069: 3967: 3946: 3931: 3924: 3893: 3880: 3863: 3862: 3851: 3820: 3815: 3802: 3797: 3780: 3779: 3771: 3745: 3734: 3729: 3716: 3711: 3691: 3690: 3673: 3650: 3648: 3622: 3601: 3596: 3590: 3569: 3564: 3558: 3529: 3509: 3469: 3450: 3437: 3429: 3400: 3374: 3345: 3333: 3327: 3307: 3284: 3272: 3266: 3187: 3144: 3117: 3076: 3067: 3051: 3032: 2971: 2910: 2869: 2854: 2841: 2839: 2779: 2767: 2693: 2662: 2647: 2622: 2577: 2478: 2477: 2436: 2435: 2409: 2383: 2382: 2368: 2366: 2309: 2303: 2302: 2293: 2262: 2256: 2255: 2249: 2202: 2197: 2164: 2159: 2127: 2126: 2120: 2090: 2068: 2030: 2029: 2023: 1999: 1977: 1965: 1945: 1913: 1901: 1882: 1876: 1772: 1771: 1765: 1707: 1706: 1681: 1666: 1655: 1624: 1609: 1591: 1565: 1564: 1552: 1499: 1498: 1475: 1425: 1424: 1398: 1381: 1380: 1321: 1320: 1294: 1256: 1255: 1217: 1215: 1191: 1190: 1182: 1159: 1121: 1120: 1118: 1072: 1071: 1045: 1028: 1027: 1004: 980: 979: 971: 920: 919: 893: 854: 853: 829: 801: 800: 794: 763: 743: 704: 702: 682: 662: 632: 599: 570: 561: 555: 554: 534: 528: 527: 514: 513: 501: 473: 472: 466: 430: 398: 387: 386: 379: 347: 346: 340: 317: 297: 269: 268: 259: 258: 253: 226: 206: 144: 143: 137: 93: 92: 86: 78:by a concave and bounded function of the 63: 43: 4241:"Fano's Inequality for Random Variables" 4138:Introduction to nonparametric estimation 4065: 3244:Sample complexity of biased coin tosses 786:The Bretagnolle–Huber inequality says: 4008:Information-theoretic lower bound for 3362:{\displaystyle p_{2}=1/2+\varepsilon } 3257:Assume you have 2 coins, a fair coin ( 2746:{\displaystyle PQ=\min(P,Q)\max(P,Q).} 1542:(right-hand side of the inequality): 7: 4184: 4182: 4130: 4128: 2011:{\displaystyle P(A^{*})>Q(A^{*})} 4189:Bretagnolle, J.; Huber, C. (1978), 1200:{\displaystyle A\in {\mathcal {F}}} 989:{\displaystyle A\in {\mathcal {F}}} 4053:Bretagnolle–Huber–Carol Inequality 3867: 3864: 3784: 3781: 3695: 3692: 3114: 3029: 2482: 2479: 2440: 2437: 2387: 2384: 2131: 2128: 2034: 2031: 1908: 1776: 1773: 1711: 1708: 1569: 1566: 1516:{\displaystyle P(A)+Q({\bar {A}})} 1429: 1426: 1325: 1322: 1260: 1257: 1135: 1076: 1073: 924: 921: 858: 855: 805: 802: 594: 477: 474: 351: 348: 186:Bretagnolle–Huber–Carol Inequality 148: 145: 97: 94: 25: 3637:coin tosses for each coin, then 727:{\displaystyle {\frac {dP}{dQ}}} 27:Inequality in information theory 4135:Tsybakov, Alexandre B. (2010). 3976: 3973: 3951: 3940: 3899: 3873: 3826: 3790: 3670: 3654: 3211: 3208: 3196: 3177: 2815: 2812: 2806: 2794: 2776: 2769: 2737: 2725: 2719: 2707: 2612: 2600: 2594: 2582: 2555: 2543: 2534: 2522: 2503: 2500: 2488: 2464: 2461: 2458: 2446: 2422: 2406: 2393: 2337: 2325: 2315: 2290: 2278: 2268: 2225: 2213: 2187: 2175: 2149: 2137: 2096: 2083: 2074: 2061: 2052: 2040: 2005: 1992: 1983: 1970: 1946: 1942: 1936: 1927: 1921: 1914: 1848: 1836: 1824: 1812: 1794: 1782: 1732: 1729: 1717: 1696: 1588: 1575: 1510: 1504: 1495: 1486: 1480: 1450: 1447: 1435: 1414: 1392: 1386: 1377: 1368: 1362: 1346: 1343: 1331: 1310: 1278: 1266: 1245: 1239: 1230: 1224: 1126: 1097: 1094: 1082: 1061: 1039: 1033: 1024: 1015: 1009: 945: 942: 930: 909: 879: 876: 864: 843: 823: 811: 495: 483: 431: 427: 421: 412: 406: 399: 369: 357: 275: 255: 166: 154: 115: 103: 1: 4195:Séminaire de Probabilités XII 2244:And then adding and removing 4113:. Cambridge University Press 3414:{\displaystyle \delta >0} 3315:{\displaystyle \varepsilon } 32:Bretagnolle–Huber inequality 18:Bretagnolle-Huber inequality 4055:in Concentration inequality 1535:The proof is in two steps: 627:In the above, the notation 456:Kullback-Leibler divergence 80:Kullback–Leibler divergence 30:In information theory, the 4324: 4308:Probabilistic inequalities 4049:for a list of upper bounds 3546:{\displaystyle 1-2\delta } 2350:we obtain both identities. 3610:{\displaystyle P_{2}^{n}} 3578:{\displaystyle P_{1}^{n}} 3388:{\displaystyle 1-\delta } 3295:{\displaystyle p_{1}=1/2} 1540:Bhattacharyya coefficient 243:probability distributions 3239:Examples of applications 736:Radon–Nikodym derivative 458:is defined as follows: 197:Preliminary definitions 3995: 3631: 3611: 3579: 3547: 3518: 3495: 3415: 3389: 3363: 3316: 3296: 3261:distributed with mean 3222: 2822: 2747: 2676: 2344: 2232: 2103: 2012: 1954: 1861: 1739: 1634: 1517: 1461: 1201: 1168: 1148: 1104: 990: 952: 772: 752: 728: 691: 671: 647: 646:{\displaystyle P\ll Q} 618: 445: 326: 306: 282: 235: 215: 173: 122: 72: 52: 3996: 3632: 3612: 3580: 3548: 3519: 3496: 3416: 3390: 3364: 3317: 3297: 3223: 2823: 2748: 2677: 2345: 2233: 2109:. Then we can rewrite 2104: 2013: 1955: 1862: 1740: 1635: 1518: 1462: 1202: 1169: 1154:is the complement of 1149: 1105: 991: 953: 773: 753: 729: 692: 672: 648: 619: 446: 327: 307: 283: 236: 216: 174: 123: 73: 53: 3647: 3621: 3589: 3557: 3528: 3524:samples is at least 3508: 3428: 3399: 3373: 3326: 3306: 3265: 2838: 2766: 2692: 2365: 2248: 2119: 2022: 1964: 1875: 1871:To see this, denote 1764: 1654: 1551: 1474: 1214: 1181: 1158: 1117: 1003: 970: 793: 762: 742: 701: 681: 661: 631: 465: 339: 316: 296: 252: 225: 205: 136: 130:Pinsker's inequality 85: 62: 42: 4245:Statistical Science 4012:-armed bandit games 3825: 3807: 3739: 3721: 3606: 3574: 2830:Jensen's inequality 996:be any event. Then 962:Alternative version 655:absolute continuity 4303:Information theory 4203:10.1007/bfb0064610 4018:multi-armed bandit 3991: 3989: 3811: 3793: 3725: 3707: 3627: 3607: 3592: 3575: 3560: 3543: 3514: 3491: 3411: 3385: 3359: 3312: 3292: 3218: 3216: 2818: 2743: 2672: 2670: 2340: 2228: 2099: 2008: 1950: 1912: 1857: 1735: 1630: 1513: 1457: 1455: 1197: 1164: 1144: 1100: 986: 948: 768: 748: 724: 687: 667: 643: 614: 609: 441: 394: 322: 302: 288:. Recall that the 278: 231: 211: 182:hypothesis testing 169: 118: 68: 48: 4267:10.1214/19-sts716 4212:978-3-540-08761-8 4156:978-1-4419-2709-5 4107:Bandit Algorithms 4035:Fano's Inequality 4022:Bandit Algorithms 3983: 3630:{\displaystyle n} 3517:{\displaystyle n} 3482: 3457: 3251:The question is 3152: 3061: 3060: 2981: 2980: 2918: 2862: 2655: 2615: 2318: 2296: 2271: 1897: 1756:First notice that 1674: 1617: 1507: 1406: 1389: 1302: 1167:{\displaystyle A} 1129: 1053: 1036: 901: 882: 782:General statement 771:{\displaystyle Q} 751:{\displaystyle P} 722: 690:{\displaystyle Q} 670:{\displaystyle P} 602: 573: 552: 375: 325:{\displaystyle Q} 305:{\displaystyle P} 234:{\displaystyle Q} 214:{\displaystyle P} 71:{\displaystyle Q} 51:{\displaystyle P} 16:(Redirected from 4315: 4287: 4286: 4260: 4236: 4230: 4229: 4228: 4227: 4186: 4177: 4176: 4132: 4123: 4122: 4120: 4118: 4112: 4101: 4090: 4089: 4087: 4075: 4000: 3998: 3997: 3992: 3990: 3986: 3985: 3984: 3979: 3972: 3971: 3950: 3932: 3907: 3903: 3902: 3898: 3897: 3885: 3884: 3872: 3871: 3870: 3834: 3830: 3829: 3824: 3819: 3806: 3801: 3789: 3788: 3787: 3754: 3750: 3749: 3744: 3740: 3738: 3733: 3720: 3715: 3700: 3699: 3698: 3678: 3677: 3636: 3634: 3633: 3628: 3616: 3614: 3613: 3608: 3605: 3600: 3584: 3582: 3581: 3576: 3573: 3568: 3552: 3550: 3549: 3544: 3523: 3521: 3520: 3515: 3500: 3498: 3497: 3492: 3487: 3483: 3481: 3470: 3458: 3456: 3455: 3454: 3438: 3420: 3418: 3417: 3412: 3394: 3392: 3391: 3386: 3368: 3366: 3365: 3360: 3349: 3338: 3337: 3321: 3319: 3318: 3313: 3301: 3299: 3298: 3293: 3288: 3277: 3276: 3227: 3225: 3224: 3219: 3217: 3195: 3194: 3167: 3163: 3162: 3158: 3157: 3153: 3145: 3122: 3121: 3095: 3091: 3087: 3086: 3082: 3081: 3077: 3075: 3074: 3066: 3062: 3053: 3052: 3037: 3036: 2996: 2992: 2988: 2987: 2983: 2982: 2973: 2972: 2933: 2929: 2925: 2924: 2920: 2919: 2911: 2874: 2873: 2868: 2864: 2863: 2855: 2827: 2825: 2824: 2819: 2784: 2783: 2752: 2750: 2749: 2744: 2681: 2679: 2678: 2673: 2671: 2667: 2666: 2661: 2657: 2656: 2648: 2631: 2627: 2626: 2621: 2617: 2616: 2578: 2561: 2509: 2487: 2486: 2485: 2445: 2444: 2443: 2414: 2413: 2392: 2391: 2390: 2349: 2347: 2346: 2341: 2321: 2320: 2319: 2314: 2313: 2304: 2297: 2294: 2274: 2273: 2272: 2267: 2266: 2257: 2237: 2235: 2234: 2229: 2209: 2208: 2207: 2206: 2171: 2170: 2169: 2168: 2136: 2135: 2134: 2108: 2106: 2105: 2100: 2095: 2094: 2073: 2072: 2039: 2038: 2037: 2017: 2015: 2014: 2009: 2004: 2003: 1982: 1981: 1959: 1957: 1956: 1951: 1949: 1917: 1911: 1887: 1886: 1866: 1864: 1863: 1858: 1781: 1780: 1779: 1744: 1742: 1741: 1736: 1716: 1715: 1714: 1686: 1685: 1680: 1676: 1675: 1667: 1639: 1637: 1636: 1631: 1629: 1628: 1623: 1619: 1618: 1610: 1596: 1595: 1574: 1573: 1572: 1522: 1520: 1519: 1514: 1509: 1508: 1500: 1466: 1464: 1463: 1458: 1456: 1434: 1433: 1432: 1407: 1399: 1391: 1390: 1382: 1352: 1330: 1329: 1328: 1303: 1295: 1265: 1264: 1263: 1206: 1204: 1203: 1198: 1196: 1195: 1173: 1171: 1170: 1165: 1153: 1151: 1150: 1145: 1131: 1130: 1122: 1109: 1107: 1106: 1101: 1081: 1080: 1079: 1054: 1046: 1038: 1037: 1029: 995: 993: 992: 987: 985: 984: 957: 955: 954: 949: 929: 928: 927: 902: 894: 883: 863: 862: 861: 830: 810: 809: 808: 777: 775: 774: 769: 758:with respect to 757: 755: 754: 749: 733: 731: 730: 725: 723: 721: 713: 705: 696: 694: 693: 688: 677:with respect to 676: 674: 673: 668: 652: 650: 649: 644: 623: 621: 620: 615: 613: 612: 603: 600: 574: 571: 560: 559: 553: 551: 543: 535: 533: 532: 520: 519: 518: 482: 481: 480: 450: 448: 447: 442: 434: 402: 393: 392: 391: 356: 355: 354: 331: 329: 328: 323: 311: 309: 308: 303: 287: 285: 284: 279: 274: 273: 264: 263: 247:measurable space 240: 238: 237: 232: 220: 218: 217: 212: 192:Formal statement 178: 176: 175: 170: 153: 152: 151: 127: 125: 124: 119: 102: 101: 100: 77: 75: 74: 69: 57: 55: 54: 49: 21: 4323: 4322: 4318: 4317: 4316: 4314: 4313: 4312: 4293: 4292: 4291: 4290: 4238: 4237: 4233: 4225: 4223: 4213: 4188: 4187: 4180: 4157: 4134: 4133: 4126: 4116: 4114: 4110: 4103: 4102: 4093: 4077: 4076: 4067: 4062: 4047:Total variation 4043: 4030: 4014: 3988: 3987: 3963: 3933: 3920: 3905: 3904: 3889: 3876: 3858: 3847: 3832: 3831: 3775: 3767: 3752: 3751: 3706: 3702: 3701: 3686: 3679: 3669: 3645: 3644: 3619: 3618: 3587: 3586: 3555: 3554: 3526: 3525: 3506: 3505: 3474: 3465: 3446: 3442: 3426: 3425: 3397: 3396: 3371: 3370: 3329: 3324: 3323: 3304: 3303: 3268: 3263: 3262: 3246: 3241: 3215: 3214: 3183: 3140: 3130: 3126: 3113: 3112: 3108: 3093: 3092: 3047: 3046: 3045: 3041: 3028: 3027: 3023: 3013: 3009: 2994: 2993: 2964: 2960: 2950: 2946: 2931: 2930: 2906: 2902: 2892: 2888: 2875: 2850: 2846: 2845: 2836: 2835: 2775: 2764: 2763: 2690: 2689: 2669: 2668: 2643: 2639: 2638: 2629: 2628: 2573: 2569: 2568: 2559: 2558: 2507: 2506: 2473: 2431: 2415: 2405: 2378: 2363: 2362: 2305: 2298: 2258: 2251: 2246: 2245: 2198: 2193: 2160: 2155: 2122: 2117: 2116: 2086: 2064: 2025: 2020: 2019: 1995: 1973: 1962: 1961: 1878: 1873: 1872: 1767: 1762: 1761: 1702: 1662: 1658: 1657: 1652: 1651: 1605: 1601: 1600: 1587: 1560: 1549: 1548: 1529: 1472: 1471: 1454: 1453: 1420: 1350: 1349: 1316: 1281: 1251: 1212: 1211: 1179: 1178: 1156: 1155: 1115: 1114: 1067: 1001: 1000: 968: 967: 964: 915: 849: 796: 791: 790: 784: 760: 759: 740: 739: 734:stands for the 714: 706: 699: 698: 679: 678: 659: 658: 629: 628: 608: 607: 597: 588: 587: 568: 544: 536: 509: 502: 468: 463: 462: 342: 337: 336: 332:is defined by 314: 313: 294: 293: 290:total variation 250: 249: 223: 222: 203: 202: 199: 194: 139: 134: 133: 88: 83: 82: 60: 59: 40: 39: 36:total variation 28: 23: 22: 15: 12: 11: 5: 4321: 4319: 4311: 4310: 4305: 4295: 4294: 4289: 4288: 4231: 4211: 4178: 4155: 4147:10.1007/b13794 4124: 4091: 4064: 4063: 4061: 4058: 4057: 4056: 4050: 4042: 4039: 4029: 4026: 4013: 4006: 4002: 4001: 3982: 3978: 3975: 3970: 3966: 3962: 3959: 3956: 3953: 3949: 3945: 3942: 3939: 3936: 3930: 3927: 3923: 3919: 3916: 3913: 3910: 3908: 3906: 3901: 3896: 3892: 3888: 3883: 3879: 3875: 3869: 3866: 3861: 3857: 3854: 3850: 3846: 3843: 3840: 3837: 3835: 3833: 3828: 3823: 3818: 3814: 3810: 3805: 3800: 3796: 3792: 3786: 3783: 3778: 3774: 3770: 3766: 3763: 3760: 3757: 3755: 3753: 3748: 3743: 3737: 3732: 3728: 3724: 3719: 3714: 3710: 3705: 3697: 3694: 3689: 3685: 3682: 3680: 3676: 3672: 3668: 3665: 3662: 3659: 3656: 3653: 3652: 3626: 3604: 3599: 3595: 3572: 3567: 3563: 3542: 3539: 3536: 3533: 3513: 3502: 3501: 3490: 3486: 3480: 3477: 3473: 3468: 3464: 3461: 3453: 3449: 3445: 3441: 3436: 3433: 3410: 3407: 3404: 3384: 3381: 3378: 3358: 3355: 3352: 3348: 3344: 3341: 3336: 3332: 3322:-biased coin ( 3311: 3291: 3287: 3283: 3280: 3275: 3271: 3245: 3242: 3240: 3237: 3236: 3235: 3231: 3230: 3229: 3228: 3213: 3210: 3207: 3204: 3201: 3198: 3193: 3190: 3186: 3182: 3179: 3176: 3173: 3170: 3166: 3161: 3156: 3151: 3148: 3143: 3139: 3136: 3133: 3129: 3125: 3120: 3116: 3111: 3107: 3104: 3101: 3098: 3096: 3094: 3090: 3085: 3080: 3073: 3070: 3065: 3059: 3056: 3050: 3044: 3040: 3035: 3031: 3026: 3022: 3019: 3016: 3012: 3008: 3005: 3002: 2999: 2997: 2995: 2991: 2986: 2979: 2976: 2970: 2967: 2963: 2959: 2956: 2953: 2949: 2945: 2942: 2939: 2936: 2934: 2932: 2928: 2923: 2917: 2914: 2909: 2905: 2901: 2898: 2895: 2891: 2887: 2884: 2881: 2878: 2876: 2872: 2867: 2861: 2858: 2853: 2849: 2844: 2843: 2817: 2814: 2811: 2808: 2805: 2802: 2799: 2796: 2793: 2790: 2787: 2782: 2778: 2774: 2771: 2759: 2758: 2754: 2753: 2742: 2739: 2736: 2733: 2730: 2727: 2724: 2721: 2718: 2715: 2712: 2709: 2706: 2703: 2700: 2697: 2685: 2684: 2683: 2682: 2665: 2660: 2654: 2651: 2646: 2642: 2637: 2634: 2632: 2630: 2625: 2620: 2614: 2611: 2608: 2605: 2602: 2599: 2596: 2593: 2590: 2587: 2584: 2581: 2576: 2572: 2567: 2564: 2562: 2560: 2557: 2554: 2551: 2548: 2545: 2542: 2539: 2536: 2533: 2530: 2527: 2524: 2521: 2518: 2515: 2512: 2510: 2508: 2505: 2502: 2499: 2496: 2493: 2490: 2484: 2481: 2476: 2472: 2469: 2466: 2463: 2460: 2457: 2454: 2451: 2448: 2442: 2439: 2434: 2430: 2427: 2424: 2421: 2418: 2416: 2412: 2408: 2404: 2401: 2398: 2395: 2389: 2386: 2381: 2377: 2374: 2371: 2370: 2357: 2356: 2352: 2351: 2339: 2336: 2333: 2330: 2327: 2324: 2317: 2312: 2308: 2301: 2295: or  2292: 2289: 2286: 2283: 2280: 2277: 2270: 2265: 2261: 2254: 2241: 2240: 2239: 2238: 2227: 2224: 2221: 2218: 2215: 2212: 2205: 2201: 2196: 2192: 2189: 2186: 2183: 2180: 2177: 2174: 2167: 2163: 2158: 2154: 2151: 2148: 2145: 2142: 2139: 2133: 2130: 2125: 2111: 2110: 2098: 2093: 2089: 2085: 2082: 2079: 2076: 2071: 2067: 2063: 2060: 2057: 2054: 2051: 2048: 2045: 2042: 2036: 2033: 2028: 2007: 2002: 1998: 1994: 1991: 1988: 1985: 1980: 1976: 1972: 1969: 1948: 1944: 1941: 1938: 1935: 1932: 1929: 1926: 1923: 1920: 1916: 1910: 1907: 1904: 1900: 1896: 1893: 1890: 1885: 1881: 1868: 1867: 1856: 1853: 1850: 1847: 1844: 1841: 1838: 1835: 1832: 1829: 1826: 1823: 1820: 1817: 1814: 1811: 1808: 1805: 1802: 1799: 1796: 1793: 1790: 1787: 1784: 1778: 1775: 1770: 1758: 1757: 1753: 1752: 1748: 1747: 1746: 1745: 1734: 1731: 1728: 1725: 1722: 1719: 1713: 1710: 1705: 1701: 1698: 1695: 1692: 1689: 1684: 1679: 1673: 1670: 1665: 1661: 1643: 1642: 1641: 1640: 1627: 1622: 1616: 1613: 1608: 1604: 1599: 1594: 1590: 1586: 1583: 1580: 1577: 1571: 1568: 1563: 1559: 1556: 1528: 1525: 1512: 1506: 1503: 1497: 1494: 1491: 1488: 1485: 1482: 1479: 1468: 1467: 1452: 1449: 1446: 1443: 1440: 1437: 1431: 1428: 1423: 1419: 1416: 1413: 1410: 1405: 1402: 1397: 1394: 1388: 1385: 1379: 1376: 1373: 1370: 1367: 1364: 1361: 1358: 1355: 1353: 1351: 1348: 1345: 1342: 1339: 1336: 1333: 1327: 1324: 1319: 1315: 1312: 1309: 1306: 1301: 1298: 1293: 1290: 1287: 1284: 1282: 1280: 1277: 1274: 1271: 1268: 1262: 1259: 1254: 1250: 1247: 1244: 1241: 1238: 1235: 1232: 1229: 1226: 1223: 1220: 1219: 1194: 1189: 1186: 1163: 1143: 1140: 1137: 1134: 1128: 1125: 1111: 1110: 1099: 1096: 1093: 1090: 1087: 1084: 1078: 1075: 1070: 1066: 1063: 1060: 1057: 1052: 1049: 1044: 1041: 1035: 1032: 1026: 1023: 1020: 1017: 1014: 1011: 1008: 983: 978: 975: 963: 960: 959: 958: 947: 944: 941: 938: 935: 932: 926: 923: 918: 914: 911: 908: 905: 900: 897: 892: 889: 886: 881: 878: 875: 872: 869: 866: 860: 857: 852: 848: 845: 842: 839: 836: 833: 828: 825: 822: 819: 816: 813: 807: 804: 799: 783: 780: 767: 747: 720: 717: 712: 709: 686: 666: 642: 639: 636: 625: 624: 611: 606: 598: 596: 593: 590: 589: 586: 583: 580: 577: 569: 567: 564: 558: 550: 547: 542: 539: 531: 526: 523: 517: 512: 508: 507: 505: 500: 497: 494: 491: 488: 485: 479: 476: 471: 452: 451: 440: 437: 433: 429: 426: 423: 420: 417: 414: 411: 408: 405: 401: 397: 390: 385: 382: 378: 374: 371: 368: 365: 362: 359: 353: 350: 345: 321: 301: 277: 272: 267: 262: 257: 230: 210: 198: 195: 193: 190: 168: 165: 162: 159: 156: 150: 147: 142: 117: 114: 111: 108: 105: 99: 96: 91: 67: 47: 26: 24: 14: 13: 10: 9: 6: 4: 3: 2: 4320: 4309: 4306: 4304: 4301: 4300: 4298: 4284: 4280: 4276: 4272: 4268: 4264: 4259: 4254: 4250: 4246: 4242: 4235: 4232: 4222: 4218: 4214: 4208: 4204: 4200: 4196: 4192: 4185: 4183: 4179: 4174: 4170: 4166: 4162: 4158: 4152: 4148: 4144: 4140: 4139: 4131: 4129: 4125: 4109: 4108: 4100: 4098: 4096: 4092: 4086: 4081: 4074: 4072: 4070: 4066: 4059: 4054: 4051: 4048: 4045: 4044: 4040: 4038: 4036: 4027: 4025: 4023: 4019: 4011: 4007: 4005: 3980: 3968: 3964: 3960: 3957: 3954: 3947: 3943: 3937: 3934: 3928: 3925: 3921: 3917: 3914: 3911: 3909: 3894: 3890: 3886: 3881: 3877: 3859: 3855: 3852: 3848: 3844: 3841: 3838: 3836: 3821: 3816: 3812: 3808: 3803: 3798: 3794: 3776: 3772: 3768: 3764: 3761: 3758: 3756: 3746: 3741: 3735: 3730: 3726: 3722: 3717: 3712: 3708: 3703: 3687: 3683: 3681: 3674: 3666: 3663: 3660: 3657: 3643: 3642: 3641: 3638: 3624: 3602: 3597: 3593: 3570: 3565: 3561: 3540: 3537: 3534: 3531: 3511: 3488: 3484: 3478: 3475: 3471: 3466: 3462: 3459: 3451: 3447: 3443: 3439: 3434: 3431: 3424: 3423: 3422: 3421:), at least 3408: 3405: 3402: 3382: 3379: 3376: 3356: 3353: 3350: 3346: 3342: 3339: 3334: 3330: 3309: 3289: 3285: 3281: 3278: 3273: 3269: 3260: 3255: 3254: 3249: 3243: 3238: 3233: 3232: 3205: 3202: 3199: 3191: 3188: 3184: 3180: 3174: 3171: 3168: 3164: 3159: 3154: 3149: 3146: 3141: 3137: 3134: 3131: 3127: 3123: 3118: 3109: 3105: 3102: 3099: 3097: 3088: 3083: 3078: 3071: 3068: 3063: 3057: 3054: 3048: 3042: 3038: 3033: 3024: 3020: 3017: 3014: 3010: 3006: 3003: 3000: 2998: 2989: 2984: 2977: 2974: 2968: 2965: 2961: 2957: 2954: 2951: 2947: 2943: 2940: 2937: 2935: 2926: 2921: 2915: 2912: 2907: 2903: 2899: 2896: 2893: 2889: 2885: 2882: 2879: 2877: 2870: 2865: 2859: 2856: 2851: 2847: 2834: 2833: 2831: 2809: 2803: 2800: 2797: 2791: 2788: 2785: 2780: 2772: 2761: 2760: 2756: 2755: 2740: 2734: 2731: 2728: 2716: 2713: 2710: 2701: 2698: 2695: 2687: 2686: 2663: 2658: 2652: 2649: 2644: 2640: 2635: 2633: 2623: 2618: 2609: 2606: 2603: 2591: 2588: 2585: 2574: 2570: 2565: 2563: 2552: 2549: 2546: 2537: 2531: 2528: 2525: 2516: 2513: 2511: 2497: 2494: 2491: 2474: 2470: 2467: 2455: 2452: 2449: 2432: 2428: 2425: 2419: 2417: 2410: 2402: 2399: 2396: 2379: 2375: 2372: 2361: 2360: 2359: 2358: 2354: 2353: 2334: 2331: 2328: 2310: 2306: 2299: 2287: 2284: 2281: 2263: 2259: 2252: 2243: 2242: 2222: 2219: 2216: 2203: 2199: 2194: 2190: 2184: 2181: 2178: 2165: 2161: 2156: 2152: 2146: 2143: 2140: 2123: 2115: 2114: 2113: 2112: 2091: 2087: 2080: 2077: 2069: 2065: 2058: 2055: 2049: 2046: 2043: 2026: 2000: 1996: 1989: 1986: 1978: 1974: 1967: 1939: 1933: 1930: 1924: 1918: 1905: 1902: 1894: 1891: 1888: 1883: 1879: 1870: 1869: 1854: 1851: 1845: 1842: 1839: 1830: 1827: 1821: 1818: 1815: 1806: 1803: 1800: 1797: 1791: 1788: 1785: 1768: 1760: 1759: 1755: 1754: 1750: 1749: 1726: 1723: 1720: 1703: 1699: 1693: 1690: 1687: 1682: 1677: 1671: 1668: 1663: 1659: 1650: 1649: 1648: 1647: 1646: 1625: 1620: 1614: 1611: 1606: 1602: 1597: 1592: 1584: 1581: 1578: 1561: 1557: 1554: 1547: 1546: 1545: 1544: 1543: 1541: 1536: 1533: 1526: 1524: 1501: 1492: 1489: 1483: 1477: 1444: 1441: 1438: 1421: 1417: 1411: 1408: 1403: 1400: 1395: 1383: 1374: 1371: 1365: 1359: 1356: 1354: 1340: 1337: 1334: 1317: 1313: 1307: 1304: 1299: 1296: 1291: 1288: 1285: 1283: 1275: 1272: 1269: 1252: 1248: 1242: 1236: 1233: 1227: 1221: 1210: 1209: 1208: 1187: 1184: 1175: 1161: 1141: 1138: 1132: 1123: 1091: 1088: 1085: 1068: 1064: 1058: 1055: 1050: 1047: 1042: 1030: 1021: 1018: 1012: 1006: 999: 998: 997: 976: 973: 961: 939: 936: 933: 916: 912: 906: 903: 898: 895: 890: 887: 884: 873: 870: 867: 850: 846: 840: 837: 834: 831: 826: 820: 817: 814: 797: 789: 788: 787: 781: 779: 765: 745: 737: 718: 715: 710: 707: 684: 664: 656: 640: 637: 634: 604: 591: 584: 581: 578: 575: 565: 562: 548: 545: 540: 537: 524: 521: 510: 503: 498: 492: 489: 486: 469: 461: 460: 459: 457: 438: 424: 418: 415: 409: 403: 383: 380: 372: 366: 363: 360: 343: 335: 334: 333: 319: 299: 291: 265: 248: 244: 228: 208: 196: 191: 189: 187: 183: 163: 160: 157: 140: 131: 112: 109: 106: 89: 81: 65: 45: 37: 33: 19: 4248: 4244: 4234: 4224:, retrieved 4194: 4137: 4115:. Retrieved 4106: 4031: 4021: 4015: 4009: 4003: 3639: 3503: 3256: 3252: 3250: 3247: 1644: 1537: 1534: 1530: 1469: 1176: 1112: 965: 785: 626: 453: 200: 31: 29: 653:stands for 34:bounds the 4297:Categories 4258:1702.05985 4226:2022-08-20 4085:2202.07198 4060:References 3395:(for some 2828:and apply 2018:such that 4275:0883-4237 4221:122597694 4165:757859245 4117:18 August 3965:ε 3958:− 3938:⁡ 3926:− 3918:− 3887:∥ 3853:− 3845:− 3809:∥ 3773:− 3765:− 3759:≤ 3684:≤ 3667:δ 3661:− 3541:δ 3535:− 3479:δ 3463:⁡ 3448:ε 3435:≥ 3403:δ 3383:δ 3380:− 3357:ε 3310:ε 3302:) and an 3259:Bernoulli 3181:− 3175:⁡ 3138:⁡ 3132:− 3124:⁡ 3106:⁡ 3100:≥ 3069:− 3039:⁡ 3021:⁡ 3007:⁡ 2966:∫ 2958:⁡ 2944:⁡ 2908:∫ 2900:⁡ 2886:⁡ 2852:∫ 2810:⋅ 2804:⁡ 2792:⁡ 2773:⋅ 2762:We write 2645:∫ 2575:∫ 2566:≥ 2538:∫ 2517:∫ 2429:− 2376:− 2316:¯ 2311:∗ 2300:∫ 2269:¯ 2264:∗ 2253:∫ 2204:∗ 2195:∫ 2191:− 2166:∗ 2157:∫ 2092:∗ 2078:− 2070:∗ 2001:∗ 1979:∗ 1931:− 1909:Ω 1906:∈ 1895:⁡ 1884:∗ 1852:− 1831:∫ 1807:∫ 1804:− 1724:∥ 1700:− 1694:⁡ 1688:≥ 1664:∫ 1607:∫ 1598:≥ 1558:− 1505:¯ 1442:∥ 1418:− 1412:⁡ 1396:− 1387:¯ 1338:∥ 1314:− 1308:⁡ 1292:− 1286:≤ 1249:≤ 1234:− 1188:∈ 1139:∖ 1136:Ω 1127:¯ 1089:∥ 1065:− 1059:⁡ 1043:≥ 1034:¯ 977:∈ 937:∥ 913:− 907:⁡ 891:− 885:≤ 871:∥ 847:− 841:⁡ 835:− 827:≤ 638:≪ 601:otherwise 595:∞ 579:≪ 525:⁡ 511:∫ 490:∥ 416:− 384:∈ 161:∥ 110:∥ 4283:15808752 4173:42933599 4041:See also 3640:We have 3248:Source: 2688:because 572:if  292:between 4028:History 2757:Step 2: 1751:Step 1: 241:be two 132:: when 4281:  4273:  4219:  4209:  4171:  4163:  4153:  1113:where 697:, and 4279:S2CID 4253:arXiv 4251:(2). 4217:S2CID 4169:S2CID 4111:(PDF) 4080:arXiv 1527:Proof 245:on a 4271:ISSN 4207:ISBN 4161:OCLC 4151:ISBN 4119:2022 3585:and 3406:> 2355:Then 1987:> 454:The 312:and 221:and 201:Let 58:and 4263:doi 4199:doi 4143:doi 4024:). 4016:In 3935:log 3460:log 3172:exp 3135:log 3103:exp 3018:log 3004:exp 2955:log 2941:exp 2897:log 2883:exp 2801:log 2789:exp 2723:max 2705:min 2598:max 2580:min 2541:max 2520:min 2323:min 2276:max 2211:min 2173:max 1899:max 1892:arg 1834:max 1810:min 1691:exp 1409:exp 1305:exp 1056:exp 904:exp 838:exp 738:of 657:of 522:log 377:sup 4299:: 4277:. 4269:. 4261:. 4249:35 4247:. 4243:. 4215:, 4205:, 4193:, 4181:^ 4167:. 4159:. 4149:. 4127:^ 4094:^ 4068:^ 4037:. 2832:: 1523:. 1207:, 1174:. 778:. 4285:. 4265:: 4255:: 4201:: 4175:. 4145:: 4121:. 4088:. 4082:: 4010:k 3981:2 3977:) 3974:) 3969:2 3961:4 3955:1 3952:( 3948:/ 3944:1 3941:( 3929:n 3922:e 3915:1 3912:= 3900:) 3895:2 3891:P 3882:1 3878:P 3874:( 3868:L 3865:K 3860:D 3856:n 3849:e 3842:1 3839:= 3827:) 3822:n 3817:2 3813:P 3804:n 3799:1 3795:P 3791:( 3785:L 3782:K 3777:D 3769:e 3762:1 3747:2 3742:) 3736:n 3731:2 3727:P 3723:, 3718:n 3713:1 3709:P 3704:( 3696:V 3693:T 3688:d 3675:2 3671:) 3664:2 3658:1 3655:( 3625:n 3603:n 3598:2 3594:P 3571:n 3566:1 3562:P 3538:2 3532:1 3512:n 3489:. 3485:) 3476:2 3472:1 3467:( 3452:2 3444:2 3440:1 3432:n 3409:0 3377:1 3354:+ 3351:2 3347:/ 3343:1 3340:= 3335:2 3331:p 3290:2 3286:/ 3282:1 3279:= 3274:1 3270:p 3212:) 3209:) 3206:Q 3203:, 3200:P 3197:( 3192:L 3189:K 3185:D 3178:( 3169:= 3165:) 3160:] 3155:) 3150:Q 3147:P 3142:( 3128:[ 3119:P 3115:E 3110:( 3089:) 3084:) 3079:] 3072:1 3064:) 3058:Q 3055:P 3049:( 3043:[ 3034:P 3030:E 3025:( 3015:2 3011:( 3001:= 2990:) 2985:) 2978:P 2975:Q 2969:P 2962:( 2952:2 2948:( 2938:= 2927:) 2922:) 2916:Q 2913:P 2904:( 2894:2 2890:( 2880:= 2871:2 2866:) 2860:Q 2857:P 2848:( 2816:) 2813:) 2807:( 2798:2 2795:( 2786:= 2781:2 2777:) 2770:( 2741:. 2738:) 2735:Q 2732:, 2729:P 2726:( 2720:) 2717:Q 2714:, 2711:P 2708:( 2702:= 2699:Q 2696:P 2664:2 2659:) 2653:Q 2650:P 2641:( 2636:= 2624:2 2619:) 2613:) 2610:Q 2607:, 2604:P 2601:( 2595:) 2592:Q 2589:, 2586:P 2583:( 2571:( 2556:) 2553:Q 2550:, 2547:P 2544:( 2535:) 2532:Q 2529:, 2526:P 2523:( 2514:= 2504:) 2501:) 2498:Q 2495:, 2492:P 2489:( 2483:V 2480:T 2475:d 2471:+ 2468:1 2465:( 2462:) 2459:) 2456:Q 2453:, 2450:P 2447:( 2441:V 2438:T 2433:d 2426:1 2423:( 2420:= 2411:2 2407:) 2403:Q 2400:, 2397:P 2394:( 2388:V 2385:T 2380:d 2373:1 2338:) 2335:Q 2332:, 2329:P 2326:( 2307:A 2291:) 2288:Q 2285:, 2282:P 2279:( 2260:A 2226:) 2223:Q 2220:, 2217:P 2214:( 2200:A 2188:) 2185:Q 2182:, 2179:P 2176:( 2162:A 2153:= 2150:) 2147:Q 2144:, 2141:P 2138:( 2132:V 2129:T 2124:d 2097:) 2088:A 2084:( 2081:Q 2075:) 2066:A 2062:( 2059:P 2056:= 2053:) 2050:Q 2047:, 2044:P 2041:( 2035:V 2032:T 2027:d 2006:) 1997:A 1993:( 1990:Q 1984:) 1975:A 1971:( 1968:P 1947:| 1943:) 1940:A 1937:( 1934:Q 1928:) 1925:A 1922:( 1919:P 1915:| 1903:A 1889:= 1880:A 1855:1 1849:) 1846:Q 1843:, 1840:P 1837:( 1828:= 1825:) 1822:Q 1819:, 1816:P 1813:( 1801:1 1798:= 1795:) 1792:Q 1789:, 1786:P 1783:( 1777:V 1774:T 1769:d 1733:) 1730:) 1727:Q 1721:P 1718:( 1712:L 1709:K 1704:D 1697:( 1683:2 1678:) 1672:Q 1669:P 1660:( 1626:2 1621:) 1615:Q 1612:P 1603:( 1593:2 1589:) 1585:Q 1582:, 1579:P 1576:( 1570:V 1567:T 1562:d 1555:1 1511:) 1502:A 1496:( 1493:Q 1490:+ 1487:) 1484:A 1481:( 1478:P 1451:) 1448:) 1445:Q 1439:P 1436:( 1430:L 1427:K 1422:D 1415:( 1404:2 1401:1 1393:) 1384:A 1378:( 1375:Q 1372:+ 1369:) 1366:A 1363:( 1360:Q 1357:= 1347:) 1344:) 1341:Q 1335:P 1332:( 1326:L 1323:K 1318:D 1311:( 1300:2 1297:1 1289:1 1279:) 1276:Q 1273:, 1270:P 1267:( 1261:V 1258:T 1253:d 1246:) 1243:A 1240:( 1237:P 1231:) 1228:A 1225:( 1222:Q 1193:F 1185:A 1162:A 1142:A 1133:= 1124:A 1098:) 1095:) 1092:Q 1086:P 1083:( 1077:L 1074:K 1069:D 1062:( 1051:2 1048:1 1040:) 1031:A 1025:( 1022:Q 1019:+ 1016:) 1013:A 1010:( 1007:P 982:F 974:A 946:) 943:) 940:Q 934:P 931:( 925:L 922:K 917:D 910:( 899:2 896:1 888:1 880:) 877:) 874:Q 868:P 865:( 859:L 856:K 851:D 844:( 832:1 824:) 821:Q 818:, 815:P 812:( 806:V 803:T 798:d 766:Q 746:P 719:Q 716:d 711:P 708:d 685:Q 665:P 641:Q 635:P 605:. 592:+ 585:, 582:Q 576:P 566:P 563:d 557:) 549:Q 546:d 541:P 538:d 530:( 516:X 504:{ 499:= 496:) 493:Q 487:P 484:( 478:L 475:K 470:D 439:. 436:} 432:| 428:) 425:A 422:( 419:Q 413:) 410:A 407:( 404:P 400:| 396:{ 389:F 381:A 373:= 370:) 367:Q 364:, 361:P 358:( 352:V 349:T 344:d 320:Q 300:P 276:) 271:F 266:, 261:X 256:( 229:Q 209:P 184:( 167:) 164:Q 158:P 155:( 149:L 146:K 141:D 116:) 113:Q 107:P 104:( 98:L 95:K 90:D 66:Q 46:P 20:)

Index

Bretagnolle-Huber inequality
total variation
Kullback–Leibler divergence
Pinsker's inequality
hypothesis testing
Bretagnolle–Huber–Carol Inequality
probability distributions
measurable space
total variation
Kullback-Leibler divergence
absolute continuity
Radon–Nikodym derivative
Bhattacharyya coefficient
Jensen's inequality
Bernoulli
multi-armed bandit
Fano's Inequality
Total variation
Bretagnolle–Huber–Carol Inequality



arXiv
2202.07198



Bandit Algorithms

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.