1882:
1159:
22:
876:
377:
1154:{\displaystyle {\begin{aligned}\mathbb {E} \left&\leq {\frac {b-\mathbb {E} }{b-a}}e^{\lambda a}+{\frac {\mathbb {E} -a}{b-a}}e^{\lambda b}\\&={\frac {b}{b-a}}e^{\lambda a}+{\frac {-a}{b-a}}e^{\lambda b}\\&=e^{L(\lambda (b-a))},\end{aligned}}}
1678:
516:
865:
1776:
1274:
1428:
1483:
881:
252:
244:
1539:
1332:
625:
588:
388:
690:
657:
213:
756:
748:
1547:
1503:
710:
551:
1435:
1923:
32:
1686:
1823:
1167:
1942:
90:
62:
1337:
1916:
47:
69:
76:
1947:
372:{\displaystyle \mathbb {E} \left\leq \exp {\Big (}\lambda \mathbb {E} +{\frac {\lambda ^{2}(b-a)^{2}}{8}}{\Big )},}
124:
1909:
1787:
168:
164:
135:
58:
1441:
120:
221:
1792:
146:
160:
1512:
1815:
Concentration
Inequalities and Model Selection: Ecole d'Eté de Probabilités de Saint-Flour XXXIII - 2003
511:{\displaystyle \mathbb {E} \left)}\right]\leq \exp {\Big (}{\frac {\lambda ^{2}(b-a)^{2}}{8}}{\Big )}.}
593:
556:
1506:
665:
630:
527:
186:
156:
1282:
860:{\displaystyle e^{\lambda x}\leq {\frac {b-x}{b-a}}e^{\lambda a}+{\frac {x-a}{b-a}}e^{\lambda b}}
112:
83:
1819:
149:
1893:
1813:
128:
1855:
715:
1673:{\displaystyle L(h)=L(0)+hL'(0)+{\frac {1}{2}}h^{2}L''(h\theta )\leq {\frac {1}{8}}h^{2}.}
131:
1488:
695:
536:
139:
1936:
215:
143:
39:
530:; proofs with a slightly worse constant are also available using symmetrization.
1889:
21:
1881:
1771:{\displaystyle \mathbb {E} \left\leq e^{{\frac {1}{8}}\lambda ^{2}(b-a)^{2}}}
526:
The following proof is direct but somewhat ad-hoc. Another proof uses
1269:{\displaystyle L(h)={\frac {ha}{b-a}}+\ln(1+{\frac {a-e^{h}a}{b-a}})}
1841:
Concentration
Inequalities: A Nonasymptotic Theory of Independence
15:
1839:
Boucheron, Stéphane; Lugosi, Gábor; Massart, Pascal (2013).
1423:{\displaystyle L''(h)=-{\frac {abe^{h}}{(b-ae^{h})^{2}}}}
1897:
43:
1689:
1550:
1515:
1491:
1444:
1340:
1285:
1170:
879:
759:
718:
698:
668:
633:
596:
559:
539:
391:
255:
224:
189:
163:. Hoeffding's lemma is itself used in the proof of
1770:
1672:
1533:
1497:
1477:
1422:
1326:
1268:
1153:
859:
742:
704:
684:
651:
619:
582:
545:
510:
371:
238:
207:
500:
452:
361:
293:
1917:
183:be any real-valued random variable such that
8:
218:, i.e. with probability one. Then, for all
48:introducing citations to additional sources
1924:
1910:
1760:
1738:
1724:
1723:
1703:
1691:
1690:
1688:
1661:
1647:
1618:
1604:
1549:
1514:
1490:
1478:{\displaystyle L''(h)\leq {\frac {1}{4}}}
1465:
1443:
1411:
1401:
1377:
1364:
1339:
1284:
1240:
1227:
1186:
1169:
1114:
1091:
1064:
1052:
1030:
1011:
974:
973:
970:
958:
927:
926:
917:
897:
885:
884:
880:
878:
848:
818:
806:
776:
764:
758:
717:
697:
673:
667:
632:
598:
597:
595:
567:
566:
558:
538:
533:Without loss of generality, by replacing
499:
498:
486:
464:
457:
451:
450:
419:
418:
405:
393:
392:
390:
360:
359:
347:
325:
318:
302:
301:
292:
291:
269:
257:
256:
254:
232:
231:
223:
188:
239:{\displaystyle \lambda \in \mathbb {R} }
38:Relevant discussion may be found on the
1804:
7:
1878:
1876:
1856:"A short proof of Hoeffding's lemma"
1276:. By computing derivatives, we find
155:The proof of Hoeffding's lemma uses
1534:{\displaystyle 0\leq \theta \leq 1}
134:, implying that such variables are
1896:. You can help Knowledge (XXG) by
14:
1880:
1812:Pascal Massart (26 April 2007).
31:relies largely or entirely on a
20:
1757:
1744:
1641:
1632:
1598:
1592:
1575:
1569:
1560:
1554:
1459:
1453:
1408:
1385:
1355:
1349:
1315:
1309:
1295:
1289:
1263:
1218:
1180:
1174:
1139:
1136:
1124:
1118:
984:
978:
937:
931:
737:
725:
620:{\displaystyle \mathbb {E} =0}
608:
602:
583:{\displaystyle X-\mathbb {E} }
577:
571:
483:
470:
432:
429:
423:
409:
344:
331:
312:
306:
167:as well as the generalization
1:
685:{\displaystyle e^{\lambda x}}
652:{\displaystyle a\leq 0\leq b}
208:{\displaystyle a\leq X\leq b}
1438:inequality we thus see that
1327:{\displaystyle L(0)=L'(0)=0}
1854:RomanĂ, Marc (1 May 2021).
1964:
1943:Probabilistic inequalities
1875:
1843:. Oxford University Press.
125:moment-generating function
147:mathematical statistician
1818:. Springer. p. 21.
692:is a convex function of
138:. It is named after the
712:, we have that for all
1892:-related article is a
1788:Hoeffding's inequality
1772:
1674:
1535:
1499:
1479:
1424:
1328:
1270:
1155:
861:
744:
706:
686:
653:
621:
584:
547:
512:
373:
240:
209:
175:Statement of the lemma
169:McDiarmid's inequality
165:Hoeffding's inequality
1773:
1675:
1536:
1500:
1480:
1425:
1329:
1271:
1156:
862:
745:
743:{\displaystyle x\in }
707:
687:
654:
622:
585:
548:
513:
374:
241:
210:
1793:Bennett's inequality
1687:
1548:
1513:
1489:
1442:
1338:
1283:
1168:
877:
757:
716:
696:
666:
631:
594:
557:
537:
389:
253:
222:
187:
44:improve this article
528:exponential tilting
161:Jensen's inequality
59:"Hoeffding's lemma"
1768:
1670:
1531:
1495:
1475:
1420:
1324:
1266:
1151:
1149:
857:
740:
702:
682:
649:
617:
580:
543:
508:
369:
236:
205:
113:probability theory
1948:Probability stubs
1905:
1904:
1825:978-3-540-48503-2
1732:
1655:
1612:
1505:, and thus, from
1498:{\displaystyle h}
1473:
1418:
1261:
1207:
1085:
1046:
1005:
952:
842:
800:
705:{\displaystyle x}
546:{\displaystyle X}
496:
382:or equivalently,
357:
150:Wassily Hoeffding
117:Hoeffding's lemma
109:
108:
94:
1955:
1926:
1919:
1912:
1884:
1877:
1867:
1866:
1864:
1862:
1851:
1845:
1844:
1836:
1830:
1829:
1809:
1777:
1775:
1774:
1769:
1767:
1766:
1765:
1764:
1743:
1742:
1733:
1725:
1715:
1711:
1710:
1694:
1679:
1677:
1676:
1671:
1666:
1665:
1656:
1648:
1631:
1623:
1622:
1613:
1605:
1591:
1540:
1538:
1537:
1532:
1509:, there is some
1507:Taylor's theorem
1504:
1502:
1501:
1496:
1484:
1482:
1481:
1476:
1474:
1466:
1452:
1429:
1427:
1426:
1421:
1419:
1417:
1416:
1415:
1406:
1405:
1383:
1382:
1381:
1365:
1348:
1333:
1331:
1330:
1325:
1308:
1275:
1273:
1272:
1267:
1262:
1260:
1249:
1245:
1244:
1228:
1208:
1206:
1195:
1187:
1160:
1158:
1157:
1152:
1150:
1143:
1142:
1103:
1099:
1098:
1086:
1084:
1073:
1065:
1060:
1059:
1047:
1045:
1031:
1023:
1019:
1018:
1006:
1004:
993:
977:
971:
966:
965:
953:
951:
940:
930:
918:
909:
905:
904:
888:
866:
864:
863:
858:
856:
855:
843:
841:
830:
819:
814:
813:
801:
799:
788:
777:
772:
771:
749:
747:
746:
741:
711:
709:
708:
703:
691:
689:
688:
683:
681:
680:
658:
656:
655:
650:
626:
624:
623:
618:
601:
590:, we can assume
589:
587:
586:
581:
570:
552:
550:
549:
544:
517:
515:
514:
509:
504:
503:
497:
492:
491:
490:
469:
468:
458:
456:
455:
440:
436:
435:
422:
396:
378:
376:
375:
370:
365:
364:
358:
353:
352:
351:
330:
329:
319:
305:
297:
296:
281:
277:
276:
260:
245:
243:
242:
237:
235:
214:
212:
211:
206:
157:Taylor's theorem
123:that bounds the
104:
101:
95:
93:
52:
24:
16:
1963:
1962:
1958:
1957:
1956:
1954:
1953:
1952:
1933:
1932:
1931:
1930:
1873:
1871:
1870:
1860:
1858:
1853:
1852:
1848:
1838:
1837:
1833:
1826:
1811:
1810:
1806:
1801:
1784:
1756:
1734:
1719:
1699:
1695:
1685:
1684:
1657:
1624:
1614:
1584:
1546:
1545:
1511:
1510:
1487:
1486:
1445:
1440:
1439:
1407:
1397:
1384:
1373:
1366:
1341:
1336:
1335:
1301:
1281:
1280:
1250:
1236:
1229:
1196:
1188:
1166:
1165:
1148:
1147:
1110:
1101:
1100:
1087:
1074:
1066:
1048:
1035:
1021:
1020:
1007:
994:
972:
954:
941:
919:
910:
893:
889:
875:
874:
844:
831:
820:
802:
789:
778:
760:
755:
754:
714:
713:
694:
693:
669:
664:
663:
629:
628:
592:
591:
555:
554:
535:
534:
524:
482:
460:
459:
401:
397:
387:
386:
343:
321:
320:
265:
261:
251:
250:
220:
219:
185:
184:
177:
132:random variable
105:
99:
96:
53:
51:
37:
25:
12:
11:
5:
1961:
1959:
1951:
1950:
1945:
1935:
1934:
1929:
1928:
1921:
1914:
1906:
1903:
1902:
1885:
1869:
1868:
1846:
1831:
1824:
1803:
1802:
1800:
1797:
1796:
1795:
1790:
1783:
1780:
1763:
1759:
1755:
1752:
1749:
1746:
1741:
1737:
1731:
1728:
1722:
1718:
1714:
1709:
1706:
1702:
1698:
1693:
1681:
1680:
1669:
1664:
1660:
1654:
1651:
1646:
1643:
1640:
1637:
1634:
1630:
1627:
1621:
1617:
1611:
1608:
1603:
1600:
1597:
1594:
1590:
1587:
1583:
1580:
1577:
1574:
1571:
1568:
1565:
1562:
1559:
1556:
1553:
1530:
1527:
1524:
1521:
1518:
1494:
1472:
1469:
1464:
1461:
1458:
1455:
1451:
1448:
1432:
1431:
1414:
1410:
1404:
1400:
1396:
1393:
1390:
1387:
1380:
1376:
1372:
1369:
1363:
1360:
1357:
1354:
1351:
1347:
1344:
1323:
1320:
1317:
1314:
1311:
1307:
1304:
1300:
1297:
1294:
1291:
1288:
1265:
1259:
1256:
1253:
1248:
1243:
1239:
1235:
1232:
1226:
1223:
1220:
1217:
1214:
1211:
1205:
1202:
1199:
1194:
1191:
1185:
1182:
1179:
1176:
1173:
1162:
1161:
1146:
1141:
1138:
1135:
1132:
1129:
1126:
1123:
1120:
1117:
1113:
1109:
1106:
1104:
1102:
1097:
1094:
1090:
1083:
1080:
1077:
1072:
1069:
1063:
1058:
1055:
1051:
1044:
1041:
1038:
1034:
1029:
1026:
1024:
1022:
1017:
1014:
1010:
1003:
1000:
997:
992:
989:
986:
983:
980:
976:
969:
964:
961:
957:
950:
947:
944:
939:
936:
933:
929:
925:
922:
916:
913:
911:
908:
903:
900:
896:
892:
887:
883:
882:
868:
867:
854:
851:
847:
840:
837:
834:
829:
826:
823:
817:
812:
809:
805:
798:
795:
792:
787:
784:
781:
775:
770:
767:
763:
739:
736:
733:
730:
727:
724:
721:
701:
679:
676:
672:
648:
645:
642:
639:
636:
616:
613:
610:
607:
604:
600:
579:
576:
573:
569:
565:
562:
542:
523:
520:
519:
518:
507:
502:
495:
489:
485:
481:
478:
475:
472:
467:
463:
454:
449:
446:
443:
439:
434:
431:
428:
425:
421:
417:
414:
411:
408:
404:
400:
395:
380:
379:
368:
363:
356:
350:
346:
342:
339:
336:
333:
328:
324:
317:
314:
311:
308:
304:
300:
295:
290:
287:
284:
280:
275:
272:
268:
264:
259:
234:
230:
227:
204:
201:
198:
195:
192:
176:
173:
107:
106:
42:. Please help
28:
26:
19:
13:
10:
9:
6:
4:
3:
2:
1960:
1949:
1946:
1944:
1941:
1940:
1938:
1927:
1922:
1920:
1915:
1913:
1908:
1907:
1901:
1899:
1895:
1891:
1886:
1883:
1879:
1874:
1857:
1850:
1847:
1842:
1835:
1832:
1827:
1821:
1817:
1816:
1808:
1805:
1798:
1794:
1791:
1789:
1786:
1785:
1781:
1779:
1761:
1753:
1750:
1747:
1739:
1735:
1729:
1726:
1720:
1716:
1712:
1707:
1704:
1700:
1696:
1667:
1662:
1658:
1652:
1649:
1644:
1638:
1635:
1628:
1625:
1619:
1615:
1609:
1606:
1601:
1595:
1588:
1585:
1581:
1578:
1572:
1566:
1563:
1557:
1551:
1544:
1543:
1542:
1528:
1525:
1522:
1519:
1516:
1508:
1492:
1470:
1467:
1462:
1456:
1449:
1446:
1437:
1412:
1402:
1398:
1394:
1391:
1388:
1378:
1374:
1370:
1367:
1361:
1358:
1352:
1345:
1342:
1321:
1318:
1312:
1305:
1302:
1298:
1292:
1286:
1279:
1278:
1277:
1257:
1254:
1251:
1246:
1241:
1237:
1233:
1230:
1224:
1221:
1215:
1212:
1209:
1203:
1200:
1197:
1192:
1189:
1183:
1177:
1171:
1144:
1133:
1130:
1127:
1121:
1115:
1111:
1107:
1105:
1095:
1092:
1088:
1081:
1078:
1075:
1070:
1067:
1061:
1056:
1053:
1049:
1042:
1039:
1036:
1032:
1027:
1025:
1015:
1012:
1008:
1001:
998:
995:
990:
987:
981:
967:
962:
959:
955:
948:
945:
942:
934:
923:
920:
914:
912:
906:
901:
898:
894:
890:
873:
872:
871:
852:
849:
845:
838:
835:
832:
827:
824:
821:
815:
810:
807:
803:
796:
793:
790:
785:
782:
779:
773:
768:
765:
761:
753:
752:
751:
734:
731:
728:
722:
719:
699:
677:
674:
670:
660:
646:
643:
640:
637:
634:
614:
611:
605:
574:
563:
560:
540:
531:
529:
521:
505:
493:
487:
479:
476:
473:
465:
461:
447:
444:
441:
437:
426:
415:
412:
406:
402:
398:
385:
384:
383:
366:
354:
348:
340:
337:
334:
326:
322:
315:
309:
298:
288:
285:
282:
278:
273:
270:
266:
262:
249:
248:
247:
228:
225:
217:
216:almost surely
202:
199:
196:
193:
190:
182:
174:
172:
170:
166:
162:
158:
153:
151:
148:
145:
141:
137:
133:
130:
126:
122:
118:
114:
103:
92:
89:
85:
82:
78:
75:
71:
68:
64:
61: –
60:
56:
55:Find sources:
49:
45:
41:
35:
34:
33:single source
29:This article
27:
23:
18:
17:
1898:expanding it
1887:
1872:
1859:. Retrieved
1849:
1840:
1834:
1814:
1807:
1682:
1433:
1163:
869:
661:
532:
525:
381:
180:
178:
154:
116:
110:
97:
87:
80:
73:
66:
54:
30:
1890:probability
1861:7 September
136:subgaussian
1937:Categories
1541:such that
627:, so that
121:inequality
100:March 2024
70:newspapers
1751:−
1736:λ
1717:≤
1705:λ
1645:≤
1639:θ
1526:≤
1523:θ
1520:≤
1463:≤
1434:From the
1392:−
1362:−
1255:−
1234:−
1216:
1201:−
1131:−
1122:λ
1093:λ
1079:−
1068:−
1054:λ
1040:−
1013:λ
999:−
988:−
960:λ
946:−
924:−
915:≤
899:λ
850:λ
836:−
825:−
808:λ
794:−
783:−
774:≤
766:λ
723:∈
675:λ
644:≤
638:≤
564:−
477:−
462:λ
448:
442:≤
416:−
407:λ
338:−
323:λ
299:λ
289:
283:≤
271:λ
229:∈
226:λ
200:≤
194:≤
40:talk page
1782:See also
1629:″
1589:′
1485:for all
1450:″
1346:″
1306:′
144:American
142:–
140:Finnish
129:bounded
127:of any
84:scholar
1822:
1683:Thus,
1164:where
662:Since
119:is an
86:
79:
72:
65:
57:
1888:This
1799:Notes
870:So,
522:Proof
91:JSTOR
77:books
1894:stub
1863:2024
1820:ISBN
1436:AMGM
1334:and
179:Let
159:and
63:news
553:by
445:exp
286:exp
111:In
46:by
1939::
1778:.
1213:ln
750:,
659:.
246:,
171:.
152:.
115:,
1925:e
1918:t
1911:v
1900:.
1865:.
1828:.
1762:2
1758:)
1754:a
1748:b
1745:(
1740:2
1730:8
1727:1
1721:e
1713:]
1708:X
1701:e
1697:[
1692:E
1668:.
1663:2
1659:h
1653:8
1650:1
1642:)
1636:h
1633:(
1626:L
1620:2
1616:h
1610:2
1607:1
1602:+
1599:)
1596:0
1593:(
1586:L
1582:h
1579:+
1576:)
1573:0
1570:(
1567:L
1564:=
1561:)
1558:h
1555:(
1552:L
1529:1
1517:0
1493:h
1471:4
1468:1
1460:)
1457:h
1454:(
1447:L
1430:.
1413:2
1409:)
1403:h
1399:e
1395:a
1389:b
1386:(
1379:h
1375:e
1371:b
1368:a
1359:=
1356:)
1353:h
1350:(
1343:L
1322:0
1319:=
1316:)
1313:0
1310:(
1303:L
1299:=
1296:)
1293:0
1290:(
1287:L
1264:)
1258:a
1252:b
1247:a
1242:h
1238:e
1231:a
1225:+
1222:1
1219:(
1210:+
1204:a
1198:b
1193:a
1190:h
1184:=
1181:)
1178:h
1175:(
1172:L
1145:,
1140:)
1137:)
1134:a
1128:b
1125:(
1119:(
1116:L
1112:e
1108:=
1096:b
1089:e
1082:a
1076:b
1071:a
1062:+
1057:a
1050:e
1043:a
1037:b
1033:b
1028:=
1016:b
1009:e
1002:a
996:b
991:a
985:]
982:X
979:[
975:E
968:+
963:a
956:e
949:a
943:b
938:]
935:X
932:[
928:E
921:b
907:]
902:X
895:e
891:[
886:E
853:b
846:e
839:a
833:b
828:a
822:x
816:+
811:a
804:e
797:a
791:b
786:x
780:b
769:x
762:e
738:]
735:b
732:,
729:a
726:[
720:x
700:x
678:x
671:e
647:b
641:0
635:a
615:0
612:=
609:]
606:X
603:[
599:E
578:]
575:X
572:[
568:E
561:X
541:X
506:.
501:)
494:8
488:2
484:)
480:a
474:b
471:(
466:2
453:(
438:]
433:)
430:]
427:X
424:[
420:E
413:X
410:(
403:e
399:[
394:E
367:,
362:)
355:8
349:2
345:)
341:a
335:b
332:(
327:2
316:+
313:]
310:X
307:[
303:E
294:(
279:]
274:X
267:e
263:[
258:E
233:R
203:b
197:X
191:a
181:X
102:)
98:(
88:·
81:·
74:·
67:·
50:.
36:.
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.
