Knowledge

Glivenko–Cantelli theorem

Source 📝

31: 42: 1771: 4448: 4225: 474: 3321: 3447: 1999: 1411: 4307: 3180: 837: 3096: 2897: 4100: 2376: 282: 3893: 3736: 3191: 5699: 2659: 3329: 3600: 2122: 4996: 1158: 1766:{\displaystyle {\begin{aligned}F_{n}(x)-F(x)&\leq F_{n}(x_{j})-F(x_{j-1})=F_{n}(x_{j})-F(x_{j})+{\frac {1}{m}},\\F_{n}(x)-F(x)&\geq F_{n}(x_{j-1})-F(x_{j})=F_{n}(x_{j-1})-F(x_{j-1})-{\frac {1}{m}}.\end{aligned}}} 1782: 5195: 5584: 2433: 5843: 1021: 4802: 4541:
The weak and strong versions of the various Glivenko-Cantelli properties often coincide under certain regularity conditions. The following definition commonly appears in such regularity conditions:
4630: 1416: 1235: 5284:
There exist a variety of consistency conditions for the equivalence of uniform Glivenko-Cantelli and Vapnik-Chervonenkis classes. In particular, either of the following conditions for a class
4443:{\displaystyle \ \sup _{\mathbb {P} \in \mathbb {P} ({\mathcal {S}},A)}\Pr \left(\sup _{m\geq n}{\bigl \|}\mathbb {P} _{m}-\mathbb {P} {\bigr \|}_{\mathcal {C}}>\varepsilon \right)\to 0\ } 5988: 4722: 3107: 167: 74: 3494: 721: 3532: 3039: 2764: 2545: 5448: 1345: 5479: 5394: 5273: 5057: 4063: 3996: 3807: 3640: 2990: 274: 164: 4296: 4220:{\displaystyle \ \sup _{\mathbb {P} \in \mathbb {P} ({\mathcal {S}},A)}\Pr \left({\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}>\varepsilon \right)\to 0\ } 4089: 1301: 4831: 4692: 4483: 4260: 3928: 3771: 3031: 2196: 6012: 5934: 5764: 5723: 5517: 5418: 5359: 5333: 5306: 5219: 5127: 5085: 5026: 4904: 4751: 4567: 4536: 4512: 2952: 2928: 2508: 4926: 4027: 3960: 2480: 1273: 607: 190: 5885: 2142: 893: 680: 2698: 2247: 933: 4594: 2242: 566: 2752: 1403: 709: 537: 504: 636: 469:{\displaystyle F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{[X_{i},\infty )}(x)={\frac {1}{n}}\ {\bigl |}\left\{\ i\ \mid X_{i}\leq x,\ 1\leq i\leq n\right\}{\bigr |}} 222: 6037: 3316:{\displaystyle {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}=\sup _{C\in {\mathcal {C}}}{\bigl |}\mathbb {P} _{n}(C)-\mathbb {P} (C){\bigr |}} 4855: 2722: 1065: 3826: 3669: 5597: 3442:{\displaystyle {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}{\bigl |}\mathbb {P} _{n}f-\mathbb {P} f{\bigr |}} 2216: 2162: 2552: 3540: 2007: 1994:{\displaystyle \|F_{n}-F\|_{\infty }=\sup _{x\in \mathbb {R} }|F_{n}(x)-F(x)|\leq \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|+{\frac {1}{m}}.} 4931: 1070: 6463: 6147: 6115: 5132: 4867:
The following two theorems give sufficient conditions for the weak and strong versions of the Glivenko-Cantelli property to be equivalent.
5522: 4490:
Glivenko–Cantelli classes of functions (as well as their uniform and universal forms) are defined similarly, replacing all instances of
2381: 5773: 6414: 6392: 6366: 6347: 1030:
An even stronger uniform convergence result for the empirical distribution function is available in the form of an extended type of
938: 4756: 193: 6473: 1035: 638: 226: 70: 97: 6468: 5276: 1031: 4599: 1163: 6298:
Pestov, Vladimir (2011). "PAC learnability versus VC dimension: A footnote to a basic result of statistical learning".
3175:{\displaystyle {\mathcal {F}}\subset {\bigl \{}f:{\mathcal {S}}\to \mathbb {R} ,f{\mbox{ is measurable}}\ {\bigr \}}} 34:
The left diagram illustrates Glivenko–Cantelli theorem for uniform distributions. The right diagram illustrates the
6458: 5939: 4697: 844: 62: 30: 6182: 848: 832:{\displaystyle \|F_{n}-F\|_{\infty }=\sup _{x\in \mathbb {R} }{\bigl |}F_{n}(x)-F(x){\bigr |}\longrightarrow 0} 66: 41: 3455: 3091:{\displaystyle {\mathcal {C}}\subset {\bigl \{}C:C{\text{ is measurable subset of }}{\mathcal {S}}{\bigr \}}} 2892:{\displaystyle f\mapsto P_{n}f=\int _{S}f\,dP_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i}),f\in {\mathcal {F}}.} 5587: 5586:. The classical Glivenko–Cantelli theorem implies that this class is a universal GC class. Furthermore, by 3499: 2517: 5423: 1306: 5735: 5453: 5368: 5248: 5221:
is a weak uniform Glivenko-Cantelli class if and only if it is a strong uniform Glivenko-Cantelli class.
5031: 4032: 3965: 3782: 3615: 2965: 233: 123: 50: 4275: 4068: 1278: 4807: 4635: 4453: 4230: 3898: 3741: 3005: 6032: 2903: 2167: 642: 35: 5993: 5890: 5745: 5704: 5494: 5399: 5340: 5314: 5287: 5200: 5108: 5066: 5007: 4885: 4732: 4548: 4517: 4493: 2933: 2909: 2489: 6268: 6107: 5237: 3000: 646: 78: 4909: 4010: 3943: 2450: 2371:{\textstyle \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|\leq \varepsilon -1/m{\text{ a.s.}}} 1240: 570: 173: 6303: 6080: 4834: 2701: 507: 5848: 6271:(1971). "On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities". 865: 652: 6436: 6424: 6410: 6402: 6388: 6362: 6343: 6335: 6234: 6143: 6111: 5097: 2667: 2511: 2127: 902: 89: 4579: 2221: 6313: 6280: 6246: 6216: 6204: 6135: 6099: 6070: 4874: 542: 101: 2730: 1350: 685: 513: 482: 6264: 5362: 5233: 896: 612: 198: 6136: 6100: 5226:
The following theorem is central to statistical learning of binary classification tasks.
3888:{\displaystyle \ {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}\to 0\ } 3731:{\displaystyle \ {\bigl \|}\mathbb {P} _{n}-\mathbb {P} {\bigr \|}_{\mathcal {C}}\to 0\ } 17: 6380: 5694:{\displaystyle \sup _{P\in {\mathcal {P}}(S,A)}\|P_{n}-P\|_{\mathcal {C}}\sim n^{-1/2}} 4840: 2707: 1050: 6237:; Giné, Eva; Zinn, Joel C. (1991). "Uniform and universal Glivenko-Cantelli classes". 2654:{\displaystyle P_{n}(C)={\frac {1}{n}}\sum _{i=1}^{n}I_{C}(X_{i}),C\in {\mathcal {C}}} 6452: 6376: 82: 1023:
The Glivenko–Cantelli theorem gives a stronger mode of convergence than this in the
6040:– strengthens the Glivenko–Cantelli theorem by quantifying the rate of convergence. 4574: 2201: 2147: 105: 3595:{\displaystyle \ \mathbb {P} f=\int _{\mathcal {S}}f\ \mathrm {d} \mathbb {P} \ ,} 2117:{\textstyle \max _{j\in \{1,\dots ,m\}}|F_{n}(x_{j})-F(x_{j})|\to 0{\text{ a.s.}}} 6441:
Preservation Theorems for Glivenko–Cantelli and Uniform Glivenko–Cantelli Classes
6163:
Glivenko, V. (1933). "Sulla determinazione empirica delle leggi di probabilità".
109: 6317: 6075: 6058: 4991:{\displaystyle {\mathcal {F}}_{0}=\{f-\mathbb {P} f\mid f\in {\mathcal {F}}\}} 1153:{\displaystyle -\infty =x_{0}<x_{1}<\cdots <x_{m-1}<x_{m}=\infty } 6220: 5245:
Under certain consistency conditions, a universally measurable class of sets
2993: 2902:
Then it becomes an important property of these classes whether the strong
6250: 6084: 5190:{\displaystyle {\mathcal {F}}_{0}=\{f-\inf f\mid f\in {\mathcal {F}}\}} 2124:
by strong law of large numbers, we can guarantee that for any positive
77:
observations grows. Specifically, the empirical distribution function
6284: 6185:(1933). "Sulla determinazione empirica delle leggi di probabilità". 5579:{\displaystyle {\mathcal {C}}=\{(-\infty ,t]:t\in {\mathbb {R} }\}} 6308: 4007:
if the convergence occurs uniformly over all probability measures
40: 29: 2428:{\textstyle \|F_{n}-F\|_{\infty }\leq \varepsilon {\text{ a.s.}}} 5838:{\displaystyle A_{n}=\{X_{1},\ldots ,X_{n}\}\in {\mathcal {C}}} 4407: 4379: 4184: 4156: 3863: 3835: 3706: 3678: 3363: 3335: 3225: 3197: 1047:
For simplicity, consider a case of continuous random variable
1024: 1016:{\displaystyle \ F(x)=\operatorname {\mathbb {E} } {\bigl }~.} 96:
of functions or sets. The Glivenko–Cantelli classes arise in
5999: 5968: 5830: 5751: 5710: 5661: 5614: 5528: 5460: 5435: 5405: 5379: 5375: 5346: 5320: 5293: 5275:
is a uniform Glivenko-Cantelli class if and only if it is a
5257: 5206: 5179: 5139: 5114: 5072: 5038: 5013: 4980: 4938: 4891: 4797:{\displaystyle \{\mathbf {1} _{C}\mid C\in {\mathcal {C}}\}} 4786: 4738: 4703: 4617: 4554: 4523: 4499: 4414: 4337: 4191: 4130: 4041: 3974: 3940:
if it is a GC class with respect to any probability measure
3870: 3791: 3713: 3624: 3564: 3392: 3370: 3254: 3232: 3136: 3113: 3076: 3045: 2974: 2939: 2915: 2881: 2646: 2529: 2495: 2378:. Combined with the above result, this further implies that 1036:
asymptotic properties of the empirical distribution function
645:. Glivenko and Cantelli strengthened this result by proving 6357:
Pitman, E.J.G. (1979). "The Sample Distribution Function".
6300:
The 2011 International Joint Conference on Neural Networks
168:
independent and identically distributed random variables
4272:
if it satisfies the stronger condition that for every
3156: 2435:, which is the definition of almost sure convergence. 2384: 2250: 2204: 2170: 2150: 2130: 2010: 5996: 5942: 5893: 5851: 5776: 5748: 5707: 5600: 5525: 5497: 5456: 5426: 5402: 5371: 5343: 5317: 5290: 5251: 5203: 5135: 5111: 5069: 5034: 5010: 4934: 4912: 4888: 4843: 4810: 4759: 4753:
is image-admissible Suslin if the class of functions
4735: 4700: 4638: 4602: 4582: 4551: 4520: 4496: 4456: 4310: 4278: 4233: 4103: 4071: 4035: 4013: 3968: 3946: 3901: 3829: 3785: 3744: 3672: 3618: 3543: 3502: 3458: 3332: 3194: 3110: 3042: 3008: 2968: 2936: 2912: 2767: 2733: 2710: 2670: 2555: 2520: 2492: 2453: 2224: 1785: 1414: 1353: 1309: 1281: 1243: 1166: 1073: 1053: 941: 905: 868: 724: 688: 655: 615: 573: 545: 516: 485: 285: 236: 201: 176: 126: 609:
is a sequence of random variables which converge to
6385:
Empirical Processes with Applications to Statistics
6059:"A Generalization of the Glivenko–Cantelli Theorem" 4625:{\displaystyle T:\Omega \rightarrow {\mathcal {F}}} 6006: 5982: 5928: 5879: 5837: 5758: 5717: 5693: 5578: 5511: 5473: 5442: 5412: 5388: 5353: 5327: 5300: 5267: 5213: 5189: 5121: 5079: 5051: 5020: 4990: 4920: 4898: 4849: 4825: 4796: 4745: 4716: 4686: 4624: 4588: 4561: 4530: 4506: 4477: 4442: 4290: 4254: 4219: 4083: 4057: 4021: 3990: 3954: 3922: 3887: 3801: 3765: 3730: 3634: 3594: 3526: 3488: 3441: 3315: 3174: 3090: 3025: 2984: 2946: 2922: 2891: 2746: 2716: 2692: 2653: 2539: 2502: 2474: 2427: 2370: 2236: 2210: 2190: 2156: 2136: 2116: 1993: 1765: 1397: 1339: 1295: 1267: 1230:{\displaystyle F(x_{j})-F(x_{j-1})={\frac {1}{m}}} 1229: 1152: 1059: 1015: 927: 887: 831: 703: 674: 630: 601: 560: 531: 498: 468: 268: 216: 184: 158: 5450:can be written as the pointwise limit of sets in 5602: 5162: 4362: 4353: 4315: 4146: 4108: 3380: 3242: 2252: 2012: 1884: 1819: 758: 6361:. London, UK: Chapman and Hall. p. 79–97. 6129: 6127: 3434: 3401: 3308: 3263: 3167: 3123: 3083: 3055: 2727:Further generalization is the map induced by 1002: 972: 818: 777: 461: 395: 69:, describes the asymptotic behaviour of the 8: 6273:Theory of Probability & Its Applications 5983:{\displaystyle \|P_{n}-P\|_{\mathcal {C}}=1} 5963: 5943: 5822: 5790: 5656: 5636: 5573: 5536: 5184: 5153: 4985: 4952: 4791: 4760: 4717:{\displaystyle {\mathcal {X}}\times \Omega } 3817:if it instead satisfies the weaker condition 2405: 2385: 2280: 2262: 2040: 2022: 1912: 1894: 1806: 1786: 1334: 1316: 745: 725: 6359:Some Basic Theory for Statistical Inference 4906:be a class of functions that is integrable 6307: 6207:(1987). "The Glivenko-Cantelli Problem". 6074: 5998: 5997: 5995: 5967: 5966: 5950: 5941: 5911: 5898: 5892: 5862: 5850: 5829: 5828: 5816: 5797: 5781: 5775: 5750: 5749: 5747: 5709: 5708: 5706: 5681: 5674: 5660: 5659: 5643: 5613: 5612: 5605: 5599: 5568: 5567: 5566: 5527: 5526: 5524: 5505: 5504: 5496: 5465: 5459: 5458: 5455: 5434: 5433: 5425: 5404: 5403: 5401: 5378: 5373: 5372: 5370: 5345: 5344: 5342: 5319: 5318: 5316: 5292: 5291: 5289: 5256: 5255: 5250: 5205: 5204: 5202: 5178: 5177: 5144: 5138: 5137: 5134: 5113: 5112: 5110: 5071: 5070: 5068: 5043: 5037: 5036: 5033: 5012: 5011: 5009: 4979: 4978: 4962: 4961: 4943: 4937: 4936: 4933: 4914: 4913: 4911: 4890: 4889: 4887: 4842: 4817: 4812: 4809: 4785: 4784: 4769: 4764: 4758: 4737: 4736: 4734: 4702: 4701: 4699: 4637: 4616: 4615: 4601: 4581: 4553: 4552: 4550: 4522: 4521: 4519: 4498: 4497: 4495: 4455: 4413: 4412: 4406: 4405: 4400: 4399: 4390: 4386: 4385: 4378: 4377: 4365: 4336: 4335: 4328: 4327: 4320: 4319: 4318: 4309: 4277: 4232: 4190: 4189: 4183: 4182: 4177: 4176: 4167: 4163: 4162: 4155: 4154: 4129: 4128: 4121: 4120: 4113: 4112: 4111: 4102: 4070: 4040: 4039: 4034: 4015: 4014: 4012: 3973: 3972: 3967: 3948: 3947: 3945: 3900: 3869: 3868: 3862: 3861: 3856: 3855: 3846: 3842: 3841: 3834: 3833: 3828: 3790: 3789: 3784: 3743: 3712: 3711: 3705: 3704: 3699: 3698: 3689: 3685: 3684: 3677: 3676: 3671: 3623: 3622: 3617: 3582: 3581: 3576: 3563: 3562: 3548: 3547: 3542: 3512: 3508: 3507: 3501: 3468: 3464: 3463: 3457: 3433: 3432: 3425: 3424: 3412: 3408: 3407: 3400: 3399: 3391: 3390: 3383: 3369: 3368: 3362: 3361: 3356: 3355: 3346: 3342: 3341: 3334: 3333: 3331: 3307: 3306: 3293: 3292: 3274: 3270: 3269: 3262: 3261: 3253: 3252: 3245: 3231: 3230: 3224: 3223: 3218: 3217: 3208: 3204: 3203: 3196: 3195: 3193: 3166: 3165: 3155: 3145: 3144: 3135: 3134: 3122: 3121: 3112: 3111: 3109: 3082: 3081: 3075: 3074: 3069: 3054: 3053: 3044: 3043: 3041: 3013: 3012: 3007: 2973: 2972: 2967: 2938: 2937: 2935: 2914: 2913: 2911: 2880: 2879: 2861: 2845: 2834: 2820: 2811: 2803: 2794: 2778: 2766: 2738: 2732: 2709: 2675: 2669: 2645: 2644: 2626: 2613: 2603: 2592: 2578: 2560: 2554: 2528: 2527: 2519: 2494: 2493: 2491: 2452: 2420: 2408: 2392: 2383: 2363: 2355: 2338: 2329: 2307: 2294: 2285: 2255: 2249: 2223: 2203: 2174: 2169: 2149: 2129: 2109: 2098: 2089: 2067: 2054: 2045: 2015: 2009: 1978: 1970: 1961: 1939: 1926: 1917: 1887: 1875: 1845: 1836: 1830: 1829: 1822: 1809: 1793: 1784: 1746: 1728: 1700: 1687: 1671: 1643: 1630: 1589: 1568: 1556: 1534: 1521: 1499: 1477: 1464: 1423: 1415: 1413: 1386: 1367: 1352: 1308: 1289: 1288: 1280: 1242: 1217: 1199: 1177: 1165: 1138: 1119: 1100: 1087: 1072: 1052: 1001: 1000: 986: 981: 971: 970: 962: 961: 960: 940: 910: 904: 876: 867: 817: 816: 786: 776: 775: 769: 768: 761: 748: 732: 723: 687: 663: 654: 614: 581: 572: 544: 515: 490: 484: 460: 459: 421: 394: 393: 380: 351: 343: 333: 322: 308: 290: 284: 260: 241: 235: 200: 178: 177: 175: 144: 131: 125: 88:The uniform convergence of more general 45:The same diagram for normal distributions 6407:Weak Convergence and Empirical Processes 3656:) with respect to a probability measure 6049: 3489:{\displaystyle \ \mathbb {P} _{n}(C)\ } 75:independent and identically distributed 6106:. Cambridge University Press. p.  5129:is bounded. Also suppose that the set 5059:is dominated by an integrable function 5028:is a weak Glivenko-Cantelli class and 6063:The Annals of Mathematical Statistics 6038:Dvoretzky–Kiefer–Wolfowitz inequality 5725:is uniformly Glivenko–Cantelli class. 3527:{\displaystyle \ \mathbb {P} _{n}f\ } 92:becomes an important property of the 7: 5766:be a class of all finite subsets in 4998:. Then the following are equivalent: 4005:weak uniform Glivenko–Cantelli class 2754:on measurable real-valued functions 2540:{\displaystyle C\in {\mathcal {C}}.} 36:Donsker–Skorokhod–Kolmogorov theorem 5443:{\displaystyle C\in {\mathcal {C}}} 3071: is measurable subset of  1340:{\displaystyle j\in \{1,\dots ,m\}} 6239:Journal of Theoretical Probability 5545: 5474:{\displaystyle {\mathcal {C}}_{0}} 5389:{\displaystyle {\mathcal {C_{0}}}} 5365:: There exists a countable subset 5268:{\displaystyle \ {\mathcal {C}}\ } 5052:{\displaystyle {\mathcal {F}}_{0}} 4804:is image-admissible Suslin, where 4711: 4609: 4583: 4466: 4243: 4058:{\displaystyle ({\mathcal {S}},A)} 3991:{\displaystyle ({\mathcal {S}},A)} 3911: 3802:{\displaystyle \ {\mathcal {C}}\ } 3754: 3635:{\displaystyle \ {\mathcal {C}}\ } 3577: 2985:{\displaystyle \ {\mathcal {S}}\ } 2460: 2409: 1810: 1147: 1077: 749: 360: 269:{\displaystyle X_{1},\dots ,X_{n}} 159:{\displaystyle X_{1},X_{2},\dots } 81:to the true distribution function 25: 5197:is image-admissible Suslin. Then 4291:{\displaystyle \varepsilon >0} 4084:{\displaystyle \varepsilon >0} 3938:universal Glivenko–Cantelli class 1296:{\displaystyle x\in \mathbb {R} } 59:Fundamental Theorem of Statistics 4826:{\displaystyle \mathbf {1} _{C}} 4813: 4765: 4687:{\displaystyle (x,y)\mapsto (x)} 4478:{\displaystyle \ n\to \infty ~.} 4255:{\displaystyle \ n\to \infty ~.} 3923:{\displaystyle \ n\to \infty ~.} 3766:{\displaystyle \ n\to \infty ~.} 3026:{\displaystyle \ \mathbb {P} ~.} 2191:{\textstyle 1/m<\varepsilon } 194:cumulative distribution function 4270:uniform Glivenko-Cantelli class 2445:empirical distribution function 227:empirical distribution function 104:. Applications can be found in 71:empirical distribution function 6464:Asymptotic theory (statistics) 6342:. Cambridge University Press. 6340:Uniform Central Limit Theorems 6142:. Cambridge University Press. 6007:{\displaystyle {\mathcal {C}}} 5929:{\displaystyle P_{n}(A_{n})=1} 5917: 5904: 5868: 5855: 5759:{\displaystyle {\mathcal {C}}} 5718:{\displaystyle {\mathcal {C}}} 5631: 5619: 5554: 5539: 5512:{\displaystyle S=\mathbb {R} } 5413:{\displaystyle {\mathcal {C}}} 5354:{\displaystyle {\mathcal {C}}} 5328:{\displaystyle {\mathcal {C}}} 5301:{\displaystyle {\mathcal {C}}} 5214:{\displaystyle {\mathcal {F}}} 5122:{\displaystyle {\mathcal {F}}} 5105:Suppose that a function class 5080:{\displaystyle {\mathcal {F}}} 5021:{\displaystyle {\mathcal {F}}} 4899:{\displaystyle {\mathcal {F}}} 4746:{\displaystyle {\mathcal {C}}} 4681: 4675: 4672: 4669: 4663: 4657: 4654: 4651: 4639: 4612: 4562:{\displaystyle {\mathcal {F}}} 4531:{\displaystyle {\mathcal {F}}} 4507:{\displaystyle {\mathcal {C}}} 4463: 4431: 4348: 4332: 4240: 4208: 4141: 4125: 4052: 4036: 3985: 3969: 3908: 3876: 3751: 3719: 3534:is the corresponding map, and 3480: 3474: 3303: 3297: 3286: 3280: 3141: 2947:{\displaystyle {\mathcal {C}}} 2923:{\displaystyle {\mathcal {F}}} 2867: 2854: 2771: 2687: 2681: 2632: 2619: 2572: 2566: 2503:{\displaystyle {\mathcal {C}}} 2469: 2454: 2339: 2335: 2322: 2313: 2300: 2286: 2103: 2099: 2095: 2082: 2073: 2060: 2046: 1971: 1967: 1954: 1945: 1932: 1918: 1876: 1872: 1866: 1857: 1851: 1837: 1740: 1721: 1712: 1693: 1677: 1664: 1655: 1636: 1616: 1610: 1601: 1595: 1562: 1549: 1540: 1527: 1511: 1492: 1483: 1470: 1450: 1444: 1435: 1429: 1392: 1360: 1211: 1192: 1183: 1170: 954: 948: 922: 916: 823: 813: 807: 798: 792: 625: 619: 593: 587: 374: 368: 363: 344: 302: 296: 211: 205: 57:(sometimes referred to as the 1: 6098:van der Vaart, A. W. (1998). 1038:for this and related results. 1032:law of the iterated logarithm 843:This theorem originates with 6134:van der Vaart, A.W. (1998). 5087:is a Glivenko-Cantelli class 4921:{\displaystyle \mathbb {P} } 4022:{\displaystyle \mathbb {P} } 3955:{\displaystyle \mathbb {P} } 3811:weak Glivenko-Cantelli class 2475:{\displaystyle (-\infty ,x]} 1268:{\displaystyle j=1,\dots ,m} 602:{\displaystyle \ F_{n}(x)\ } 185:{\displaystyle \mathbb {R} } 6018:a GC class with respect to 5335:is image-admissible Suslin. 4729:A class of measurable sets 935:converges almost surely to 6490: 6439:; Wellner, Jon A. (2000). 6429:Glivenko-Cantelli Theorems 6427:; Wellner, Jon A. (1996). 6318:10.1109/IJCNN.2011.6033352 5880:{\displaystyle P(A_{n})=0} 3496:is the empirical measure, 98:Vapnik–Chervonenkis theory 6187:Giorn. Ist. Ital. Attuari 6165:Giorn. Ist. Ital. Attuari 5277:Vapnik–Chervonenkis class 3101:and a class of functions 2137:{\textstyle \varepsilon } 888:{\displaystyle \ X_{n}\ } 675:{\displaystyle \ F_{n}\ } 94:Glivenko–Cantelli classes 63:Valery Ivanovich Glivenko 55:Glivenko–Cantelli theorem 18:Glivenko-Cantelli theorem 6405:; Wellner, J.A. (1996). 6057:Howard G.Tucker (1959). 5100:, Giné, and Zinn, 1991) 3602:assuming that it exists. 3185:define random variables 3033:For a class of subsets, 2992:with a sigma algebra of 2693:{\displaystyle I_{C}(x)} 928:{\displaystyle F_{n}(x)} 67:Francesco Paolo Cantelli 6076:10.1214/aoms/1177706212 5738:probability measure on 4589:{\displaystyle \Omega } 4571:image-admissible Suslin 3645:Glivenko–Cantelli class 2958:Glivenko–Cantelli class 2443:One can generalize the 2237:{\displaystyle n\geq N} 100:, with applications to 6474:Theorems in statistics 6302:. pp. 1141–1145. 6221:10.1214/AOP/1176992069 6008: 5984: 5930: 5881: 5839: 5760: 5719: 5695: 5580: 5513: 5475: 5444: 5414: 5390: 5355: 5329: 5302: 5269: 5215: 5191: 5123: 5081: 5053: 5022: 4992: 4922: 4900: 4851: 4827: 4798: 4747: 4718: 4688: 4626: 4590: 4563: 4532: 4508: 4479: 4444: 4292: 4268:A class is a (strong) 4256: 4221: 4085: 4059: 4023: 3992: 3956: 3924: 3889: 3803: 3767: 3732: 3636: 3596: 3528: 3490: 3443: 3317: 3176: 3092: 3027: 2986: 2948: 2924: 2893: 2850: 2748: 2718: 2694: 2655: 2608: 2541: 2504: 2476: 2429: 2372: 2238: 2212: 2192: 2158: 2138: 2118: 1995: 1767: 1399: 1341: 1297: 1269: 1231: 1154: 1061: 1017: 929: 889: 833: 705: 676: 632: 603: 562: 561:{\displaystyle \ x\ ,} 533: 500: 470: 338: 270: 218: 186: 160: 46: 38: 6437:van der Vaart, Aad W. 6425:van der Vaart, Aad W. 6209:Annals of Probability 6138:Asymptotic Statistics 6102:Asymptotic Statistics 6009: 5985: 5931: 5882: 5840: 5761: 5720: 5696: 5581: 5514: 5476: 5445: 5415: 5391: 5356: 5330: 5303: 5270: 5216: 5192: 5124: 5082: 5054: 5023: 4993: 4923: 4901: 4852: 4828: 4799: 4748: 4719: 4689: 4627: 4591: 4564: 4545:A class of functions 4533: 4509: 4480: 4445: 4293: 4257: 4222: 4086: 4060: 4024: 3993: 3957: 3925: 3890: 3804: 3768: 3733: 3637: 3597: 3529: 3491: 3444: 3318: 3177: 3093: 3028: 2987: 2949: 2925: 2894: 2830: 2749: 2747:{\displaystyle P_{n}} 2719: 2695: 2656: 2588: 2542: 2505: 2486:from a class of sets 2477: 2447:by replacing the set 2430: 2373: 2239: 2213: 2193: 2159: 2139: 2119: 1996: 1768: 1400: 1398:{\displaystyle x\in } 1342: 1298: 1270: 1232: 1155: 1062: 1018: 930: 890: 834: 706: 704:{\displaystyle \ F~.} 677: 633: 604: 563: 534: 532:{\displaystyle \ C~.} 501: 499:{\displaystyle I_{C}} 471: 318: 271: 219: 187: 161: 51:theory of probability 44: 33: 27:Theory of probability 6469:Probability theorems 5994: 5940: 5891: 5849: 5774: 5746: 5705: 5598: 5588:Kolmogorov's theorem 5523: 5495: 5454: 5424: 5400: 5369: 5341: 5315: 5288: 5249: 5201: 5133: 5109: 5067: 5032: 5008: 4932: 4910: 4886: 4841: 4808: 4757: 4733: 4698: 4636: 4600: 4580: 4549: 4518: 4494: 4454: 4308: 4276: 4231: 4101: 4069: 4033: 4011: 3966: 3944: 3936:A class is called a 3899: 3827: 3783: 3742: 3670: 3616: 3541: 3500: 3456: 3330: 3192: 3108: 3040: 3006: 2966: 2934: 2910: 2904:law of large numbers 2765: 2758:, which is given by 2731: 2708: 2668: 2553: 2518: 2490: 2482:by an arbitrary set 2451: 2382: 2248: 2222: 2202: 2168: 2148: 2128: 2008: 1783: 1412: 1351: 1307: 1279: 1241: 1164: 1071: 1051: 939: 903: 866: 722: 686: 653: 643:law of large numbers 631:{\displaystyle F(x)} 613: 571: 543: 514: 483: 283: 234: 217:{\displaystyle F(x)} 199: 174: 124: 6403:van der Vaart, A.W. 6269:Chervonenkis, A.Ya. 5420:such that each set 3158: is measurable 3001:probability measure 2906:holds uniformly on 647:uniform convergence 79:converges uniformly 6251:10.1007/BF01210321 6235:Dudley, Richard M. 6004: 5980: 5926: 5877: 5835: 5756: 5715: 5691: 5635: 5576: 5509: 5471: 5440: 5410: 5386: 5351: 5325: 5298: 5265: 5211: 5187: 5119: 5077: 5049: 5018: 4988: 4918: 4896: 4847: 4835:indicator function 4823: 4794: 4743: 4714: 4684: 4632:such that the map 4622: 4586: 4573:if there exists a 4559: 4528: 4504: 4475: 4440: 4376: 4352: 4288: 4252: 4217: 4145: 4081: 4055: 4019: 3988: 3952: 3920: 3895:in probability as 3885: 3799: 3763: 3728: 3632: 3592: 3524: 3486: 3439: 3398: 3313: 3260: 3172: 3160: 3088: 3023: 2982: 2944: 2920: 2889: 2744: 2714: 2702:indicator function 2690: 2651: 2537: 2500: 2472: 2439:Empirical measures 2425: 2368: 2284: 2234: 2218:such that for all 2208: 2188: 2154: 2134: 2114: 2044: 1991: 1916: 1835: 1763: 1761: 1395: 1337: 1293: 1265: 1227: 1150: 1057: 1013: 925: 885: 849:Francesco Cantelli 829: 774: 701: 672: 628: 599: 558: 539:For every (fixed) 529: 508:indicator function 496: 466: 266: 214: 182: 156: 90:empirical measures 47: 39: 6459:Empirical process 6149:978-0-521-78450-4 6117:978-0-521-78450-4 6033:Donsker's theorem 5601: 5264: 5254: 4850:{\displaystyle C} 4596:and a surjection 4471: 4459: 4439: 4361: 4314: 4313: 4248: 4236: 4216: 4107: 4106: 3916: 3904: 3884: 3832: 3798: 3788: 3759: 3747: 3738:almost surely as 3727: 3675: 3631: 3621: 3588: 3575: 3546: 3523: 3505: 3485: 3461: 3379: 3241: 3164: 3159: 3072: 3019: 3011: 2981: 2971: 2828: 2717:{\displaystyle C} 2586: 2512:empirical measure 2423: 2366: 2251: 2112: 2011: 1986: 1883: 1818: 1754: 1576: 1225: 1060:{\displaystyle X} 1009: 944: 884: 871: 757: 697: 691: 671: 658: 598: 576: 554: 548: 525: 519: 438: 413: 407: 392: 388: 316: 73:as the number of 16:(Redirected from 6481: 6444: 6432: 6420: 6398: 6372: 6353: 6322: 6321: 6311: 6295: 6289: 6288: 6261: 6255: 6254: 6231: 6225: 6224: 6201: 6195: 6194: 6179: 6173: 6172: 6160: 6154: 6153: 6141: 6131: 6122: 6121: 6105: 6095: 6089: 6088: 6078: 6054: 6013: 6011: 6010: 6005: 6003: 6002: 5989: 5987: 5986: 5981: 5973: 5972: 5971: 5955: 5954: 5935: 5933: 5932: 5927: 5916: 5915: 5903: 5902: 5886: 5884: 5883: 5878: 5867: 5866: 5844: 5842: 5841: 5836: 5834: 5833: 5821: 5820: 5802: 5801: 5786: 5785: 5765: 5763: 5762: 5757: 5755: 5754: 5724: 5722: 5721: 5716: 5714: 5713: 5700: 5698: 5697: 5692: 5690: 5689: 5685: 5666: 5665: 5664: 5648: 5647: 5634: 5618: 5617: 5585: 5583: 5582: 5577: 5572: 5571: 5532: 5531: 5518: 5516: 5515: 5510: 5508: 5480: 5478: 5477: 5472: 5470: 5469: 5464: 5463: 5449: 5447: 5446: 5441: 5439: 5438: 5419: 5417: 5416: 5411: 5409: 5408: 5395: 5393: 5392: 5387: 5385: 5384: 5383: 5382: 5360: 5358: 5357: 5352: 5350: 5349: 5334: 5332: 5331: 5326: 5324: 5323: 5307: 5305: 5304: 5299: 5297: 5296: 5274: 5272: 5271: 5266: 5262: 5261: 5260: 5252: 5220: 5218: 5217: 5212: 5210: 5209: 5196: 5194: 5193: 5188: 5183: 5182: 5149: 5148: 5143: 5142: 5128: 5126: 5125: 5120: 5118: 5117: 5086: 5084: 5083: 5078: 5076: 5075: 5058: 5056: 5055: 5050: 5048: 5047: 5042: 5041: 5027: 5025: 5024: 5019: 5017: 5016: 4997: 4995: 4994: 4989: 4984: 4983: 4965: 4948: 4947: 4942: 4941: 4927: 4925: 4924: 4919: 4917: 4905: 4903: 4902: 4897: 4895: 4894: 4856: 4854: 4853: 4848: 4832: 4830: 4829: 4824: 4822: 4821: 4816: 4803: 4801: 4800: 4795: 4790: 4789: 4774: 4773: 4768: 4752: 4750: 4749: 4744: 4742: 4741: 4723: 4721: 4720: 4715: 4707: 4706: 4693: 4691: 4690: 4685: 4631: 4629: 4628: 4623: 4621: 4620: 4595: 4593: 4592: 4587: 4568: 4566: 4565: 4560: 4558: 4557: 4537: 4535: 4534: 4529: 4527: 4526: 4513: 4511: 4510: 4505: 4503: 4502: 4484: 4482: 4481: 4476: 4469: 4457: 4449: 4447: 4446: 4441: 4437: 4430: 4426: 4419: 4418: 4417: 4411: 4410: 4403: 4395: 4394: 4389: 4383: 4382: 4375: 4351: 4341: 4340: 4331: 4323: 4311: 4297: 4295: 4294: 4289: 4261: 4259: 4258: 4253: 4246: 4234: 4226: 4224: 4223: 4218: 4214: 4207: 4203: 4196: 4195: 4194: 4188: 4187: 4180: 4172: 4171: 4166: 4160: 4159: 4144: 4134: 4133: 4124: 4116: 4104: 4090: 4088: 4087: 4082: 4064: 4062: 4061: 4056: 4045: 4044: 4028: 4026: 4025: 4020: 4018: 3997: 3995: 3994: 3989: 3978: 3977: 3961: 3959: 3958: 3953: 3951: 3929: 3927: 3926: 3921: 3914: 3902: 3894: 3892: 3891: 3886: 3882: 3875: 3874: 3873: 3867: 3866: 3859: 3851: 3850: 3845: 3839: 3838: 3830: 3816: 3813:with respect to 3808: 3806: 3805: 3800: 3796: 3795: 3794: 3786: 3772: 3770: 3769: 3764: 3757: 3745: 3737: 3735: 3734: 3729: 3725: 3718: 3717: 3716: 3710: 3709: 3702: 3694: 3693: 3688: 3682: 3681: 3673: 3659: 3641: 3639: 3638: 3633: 3629: 3628: 3627: 3619: 3601: 3599: 3598: 3593: 3586: 3585: 3580: 3573: 3569: 3568: 3567: 3551: 3544: 3533: 3531: 3530: 3525: 3521: 3517: 3516: 3511: 3503: 3495: 3493: 3492: 3487: 3483: 3473: 3472: 3467: 3459: 3448: 3446: 3445: 3440: 3438: 3437: 3428: 3417: 3416: 3411: 3405: 3404: 3397: 3396: 3395: 3375: 3374: 3373: 3367: 3366: 3359: 3351: 3350: 3345: 3339: 3338: 3322: 3320: 3319: 3314: 3312: 3311: 3296: 3279: 3278: 3273: 3267: 3266: 3259: 3258: 3257: 3237: 3236: 3235: 3229: 3228: 3221: 3213: 3212: 3207: 3201: 3200: 3181: 3179: 3178: 3173: 3171: 3170: 3162: 3161: 3157: 3148: 3140: 3139: 3127: 3126: 3117: 3116: 3097: 3095: 3094: 3089: 3087: 3086: 3080: 3079: 3073: 3070: 3059: 3058: 3049: 3048: 3032: 3030: 3029: 3024: 3017: 3016: 3009: 2998: 2991: 2989: 2988: 2983: 2979: 2978: 2977: 2969: 2953: 2951: 2950: 2945: 2943: 2942: 2929: 2927: 2926: 2921: 2919: 2918: 2898: 2896: 2895: 2890: 2885: 2884: 2866: 2865: 2849: 2844: 2829: 2821: 2816: 2815: 2799: 2798: 2783: 2782: 2753: 2751: 2750: 2745: 2743: 2742: 2723: 2721: 2720: 2715: 2699: 2697: 2696: 2691: 2680: 2679: 2660: 2658: 2657: 2652: 2650: 2649: 2631: 2630: 2618: 2617: 2607: 2602: 2587: 2579: 2565: 2564: 2546: 2544: 2543: 2538: 2533: 2532: 2514:indexed by sets 2509: 2507: 2506: 2501: 2499: 2498: 2481: 2479: 2478: 2473: 2434: 2432: 2431: 2426: 2424: 2421: 2413: 2412: 2397: 2396: 2377: 2375: 2374: 2369: 2367: 2364: 2359: 2342: 2334: 2333: 2312: 2311: 2299: 2298: 2289: 2283: 2243: 2241: 2240: 2235: 2217: 2215: 2214: 2209: 2197: 2195: 2194: 2189: 2178: 2163: 2161: 2160: 2155: 2144:and any integer 2143: 2141: 2140: 2135: 2123: 2121: 2120: 2115: 2113: 2110: 2102: 2094: 2093: 2072: 2071: 2059: 2058: 2049: 2043: 2000: 1998: 1997: 1992: 1987: 1979: 1974: 1966: 1965: 1944: 1943: 1931: 1930: 1921: 1915: 1879: 1850: 1849: 1840: 1834: 1833: 1814: 1813: 1798: 1797: 1772: 1770: 1769: 1764: 1762: 1755: 1747: 1739: 1738: 1711: 1710: 1692: 1691: 1676: 1675: 1654: 1653: 1635: 1634: 1594: 1593: 1577: 1569: 1561: 1560: 1539: 1538: 1526: 1525: 1510: 1509: 1482: 1481: 1469: 1468: 1428: 1427: 1404: 1402: 1401: 1396: 1391: 1390: 1378: 1377: 1346: 1344: 1343: 1338: 1302: 1300: 1299: 1294: 1292: 1274: 1272: 1271: 1266: 1236: 1234: 1233: 1228: 1226: 1218: 1210: 1209: 1182: 1181: 1159: 1157: 1156: 1151: 1143: 1142: 1130: 1129: 1105: 1104: 1092: 1091: 1066: 1064: 1063: 1058: 1022: 1020: 1019: 1014: 1007: 1006: 1005: 999: 998: 991: 990: 976: 975: 966: 965: 942: 934: 932: 931: 926: 915: 914: 895:is a stationary 894: 892: 891: 886: 882: 881: 880: 869: 838: 836: 835: 830: 822: 821: 791: 790: 781: 780: 773: 772: 753: 752: 737: 736: 710: 708: 707: 702: 695: 689: 681: 679: 678: 673: 669: 668: 667: 656: 637: 635: 634: 629: 608: 606: 605: 600: 596: 586: 585: 574: 567: 565: 564: 559: 552: 546: 538: 536: 535: 530: 523: 517: 505: 503: 502: 497: 495: 494: 475: 473: 472: 467: 465: 464: 458: 454: 436: 426: 425: 411: 405: 399: 398: 390: 389: 381: 367: 366: 356: 355: 337: 332: 317: 309: 295: 294: 275: 273: 272: 267: 265: 264: 246: 245: 223: 221: 220: 215: 191: 189: 188: 183: 181: 165: 163: 162: 157: 149: 148: 136: 135: 102:machine learning 21: 6489: 6488: 6484: 6483: 6482: 6480: 6479: 6478: 6449: 6448: 6447: 6435: 6423: 6417: 6401: 6395: 6375: 6369: 6356: 6350: 6334: 6330: 6328:Further reading 6325: 6297: 6296: 6292: 6285:10.1137/1116025 6263: 6262: 6258: 6233: 6232: 6228: 6203: 6202: 6198: 6181: 6180: 6176: 6162: 6161: 6157: 6150: 6133: 6132: 6125: 6118: 6097: 6096: 6092: 6056: 6055: 6051: 6047: 6029: 5992: 5991: 5962: 5946: 5938: 5937: 5936:, we have that 5907: 5894: 5889: 5888: 5858: 5847: 5846: 5812: 5793: 5777: 5772: 5771: 5744: 5743: 5703: 5702: 5670: 5655: 5639: 5596: 5595: 5521: 5520: 5493: 5492: 5488: 5457: 5452: 5451: 5422: 5421: 5398: 5397: 5374: 5367: 5366: 5361:is universally 5339: 5338: 5313: 5312: 5286: 5285: 5247: 5246: 5199: 5198: 5136: 5131: 5130: 5107: 5106: 5092: 5065: 5064: 5035: 5030: 5029: 5006: 5005: 4935: 4930: 4929: 4908: 4907: 4884: 4883: 4861: 4839: 4838: 4811: 4806: 4805: 4763: 4755: 4754: 4731: 4730: 4696: 4695: 4634: 4633: 4598: 4597: 4578: 4577: 4547: 4546: 4516: 4515: 4492: 4491: 4452: 4451: 4404: 4384: 4360: 4356: 4306: 4305: 4274: 4273: 4229: 4228: 4181: 4161: 4153: 4149: 4099: 4098: 4067: 4066: 4031: 4030: 4009: 4008: 3964: 3963: 3942: 3941: 3897: 3896: 3860: 3840: 3825: 3824: 3814: 3781: 3780: 3740: 3739: 3703: 3683: 3668: 3667: 3657: 3654:strong GC class 3652:, or sometimes 3614: 3613: 3558: 3539: 3538: 3506: 3498: 3497: 3462: 3454: 3453: 3406: 3360: 3340: 3328: 3327: 3268: 3222: 3202: 3190: 3189: 3106: 3105: 3038: 3037: 3004: 3003: 2996: 2964: 2963: 2962:Consider a set 2960: 2932: 2931: 2908: 2907: 2857: 2807: 2790: 2774: 2763: 2762: 2734: 2729: 2728: 2706: 2705: 2671: 2666: 2665: 2622: 2609: 2556: 2551: 2550: 2516: 2515: 2488: 2487: 2449: 2448: 2441: 2404: 2388: 2380: 2379: 2325: 2303: 2290: 2246: 2245: 2220: 2219: 2200: 2199: 2166: 2165: 2146: 2145: 2126: 2125: 2085: 2063: 2050: 2006: 2005: 1957: 1935: 1922: 1841: 1805: 1789: 1781: 1780: 1760: 1759: 1724: 1696: 1683: 1667: 1639: 1626: 1619: 1585: 1582: 1581: 1552: 1530: 1517: 1495: 1473: 1460: 1453: 1419: 1410: 1409: 1382: 1363: 1349: 1348: 1305: 1304: 1277: 1276: 1239: 1238: 1195: 1173: 1162: 1161: 1134: 1115: 1096: 1083: 1069: 1068: 1049: 1048: 1045: 982: 977: 937: 936: 906: 901: 900: 897:ergodic process 872: 864: 863: 845:Valery Glivenko 782: 744: 728: 720: 719: 684: 683: 659: 651: 650: 611: 610: 577: 569: 568: 541: 540: 512: 511: 486: 481: 480: 417: 404: 400: 347: 339: 286: 281: 280: 256: 237: 232: 231: 197: 196: 172: 171: 140: 127: 122: 121: 118: 61:), named after 28: 23: 22: 15: 12: 11: 5: 6487: 6485: 6477: 6476: 6471: 6466: 6461: 6451: 6450: 6446: 6445: 6433: 6421: 6415: 6399: 6393: 6373: 6367: 6354: 6348: 6331: 6329: 6326: 6324: 6323: 6290: 6279:(2): 264–280. 6256: 6226: 6196: 6183:Cantelli, F.P. 6174: 6167:(in Italian). 6155: 6148: 6123: 6116: 6090: 6069:(3): 828–830. 6048: 6046: 6043: 6042: 6041: 6035: 6028: 6025: 6024: 6023: 6001: 5979: 5976: 5970: 5965: 5961: 5958: 5953: 5949: 5945: 5925: 5922: 5919: 5914: 5910: 5906: 5901: 5897: 5876: 5873: 5870: 5865: 5861: 5857: 5854: 5832: 5827: 5824: 5819: 5815: 5811: 5808: 5805: 5800: 5796: 5792: 5789: 5784: 5780: 5753: 5727: 5726: 5712: 5688: 5684: 5680: 5677: 5673: 5669: 5663: 5658: 5654: 5651: 5646: 5642: 5638: 5633: 5630: 5627: 5624: 5621: 5616: 5611: 5608: 5604: 5592: 5591: 5575: 5570: 5565: 5562: 5559: 5556: 5553: 5550: 5547: 5544: 5541: 5538: 5535: 5530: 5507: 5503: 5500: 5487: 5484: 5483: 5482: 5468: 5462: 5437: 5432: 5429: 5407: 5381: 5377: 5348: 5336: 5322: 5295: 5282: 5281: 5259: 5224: 5223: 5208: 5186: 5181: 5176: 5173: 5170: 5167: 5164: 5161: 5158: 5155: 5152: 5147: 5141: 5116: 5090: 5089: 5074: 5061: 5046: 5040: 5015: 5001: 5000: 4987: 4982: 4977: 4974: 4971: 4968: 4964: 4960: 4957: 4954: 4951: 4946: 4940: 4916: 4893: 4859: 4858: 4846: 4820: 4815: 4793: 4788: 4783: 4780: 4777: 4772: 4767: 4762: 4740: 4726: 4725: 4713: 4710: 4705: 4694:is measurable 4683: 4680: 4677: 4674: 4671: 4668: 4665: 4662: 4659: 4656: 4653: 4650: 4647: 4644: 4641: 4619: 4614: 4611: 4608: 4605: 4585: 4556: 4525: 4501: 4488: 4487: 4486: 4485: 4474: 4468: 4465: 4462: 4436: 4433: 4429: 4425: 4422: 4416: 4409: 4402: 4398: 4393: 4388: 4381: 4374: 4371: 4368: 4364: 4359: 4355: 4350: 4347: 4344: 4339: 4334: 4330: 4326: 4322: 4317: 4300: 4299: 4287: 4284: 4281: 4265: 4264: 4263: 4262: 4251: 4245: 4242: 4239: 4213: 4210: 4206: 4202: 4199: 4193: 4186: 4179: 4175: 4170: 4165: 4158: 4152: 4148: 4143: 4140: 4137: 4132: 4127: 4123: 4119: 4115: 4110: 4093: 4092: 4080: 4077: 4074: 4054: 4051: 4048: 4043: 4038: 4017: 4000: 3999: 3987: 3984: 3981: 3976: 3971: 3950: 3933: 3932: 3931: 3930: 3919: 3913: 3910: 3907: 3881: 3878: 3872: 3865: 3858: 3854: 3849: 3844: 3837: 3819: 3818: 3793: 3776: 3775: 3774: 3773: 3762: 3756: 3753: 3750: 3724: 3721: 3715: 3708: 3701: 3697: 3692: 3687: 3680: 3662: 3661: 3626: 3604: 3603: 3591: 3584: 3579: 3572: 3566: 3561: 3557: 3554: 3550: 3520: 3515: 3510: 3482: 3479: 3476: 3471: 3466: 3450: 3449: 3436: 3431: 3427: 3423: 3420: 3415: 3410: 3403: 3394: 3389: 3386: 3382: 3378: 3372: 3365: 3358: 3354: 3349: 3344: 3337: 3324: 3323: 3310: 3305: 3302: 3299: 3295: 3291: 3288: 3285: 3282: 3277: 3272: 3265: 3256: 3251: 3248: 3244: 3240: 3234: 3227: 3220: 3216: 3211: 3206: 3199: 3183: 3182: 3169: 3154: 3151: 3147: 3143: 3138: 3133: 3130: 3125: 3120: 3115: 3099: 3098: 3085: 3078: 3068: 3065: 3062: 3057: 3052: 3047: 3022: 3015: 2976: 2959: 2956: 2941: 2917: 2900: 2899: 2888: 2883: 2878: 2875: 2872: 2869: 2864: 2860: 2856: 2853: 2848: 2843: 2840: 2837: 2833: 2827: 2824: 2819: 2814: 2810: 2806: 2802: 2797: 2793: 2789: 2786: 2781: 2777: 2773: 2770: 2741: 2737: 2713: 2689: 2686: 2683: 2678: 2674: 2662: 2661: 2648: 2643: 2640: 2637: 2634: 2629: 2625: 2621: 2616: 2612: 2606: 2601: 2598: 2595: 2591: 2585: 2582: 2577: 2574: 2571: 2568: 2563: 2559: 2536: 2531: 2526: 2523: 2497: 2471: 2468: 2465: 2462: 2459: 2456: 2440: 2437: 2419: 2416: 2411: 2407: 2403: 2400: 2395: 2391: 2387: 2362: 2358: 2354: 2351: 2348: 2345: 2341: 2337: 2332: 2328: 2324: 2321: 2318: 2315: 2310: 2306: 2302: 2297: 2293: 2288: 2282: 2279: 2276: 2273: 2270: 2267: 2264: 2261: 2258: 2254: 2233: 2230: 2227: 2211:{\textstyle N} 2207: 2198:, we can find 2187: 2184: 2181: 2177: 2173: 2157:{\textstyle m} 2153: 2133: 2108: 2105: 2101: 2097: 2092: 2088: 2084: 2081: 2078: 2075: 2070: 2066: 2062: 2057: 2053: 2048: 2042: 2039: 2036: 2033: 2030: 2027: 2024: 2021: 2018: 2014: 2002: 2001: 1990: 1985: 1982: 1977: 1973: 1969: 1964: 1960: 1956: 1953: 1950: 1947: 1942: 1938: 1934: 1929: 1925: 1920: 1914: 1911: 1908: 1905: 1902: 1899: 1896: 1893: 1890: 1886: 1882: 1878: 1874: 1871: 1868: 1865: 1862: 1859: 1856: 1853: 1848: 1844: 1839: 1832: 1828: 1825: 1821: 1817: 1812: 1808: 1804: 1801: 1796: 1792: 1788: 1774: 1773: 1758: 1753: 1750: 1745: 1742: 1737: 1734: 1731: 1727: 1723: 1720: 1717: 1714: 1709: 1706: 1703: 1699: 1695: 1690: 1686: 1682: 1679: 1674: 1670: 1666: 1663: 1660: 1657: 1652: 1649: 1646: 1642: 1638: 1633: 1629: 1625: 1622: 1620: 1618: 1615: 1612: 1609: 1606: 1603: 1600: 1597: 1592: 1588: 1584: 1583: 1580: 1575: 1572: 1567: 1564: 1559: 1555: 1551: 1548: 1545: 1542: 1537: 1533: 1529: 1524: 1520: 1516: 1513: 1508: 1505: 1502: 1498: 1494: 1491: 1488: 1485: 1480: 1476: 1472: 1467: 1463: 1459: 1456: 1454: 1452: 1449: 1446: 1443: 1440: 1437: 1434: 1431: 1426: 1422: 1418: 1417: 1394: 1389: 1385: 1381: 1376: 1373: 1370: 1366: 1362: 1359: 1356: 1336: 1333: 1330: 1327: 1324: 1321: 1318: 1315: 1312: 1291: 1287: 1284: 1275:. Now for all 1264: 1261: 1258: 1255: 1252: 1249: 1246: 1224: 1221: 1216: 1213: 1208: 1205: 1202: 1198: 1194: 1191: 1188: 1185: 1180: 1176: 1172: 1169: 1149: 1146: 1141: 1137: 1133: 1128: 1125: 1122: 1118: 1114: 1111: 1108: 1103: 1099: 1095: 1090: 1086: 1082: 1079: 1076: 1056: 1044: 1041: 1040: 1039: 1028: 1012: 1004: 997: 994: 989: 985: 980: 974: 969: 964: 959: 956: 953: 950: 947: 924: 921: 918: 913: 909: 879: 875: 859: 858: 856: 841: 840: 839:almost surely. 828: 825: 820: 815: 812: 809: 806: 803: 800: 797: 794: 789: 785: 779: 771: 767: 764: 760: 756: 751: 747: 743: 740: 735: 731: 727: 700: 694: 666: 662: 641:by the strong 627: 624: 621: 618: 595: 592: 589: 584: 580: 557: 551: 528: 522: 493: 489: 477: 476: 463: 457: 453: 450: 447: 444: 441: 435: 432: 429: 424: 420: 416: 410: 403: 397: 387: 384: 379: 376: 373: 370: 365: 362: 359: 354: 350: 346: 342: 336: 331: 328: 325: 321: 315: 312: 307: 304: 301: 298: 293: 289: 276:is defined by 263: 259: 255: 252: 249: 244: 240: 213: 210: 207: 204: 180: 155: 152: 147: 143: 139: 134: 130: 117: 114: 108:making use of 26: 24: 14: 13: 10: 9: 6: 4: 3: 2: 6486: 6475: 6472: 6470: 6467: 6465: 6462: 6460: 6457: 6456: 6454: 6442: 6438: 6434: 6430: 6426: 6422: 6418: 6416:0-387-94640-3 6412: 6408: 6404: 6400: 6396: 6394:0-471-86725-X 6390: 6386: 6382: 6381:Wellner, J.A. 6378: 6377:Shorack, G.R. 6374: 6370: 6368:0-470-26554-X 6364: 6360: 6355: 6351: 6349:0-521-46102-2 6345: 6341: 6337: 6333: 6332: 6327: 6319: 6315: 6310: 6305: 6301: 6294: 6291: 6286: 6282: 6278: 6274: 6270: 6266: 6260: 6257: 6252: 6248: 6244: 6240: 6236: 6230: 6227: 6222: 6218: 6214: 6210: 6206: 6205:Talagrand, M. 6200: 6197: 6192: 6188: 6184: 6178: 6175: 6170: 6166: 6159: 6156: 6151: 6145: 6140: 6139: 6130: 6128: 6124: 6119: 6113: 6109: 6104: 6103: 6094: 6091: 6086: 6082: 6077: 6072: 6068: 6064: 6060: 6053: 6050: 6044: 6039: 6036: 6034: 6031: 6030: 6026: 6021: 6017: 5977: 5974: 5959: 5956: 5951: 5947: 5923: 5920: 5912: 5908: 5899: 5895: 5874: 5871: 5863: 5859: 5852: 5825: 5817: 5813: 5809: 5806: 5803: 5798: 5794: 5787: 5782: 5778: 5769: 5741: 5737: 5733: 5729: 5728: 5686: 5682: 5678: 5675: 5671: 5667: 5652: 5649: 5644: 5640: 5628: 5625: 5622: 5609: 5606: 5594: 5593: 5589: 5563: 5560: 5557: 5551: 5548: 5542: 5533: 5501: 5498: 5490: 5489: 5485: 5466: 5430: 5427: 5364: 5337: 5311: 5310: 5309: 5280: 5278: 5243: 5242: 5241: 5239: 5235: 5231: 5227: 5222: 5174: 5171: 5168: 5165: 5159: 5156: 5150: 5145: 5103: 5102: 5101: 5099: 5095: 5088: 5062: 5060: 5044: 5003: 5002: 4999: 4975: 4972: 4969: 4966: 4958: 4955: 4949: 4944: 4928:, and define 4880: 4879: 4878: 4876: 4872: 4868: 4865: 4864: 4844: 4836: 4818: 4781: 4778: 4775: 4770: 4728: 4727: 4708: 4678: 4666: 4660: 4648: 4645: 4642: 4606: 4603: 4576: 4572: 4544: 4543: 4542: 4539: 4472: 4460: 4434: 4427: 4423: 4420: 4396: 4391: 4372: 4369: 4366: 4357: 4345: 4342: 4324: 4304: 4303: 4302: 4301: 4285: 4282: 4279: 4271: 4267: 4266: 4249: 4237: 4211: 4204: 4200: 4197: 4173: 4168: 4150: 4138: 4135: 4117: 4097: 4096: 4095: 4094: 4078: 4075: 4072: 4049: 4046: 4006: 4003:A class is a 4002: 4001: 3982: 3979: 3939: 3935: 3934: 3917: 3905: 3879: 3852: 3847: 3823: 3822: 3821: 3820: 3812: 3778: 3777: 3760: 3748: 3722: 3695: 3690: 3666: 3665: 3664: 3663: 3655: 3651: 3647: 3646: 3611: 3610: 3609: 3608: 3589: 3570: 3559: 3555: 3552: 3537: 3536: 3535: 3518: 3513: 3477: 3469: 3429: 3421: 3418: 3413: 3387: 3384: 3376: 3352: 3347: 3326: 3325: 3300: 3289: 3283: 3275: 3249: 3246: 3238: 3214: 3209: 3188: 3187: 3186: 3152: 3149: 3131: 3128: 3118: 3104: 3103: 3102: 3066: 3063: 3060: 3050: 3036: 3035: 3034: 3020: 3002: 2995: 2994:Borel subsets 2957: 2955: 2905: 2886: 2876: 2873: 2870: 2862: 2858: 2851: 2846: 2841: 2838: 2835: 2831: 2825: 2822: 2817: 2812: 2808: 2804: 2800: 2795: 2791: 2787: 2784: 2779: 2775: 2768: 2761: 2760: 2759: 2757: 2739: 2735: 2725: 2711: 2703: 2684: 2676: 2672: 2641: 2638: 2635: 2627: 2623: 2614: 2610: 2604: 2599: 2596: 2593: 2589: 2583: 2580: 2575: 2569: 2561: 2557: 2549: 2548: 2547: 2534: 2524: 2521: 2513: 2510:to obtain an 2485: 2466: 2463: 2457: 2446: 2438: 2436: 2417: 2414: 2401: 2398: 2393: 2389: 2360: 2356: 2352: 2349: 2346: 2343: 2330: 2326: 2319: 2316: 2308: 2304: 2295: 2291: 2277: 2274: 2271: 2268: 2265: 2259: 2256: 2231: 2228: 2225: 2205: 2185: 2182: 2179: 2175: 2171: 2151: 2131: 2106: 2090: 2086: 2079: 2076: 2068: 2064: 2055: 2051: 2037: 2034: 2031: 2028: 2025: 2019: 2016: 1988: 1983: 1980: 1975: 1962: 1958: 1951: 1948: 1940: 1936: 1927: 1923: 1909: 1906: 1903: 1900: 1897: 1891: 1888: 1880: 1869: 1863: 1860: 1854: 1846: 1842: 1826: 1823: 1815: 1802: 1799: 1794: 1790: 1779: 1778: 1777: 1756: 1751: 1748: 1743: 1735: 1732: 1729: 1725: 1718: 1715: 1707: 1704: 1701: 1697: 1688: 1684: 1680: 1672: 1668: 1661: 1658: 1650: 1647: 1644: 1640: 1631: 1627: 1623: 1621: 1613: 1607: 1604: 1598: 1590: 1586: 1578: 1573: 1570: 1565: 1557: 1553: 1546: 1543: 1535: 1531: 1522: 1518: 1514: 1506: 1503: 1500: 1496: 1489: 1486: 1478: 1474: 1465: 1461: 1457: 1455: 1447: 1441: 1438: 1432: 1424: 1420: 1408: 1407: 1406: 1387: 1383: 1379: 1374: 1371: 1368: 1364: 1357: 1354: 1331: 1328: 1325: 1322: 1319: 1313: 1310: 1303:there exists 1285: 1282: 1262: 1259: 1256: 1253: 1250: 1247: 1244: 1222: 1219: 1214: 1206: 1203: 1200: 1196: 1189: 1186: 1178: 1174: 1167: 1144: 1139: 1135: 1131: 1126: 1123: 1120: 1116: 1112: 1109: 1106: 1101: 1097: 1093: 1088: 1084: 1080: 1074: 1054: 1042: 1037: 1033: 1029: 1026: 1010: 995: 992: 987: 983: 978: 967: 957: 951: 945: 919: 911: 907: 898: 877: 873: 861: 860: 857: 854: 853: 852: 850: 846: 826: 810: 804: 801: 795: 787: 783: 765: 762: 754: 741: 738: 733: 729: 718: 717: 716: 715: 711: 698: 692: 664: 660: 648: 644: 640: 639:almost surely 622: 616: 590: 582: 578: 555: 549: 526: 520: 509: 491: 487: 455: 451: 448: 445: 442: 439: 433: 430: 427: 422: 418: 414: 408: 401: 385: 382: 377: 371: 357: 352: 348: 340: 334: 329: 326: 323: 319: 313: 310: 305: 299: 291: 287: 279: 278: 277: 261: 257: 253: 250: 247: 242: 238: 229: 228: 208: 202: 195: 169: 153: 150: 145: 141: 137: 132: 128: 120:Assume that 115: 113: 111: 107: 103: 99: 95: 91: 86: 84: 83:almost surely 80: 76: 72: 68: 64: 60: 56: 52: 43: 37: 32: 19: 6440: 6428: 6409:. Springer. 6406: 6384: 6358: 6339: 6336:Dudley, R.M. 6299: 6293: 6276: 6272: 6265:Vapnik, V.N. 6259: 6242: 6238: 6229: 6212: 6208: 6199: 6190: 6186: 6177: 6168: 6164: 6158: 6137: 6101: 6093: 6066: 6062: 6052: 6019: 6015: 5767: 5739: 5731: 5283: 5244: 5238:Chervonenkis 5229: 5228: 5225: 5104: 5093: 5091: 5063: 5004: 4881: 4870: 4869: 4866: 4862: 4860: 4837:for the set 4833:denotes the 4575:Suslin space 4570: 4540: 4489: 4269: 4065:: For every 4004: 3937: 3810: 3653: 3649: 3644: 3643: 3642:is called a 3606: 3605: 3451: 3184: 3100: 2961: 2901: 2755: 2726: 2704:of each set 2663: 2483: 2444: 2442: 2003: 1775: 1046: 842: 713: 712: 478: 225: 192:with common 119: 110:M-estimators 106:econometrics 93: 87: 58: 54: 48: 6443:. Springer. 6431:. Springer. 6245:: 485–510. 6215:: 837–870. 3779:A class is 3607:Definitions 1776:Therefore, 851:, in 1933. 510:of the set 6453:Categories 6193:: 421–424. 6045:References 5770:. Because 5701:, that is 2422: a.s. 2365: a.s. 2244:, we have 2164:such that 2111: a.s. 1347:such that 1160:such that 6387:. Wiley. 6309:1104.2097 5964:‖ 5957:− 5944:‖ 5826:∈ 5807:… 5736:nonatomic 5676:− 5668:∼ 5657:‖ 5650:− 5637:‖ 5610:∈ 5564:∈ 5546:∞ 5543:− 5431:∈ 5363:separable 5308:suffice: 5175:∈ 5169:∣ 5160:− 4976:∈ 4970:∣ 4959:− 4875:Talagrand 4782:∈ 4776:∣ 4712:Ω 4709:× 4655:↦ 4613:→ 4610:Ω 4584:Ω 4467:∞ 4464:→ 4432:→ 4424:ε 4397:− 4370:≥ 4325:∈ 4280:ε 4244:∞ 4241:→ 4209:→ 4201:ε 4174:− 4118:∈ 4073:ε 3912:∞ 3909:→ 3877:→ 3853:− 3755:∞ 3752:→ 3720:→ 3696:− 3560:∫ 3422:− 3388:∈ 3353:− 3290:− 3250:∈ 3215:− 3142:→ 3119:⊂ 3051:⊂ 2877:∈ 2832:∑ 2792:∫ 2772:↦ 2642:∈ 2590:∑ 2525:∈ 2461:∞ 2458:− 2418:ε 2415:≤ 2410:∞ 2406:‖ 2399:− 2386:‖ 2350:− 2347:ε 2344:≤ 2317:− 2272:… 2260:∈ 2229:≥ 2186:ε 2132:ε 2104:→ 2077:− 2032:… 2020:∈ 1949:− 1904:… 1892:∈ 1881:≤ 1861:− 1827:∈ 1811:∞ 1807:‖ 1800:− 1787:‖ 1744:− 1733:− 1716:− 1705:− 1659:− 1648:− 1624:≥ 1605:− 1544:− 1504:− 1487:− 1458:≤ 1439:− 1372:− 1358:∈ 1326:… 1314:∈ 1286:∈ 1257:… 1204:− 1187:− 1148:∞ 1124:− 1110:⋯ 1078:∞ 1075:− 993:≤ 968:⁡ 824:⟶ 802:− 766:∈ 750:∞ 746:‖ 739:− 726:‖ 449:≤ 443:≤ 428:≤ 415:∣ 361:∞ 320:∑ 251:… 154:… 116:Statement 6383:(1986). 6338:(1999). 6171:: 92–99. 6027:See also 5486:Examples 5240:, 1968) 4877:, 1987) 4863:Theorems 4408:‖ 4380:‖ 4185:‖ 4157:‖ 3864:‖ 3836:‖ 3707:‖ 3679:‖ 3650:GC class 3612:A class 3364:‖ 3336:‖ 3226:‖ 3198:‖ 6085:2237422 5990:and so 5230:Theorem 5094:Theorem 4871:Theorem 2700:is the 899:, then 855:Remarks 714:Theorem 506:is the 49:In the 6413:  6391:  6365:  6346:  6146:  6114:  6083:  5263:  5253:  5234:Vapnik 5098:Dudley 4470:  4458:  4438:  4312:  4247:  4235:  4215:  4105:  3915:  3903:  3883:  3831:  3797:  3787:  3758:  3746:  3726:  3674:  3630:  3620:  3587:  3574:  3545:  3522:  3504:  3484:  3460:  3452:where 3163:  3018:  3010:  2999:and a 2980:  2970:  2664:Where 2004:Since 1067:. Fix 1034:. See 1008:  943:  883:  870:  696:  690:  670:  657:  597:  575:  553:  547:  524:  518:  479:where 437:  412:  406:  391:  224:. The 53:, the 6304:arXiv 6081:JSTOR 5734:be a 4514:with 3809:is a 1043:Proof 1027:case. 6411:ISBN 6389:ISBN 6363:ISBN 6344:ISBN 6144:ISBN 6112:ISBN 5742:and 5730:Let 5519:and 5491:Let 5236:and 4882:Let 4421:> 4283:> 4198:> 4076:> 3648:(or 2183:< 1237:for 1132:< 1113:< 1107:< 1094:< 847:and 230:for 166:are 65:and 6314:doi 6281:doi 6247:doi 6217:doi 6108:279 6071:doi 6016:not 6014:is 5603:sup 5396:of 5163:inf 4569:is 4450:as 4363:sup 4316:sup 4227:as 4109:sup 4029:on 3962:on 3381:sup 3243:sup 2930:or 2253:max 2013:max 1885:max 1820:sup 1405:. 1025:iid 862:If 759:sup 682:to 649:of 170:in 6455:: 6379:; 6312:. 6277:16 6275:. 6267:; 6241:. 6213:15 6211:. 6189:. 6126:^ 6110:. 6079:. 6067:30 6065:. 6061:. 5887:, 5845:, 4538:. 4354:Pr 4147:Pr 3660:if 2954:. 2724:. 112:. 85:. 6419:. 6397:. 6371:. 6352:. 6320:. 6316:: 6306:: 6287:. 6283:: 6253:. 6249:: 6243:4 6223:. 6219:: 6191:4 6169:4 6152:. 6120:. 6087:. 6073:: 6022:. 6020:P 6000:C 5978:1 5975:= 5969:C 5960:P 5952:n 5948:P 5924:1 5921:= 5918:) 5913:n 5909:A 5905:( 5900:n 5896:P 5875:0 5872:= 5869:) 5864:n 5860:A 5856:( 5853:P 5831:C 5823:} 5818:n 5814:X 5810:, 5804:, 5799:1 5795:X 5791:{ 5788:= 5783:n 5779:A 5768:S 5752:C 5740:S 5732:P 5711:C 5687:2 5683:/ 5679:1 5672:n 5662:C 5653:P 5645:n 5641:P 5632:) 5629:A 5626:, 5623:S 5620:( 5615:P 5607:P 5590:, 5574:} 5569:R 5561:t 5558:: 5555:] 5552:t 5549:, 5540:( 5537:{ 5534:= 5529:C 5506:R 5502:= 5499:S 5481:. 5467:0 5461:C 5436:C 5428:C 5406:C 5380:0 5376:C 5347:C 5321:C 5294:C 5279:. 5258:C 5232:( 5207:F 5185:} 5180:F 5172:f 5166:f 5157:f 5154:{ 5151:= 5146:0 5140:F 5115:F 5096:( 5073:F 5045:0 5039:F 5014:F 4986:} 4981:F 4973:f 4967:f 4963:P 4956:f 4953:{ 4950:= 4945:0 4939:F 4915:P 4892:F 4873:( 4857:. 4845:C 4819:C 4814:1 4792:} 4787:C 4779:C 4771:C 4766:1 4761:{ 4739:C 4724:. 4704:X 4682:) 4679:x 4676:( 4673:] 4670:) 4667:y 4664:( 4661:T 4658:[ 4652:) 4649:y 4646:, 4643:x 4640:( 4618:F 4607:: 4604:T 4555:F 4524:F 4500:C 4473:. 4461:n 4435:0 4428:) 4415:C 4401:P 4392:m 4387:P 4373:n 4367:m 4358:( 4349:) 4346:A 4343:, 4338:S 4333:( 4329:P 4321:P 4298:, 4286:0 4250:. 4238:n 4212:0 4205:) 4192:C 4178:P 4169:n 4164:P 4151:( 4142:) 4139:A 4136:, 4131:S 4126:( 4122:P 4114:P 4091:, 4079:0 4053:) 4050:A 4047:, 4042:S 4037:( 4016:P 3998:. 3986:) 3983:A 3980:, 3975:S 3970:( 3949:P 3918:. 3906:n 3880:0 3871:C 3857:P 3848:n 3843:P 3815:P 3792:C 3761:. 3749:n 3723:0 3714:C 3700:P 3691:n 3686:P 3658:P 3625:C 3590:, 3583:P 3578:d 3571:f 3565:S 3556:= 3553:f 3549:P 3519:f 3514:n 3509:P 3481:) 3478:C 3475:( 3470:n 3465:P 3435:| 3430:f 3426:P 3419:f 3414:n 3409:P 3402:| 3393:F 3385:f 3377:= 3371:F 3357:P 3348:n 3343:P 3309:| 3304:) 3301:C 3298:( 3294:P 3287:) 3284:C 3281:( 3276:n 3271:P 3264:| 3255:C 3247:C 3239:= 3233:C 3219:P 3210:n 3205:P 3168:} 3153:f 3150:, 3146:R 3137:S 3132:: 3129:f 3124:{ 3114:F 3084:} 3077:S 3067:C 3064:: 3061:C 3056:{ 3046:C 3021:. 3014:P 2997:A 2975:S 2940:C 2916:F 2887:. 2882:F 2874:f 2871:, 2868:) 2863:i 2859:X 2855:( 2852:f 2847:n 2842:1 2839:= 2836:i 2826:n 2823:1 2818:= 2813:n 2809:P 2805:d 2801:f 2796:S 2788:= 2785:f 2780:n 2776:P 2769:f 2756:f 2740:n 2736:P 2712:C 2688:) 2685:x 2682:( 2677:C 2673:I 2647:C 2639:C 2636:, 2633:) 2628:i 2624:X 2620:( 2615:C 2611:I 2605:n 2600:1 2597:= 2594:i 2584:n 2581:1 2576:= 2573:) 2570:C 2567:( 2562:n 2558:P 2535:. 2530:C 2522:C 2496:C 2484:C 2470:] 2467:x 2464:, 2455:( 2402:F 2394:n 2390:F 2361:m 2357:/ 2353:1 2340:| 2336:) 2331:j 2327:x 2323:( 2320:F 2314:) 2309:j 2305:x 2301:( 2296:n 2292:F 2287:| 2281:} 2278:m 2275:, 2269:, 2266:1 2263:{ 2257:j 2232:N 2226:n 2206:N 2180:m 2176:/ 2172:1 2152:m 2107:0 2100:| 2096:) 2091:j 2087:x 2083:( 2080:F 2074:) 2069:j 2065:x 2061:( 2056:n 2052:F 2047:| 2041:} 2038:m 2035:, 2029:, 2026:1 2023:{ 2017:j 1989:. 1984:m 1981:1 1976:+ 1972:| 1968:) 1963:j 1959:x 1955:( 1952:F 1946:) 1941:j 1937:x 1933:( 1928:n 1924:F 1919:| 1913:} 1910:m 1907:, 1901:, 1898:1 1895:{ 1889:j 1877:| 1873:) 1870:x 1867:( 1864:F 1858:) 1855:x 1852:( 1847:n 1843:F 1838:| 1831:R 1824:x 1816:= 1803:F 1795:n 1791:F 1757:. 1752:m 1749:1 1741:) 1736:1 1730:j 1726:x 1722:( 1719:F 1713:) 1708:1 1702:j 1698:x 1694:( 1689:n 1685:F 1681:= 1678:) 1673:j 1669:x 1665:( 1662:F 1656:) 1651:1 1645:j 1641:x 1637:( 1632:n 1628:F 1617:) 1614:x 1611:( 1608:F 1602:) 1599:x 1596:( 1591:n 1587:F 1579:, 1574:m 1571:1 1566:+ 1563:) 1558:j 1554:x 1550:( 1547:F 1541:) 1536:j 1532:x 1528:( 1523:n 1519:F 1515:= 1512:) 1507:1 1501:j 1497:x 1493:( 1490:F 1484:) 1479:j 1475:x 1471:( 1466:n 1462:F 1451:) 1448:x 1445:( 1442:F 1436:) 1433:x 1430:( 1425:n 1421:F 1393:] 1388:j 1384:x 1380:, 1375:1 1369:j 1365:x 1361:[ 1355:x 1335:} 1332:m 1329:, 1323:, 1320:1 1317:{ 1311:j 1290:R 1283:x 1263:m 1260:, 1254:, 1251:1 1248:= 1245:j 1223:m 1220:1 1215:= 1212:) 1207:1 1201:j 1197:x 1193:( 1190:F 1184:) 1179:j 1175:x 1171:( 1168:F 1145:= 1140:m 1136:x 1127:1 1121:m 1117:x 1102:1 1098:x 1089:0 1085:x 1081:= 1055:X 1011:. 1003:] 996:x 988:1 984:X 979:1 973:[ 963:E 958:= 955:) 952:x 949:( 946:F 923:) 920:x 917:( 912:n 908:F 878:n 874:X 827:0 819:| 814:) 811:x 808:( 805:F 799:) 796:x 793:( 788:n 784:F 778:| 770:R 763:x 755:= 742:F 734:n 730:F 699:. 693:F 665:n 661:F 626:) 623:x 620:( 617:F 594:) 591:x 588:( 583:n 579:F 556:, 550:x 527:. 521:C 492:C 488:I 462:| 456:} 452:n 446:i 440:1 434:, 431:x 423:i 419:X 409:i 402:{ 396:| 386:n 383:1 378:= 375:) 372:x 369:( 364:) 358:, 353:i 349:X 345:[ 341:I 335:n 330:1 327:= 324:i 314:n 311:1 306:= 303:) 300:x 297:( 292:n 288:F 262:n 258:X 254:, 248:, 243:1 239:X 212:) 209:x 206:( 203:F 179:R 151:, 146:2 142:X 138:, 133:1 129:X 20:)

Index

Glivenko-Cantelli theorem

Donsker–Skorokhod–Kolmogorov theorem

theory of probability
Valery Ivanovich Glivenko
Francesco Paolo Cantelli
empirical distribution function
independent and identically distributed
converges uniformly
almost surely
empirical measures
Vapnik–Chervonenkis theory
machine learning
econometrics
M-estimators
independent and identically distributed random variables
cumulative distribution function
empirical distribution function
indicator function
almost surely
law of large numbers
uniform convergence
Valery Glivenko
Francesco Cantelli
ergodic process
iid
law of the iterated logarithm
asymptotic properties of the empirical distribution function
empirical measure

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.