696:
856:
577:
739:
524:
1307:
1201:
691:{\displaystyle \forall \varepsilon \quad \exists N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ such that }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }}
396:
851:{\displaystyle \forall \varepsilon ,\delta \quad \exists N_{\varepsilon ,\delta }\quad {\text{ such that }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon ,\delta }}
312:
1501:
1413:
966:
147:
939:
1061:
1025:
734:
572:
1340:
1102:
986:
919:
899:
879:
433:
1212:
1110:
1562:
1594:
1554:
1527:
331:
52:
1579:
988:. In a sense, this means that the sequence must be bounded, with a bound that gets smaller as the sample size increases.
1589:
1584:
224:
56:
1425:
51:
deals with the convergence of sequences or sets of ordinary numbers, the order in probability notation deals with
1416:
968:). On the other hand, for convergence, the statement has to hold not only for one, but for any (arbitrary small)
1345:
944:
96:
534:
The difference between the definitions is subtle. If one uses the definition of the limit, one gets:
924:
1063:, i.e. convergence in probability implies stochastic boundedness. But the reverse does not hold.
36:
32:
519:{\displaystyle P\left(|{\frac {X_{n}}{a_{n}}}|>M\right)<\varepsilon ,\;\forall \;n>N.}
1558:
1550:
1523:
1030:
994:
703:
541:
1312:
1074:
971:
904:
884:
864:
1302:{\displaystyle a_{n}^{-2}\operatorname {var} (X_{n})=\operatorname {var} (a_{n}^{-1}X_{n})}
1542:
48:
40:
1196:{\displaystyle X_{n}-E(X_{n})=O_{p}\left({\sqrt {\operatorname {var} (X_{n})}}\right)}
1573:
1538:
881:: for stochastic boundedness, it suffices that there exists one (arbitrary large)
44:
17:
1104:
is a stochastic sequence such that each element has finite variance, then
391:{\displaystyle X_{n}=O_{p}(a_{n}){\text{ as }}n\to \infty }
1428:
1348:
1315:
1215:
1113:
1077:
1033:
997:
974:
947:
927:
907:
887:
867:
742:
706:
580:
544:
436:
334:
227:
99:
1495:
1407:
1334:
1301:
1195:
1096:
1055:
1019:
980:
960:
933:
913:
893:
873:
850:
728:
690:
566:
518:
390:
306:
141:
229:
170:approaches an appropriate limit. Equivalently,
415:is stochastically bounded. That is, for any
307:{\displaystyle \lim _{n\to \infty }P\left=0,}
8:
1496:{\displaystyle X_{n}-E(X_{n})=o_{p}(a_{n}).}
90:, which need not be discrete), the notation
1520:The Oxford Dictionary of Statistical Terms
1408:{\displaystyle a_{n}^{-1}(X_{n}-E(X_{n}))}
503:
499:
1481:
1468:
1452:
1433:
1427:
1393:
1374:
1358:
1353:
1347:
1323:
1314:
1290:
1277:
1272:
1247:
1225:
1220:
1214:
1178:
1163:
1153:
1137:
1118:
1112:
1085:
1076:
1038:
1032:
1002:
996:
973:
952:
946:
926:
906:
886:
866:
836:
802:
796:
787:
776:
763:
741:
711:
705:
682:
653:
641:
635:
626:
615:
608:
595:
579:
549:
543:
474:
466:
456:
450:
445:
435:
374:
365:
352:
339:
333:
272:
262:
256:
232:
226:
130:
117:
104:
98:
1511:
55:, where convergence is in the sense of
53:convergence of sets of random variables
1206:(see Theorem 14.4-1 in Bishop et al.)
961:{\displaystyle \delta _{\varepsilon }}
7:
1415:converges to zero in probability by
991:This suggests that if a sequence is
166:converges to zero in probability as
79:and corresponding set of constants
68:Small o: convergence in probability
1309:is a null sequence for a sequence
823:
756:
743:
669:
588:
581:
500:
385:
239:
142:{\displaystyle X_{n}=o_{p}(a_{n})}
25:
530:Comparison of the two definitions
901:to satisfy the inequality, and
822:
775:
755:
668:
614:
587:
1547:Discrete multivariate analysis
1487:
1474:
1458:
1445:
1402:
1399:
1386:
1367:
1329:
1316:
1296:
1265:
1253:
1240:
1184:
1171:
1143:
1130:
1091:
1078:
1050:
1044:
1014:
1008:
921:is allowed to be dependent on
813:
803:
788:
784:
723:
717:
659:
642:
627:
623:
561:
555:
475:
446:
419:> 0, there exists a finite
382:
371:
358:
236:
136:
123:
72:For a set of random variables
1:
401:means that the set of values
321:Big O: stochastic boundedness
152:means that the set of values
934:{\displaystyle \varepsilon }
861:The difference lies in the
1611:
57:convergence in probability
39:in direct parallel to the
1595:Convergence (mathematics)
1056:{\displaystyle O_{p}(1)}
1020:{\displaystyle o_{p}(1)}
729:{\displaystyle o_{p}(1)}
567:{\displaystyle O_{p}(1)}
1335:{\displaystyle (a_{n})}
1097:{\displaystyle (X_{n})}
981:{\displaystyle \delta }
914:{\displaystyle \delta }
894:{\displaystyle \delta }
874:{\displaystyle \delta }
1541:, Stephen E.Fienberg,
1497:
1417:Chebyshev's inequality
1409:
1342:of real numbers, then
1336:
1303:
1197:
1098:
1057:
1021:
982:
962:
935:
915:
895:
875:
852:
730:
692:
568:
520:
392:
317:for every positive ε.
308:
143:
1580:Mathematical notation
1498:
1410:
1337:
1304:
1198:
1099:
1058:
1022:
983:
963:
936:
916:
896:
876:
853:
778: such that
731:
693:
617: such that
569:
521:
393:
309:
144:
1426:
1346:
1313:
1213:
1111:
1075:
1031:
995:
972:
945:
925:
905:
885:
865:
740:
704:
578:
542:
434:
423:> 0 and a finite
332:
225:
194:) can be written as
97:
43:that is standard in
31:notation is used in
29:order in probability
1366:
1285:
1233:
1590:Statistical theory
1585:Probability theory
1493:
1405:
1349:
1332:
1299:
1268:
1216:
1193:
1094:
1053:
1017:
978:
958:
931:
911:
891:
871:
848:
726:
688:
564:
516:
388:
304:
243:
139:
37:statistical theory
33:probability theory
1563:978-0-387-72805-6
1518:Dodge, Y. (2003)
1187:
779:
618:
472:
427:> 0 such that
377:
278:
228:
86:(both indexed by
16:(Redirected from
1602:
1565:
1539:Yvonne M. Bishop
1536:
1530:
1516:
1502:
1500:
1499:
1494:
1486:
1485:
1473:
1472:
1457:
1456:
1438:
1437:
1414:
1412:
1411:
1406:
1398:
1397:
1379:
1378:
1365:
1357:
1341:
1339:
1338:
1333:
1328:
1327:
1308:
1306:
1305:
1300:
1295:
1294:
1284:
1276:
1252:
1251:
1232:
1224:
1202:
1200:
1199:
1194:
1192:
1188:
1183:
1182:
1164:
1158:
1157:
1142:
1141:
1123:
1122:
1103:
1101:
1100:
1095:
1090:
1089:
1062:
1060:
1059:
1054:
1043:
1042:
1026:
1024:
1023:
1018:
1007:
1006:
987:
985:
984:
979:
967:
965:
964:
959:
957:
956:
940:
938:
937:
932:
920:
918:
917:
912:
900:
898:
897:
892:
880:
878:
877:
872:
857:
855:
854:
849:
847:
846:
806:
801:
800:
791:
780:
777:
774:
773:
735:
733:
732:
727:
716:
715:
697:
695:
694:
689:
687:
686:
658:
657:
645:
640:
639:
630:
619:
616:
613:
612:
600:
599:
573:
571:
570:
565:
554:
553:
525:
523:
522:
517:
489:
485:
478:
473:
471:
470:
461:
460:
451:
449:
397:
395:
394:
389:
378:
375:
370:
369:
357:
356:
344:
343:
313:
311:
310:
305:
294:
290:
283:
279:
277:
276:
267:
266:
257:
242:
148:
146:
145:
140:
135:
134:
122:
121:
109:
108:
21:
1610:
1609:
1605:
1604:
1603:
1601:
1600:
1599:
1570:
1569:
1568:
1545:. (1975, 2007)
1543:Paul W. Holland
1537:
1533:
1517:
1513:
1509:
1477:
1464:
1448:
1429:
1424:
1423:
1389:
1370:
1344:
1343:
1319:
1311:
1310:
1286:
1243:
1211:
1210:
1174:
1159:
1149:
1133:
1114:
1109:
1108:
1081:
1073:
1072:
1069:
1034:
1029:
1028:
998:
993:
992:
970:
969:
948:
943:
942:
923:
922:
903:
902:
883:
882:
863:
862:
832:
792:
759:
738:
737:
707:
702:
701:
678:
649:
631:
604:
591:
576:
575:
545:
540:
539:
532:
462:
452:
444:
440:
432:
431:
413:
406:
361:
348:
335:
330:
329:
323:
268:
258:
252:
251:
247:
223:
222:
217:
211:
202:
193:
184:
178:
164:
157:
126:
113:
100:
95:
94:
84:
77:
70:
65:
23:
22:
18:Op (statistics)
15:
12:
11:
5:
1608:
1606:
1598:
1597:
1592:
1587:
1582:
1572:
1571:
1567:
1566:
1531:
1510:
1508:
1505:
1504:
1503:
1492:
1489:
1484:
1480:
1476:
1471:
1467:
1463:
1460:
1455:
1451:
1447:
1444:
1441:
1436:
1432:
1404:
1401:
1396:
1392:
1388:
1385:
1382:
1377:
1373:
1369:
1364:
1361:
1356:
1352:
1331:
1326:
1322:
1318:
1298:
1293:
1289:
1283:
1280:
1275:
1271:
1267:
1264:
1261:
1258:
1255:
1250:
1246:
1242:
1239:
1236:
1231:
1228:
1223:
1219:
1209:If, moreover,
1204:
1203:
1191:
1186:
1181:
1177:
1173:
1170:
1167:
1162:
1156:
1152:
1148:
1145:
1140:
1136:
1132:
1129:
1126:
1121:
1117:
1093:
1088:
1084:
1080:
1068:
1065:
1052:
1049:
1046:
1041:
1037:
1016:
1013:
1010:
1005:
1001:
977:
955:
951:
930:
910:
890:
870:
859:
858:
845:
842:
839:
835:
831:
828:
825:
821:
818:
815:
812:
809:
805:
799:
795:
790:
786:
783:
772:
769:
766:
762:
758:
754:
751:
748:
745:
725:
722:
719:
714:
710:
698:
685:
681:
677:
674:
671:
667:
664:
661:
656:
652:
648:
644:
638:
634:
629:
625:
622:
611:
607:
603:
598:
594:
590:
586:
583:
563:
560:
557:
552:
548:
531:
528:
527:
526:
515:
512:
509:
506:
502:
498:
495:
492:
488:
484:
481:
477:
469:
465:
459:
455:
448:
443:
439:
411:
404:
399:
398:
387:
384:
381:
376: as
373:
368:
364:
360:
355:
351:
347:
342:
338:
322:
319:
315:
314:
303:
300:
297:
293:
289:
286:
282:
275:
271:
265:
261:
255:
250:
246:
241:
238:
235:
231:
213:
212: = o
207:
198:
189:
180:
174:
162:
155:
150:
149:
138:
133:
129:
125:
120:
116:
112:
107:
103:
82:
75:
69:
66:
64:
61:
49:big-O notation
41:big-O notation
24:
14:
13:
10:
9:
6:
4:
3:
2:
1607:
1596:
1593:
1591:
1588:
1586:
1583:
1581:
1578:
1577:
1575:
1564:
1560:
1556:
1555:0-387-72805-8
1552:
1548:
1544:
1540:
1535:
1532:
1529:
1528:0-19-920613-9
1525:
1521:
1515:
1512:
1506:
1490:
1482:
1478:
1469:
1465:
1461:
1453:
1449:
1442:
1439:
1434:
1430:
1422:
1421:
1420:
1418:
1394:
1390:
1383:
1380:
1375:
1371:
1362:
1359:
1354:
1350:
1324:
1320:
1291:
1287:
1281:
1278:
1273:
1269:
1262:
1259:
1256:
1248:
1244:
1237:
1234:
1229:
1226:
1221:
1217:
1207:
1189:
1179:
1175:
1168:
1165:
1160:
1154:
1150:
1146:
1138:
1134:
1127:
1124:
1119:
1115:
1107:
1106:
1105:
1086:
1082:
1066:
1064:
1047:
1039:
1035:
1027:, then it is
1011:
1003:
999:
989:
975:
953:
949:
928:
908:
888:
868:
843:
840:
837:
833:
829:
826:
819:
816:
810:
807:
797:
793:
781:
770:
767:
764:
760:
752:
749:
746:
720:
712:
708:
699:
683:
679:
675:
672:
665:
662:
654:
650:
646:
636:
632:
620:
609:
605:
601:
596:
592:
584:
558:
550:
546:
537:
536:
535:
529:
513:
510:
507:
504:
496:
493:
490:
486:
482:
479:
467:
463:
457:
453:
441:
437:
430:
429:
428:
426:
422:
418:
414:
407:
379:
366:
362:
353:
349:
345:
340:
336:
328:
327:
326:
325:The notation
320:
318:
301:
298:
295:
291:
287:
284:
280:
273:
269:
263:
259:
253:
248:
244:
233:
221:
220:
219:
216:
210:
206:
201:
197:
192:
188:
183:
177:
173:
169:
165:
158:
131:
127:
118:
114:
110:
105:
101:
93:
92:
91:
89:
85:
78:
67:
62:
60:
58:
54:
50:
47:. Where the
46:
42:
38:
34:
30:
19:
1549:, Springer.
1546:
1534:
1519:
1514:
1208:
1205:
1070:
990:
860:
533:
424:
420:
416:
409:
402:
400:
324:
316:
214:
208:
204:
199:
195:
190:
186:
181:
175:
171:
167:
160:
153:
151:
87:
80:
73:
71:
28:
26:
941:(hence the
63:Definitions
45:mathematics
1574:Categories
1507:References
218:(1), i.e.
1440:−
1381:−
1360:−
1279:−
1263:
1238:
1227:−
1169:
1125:−
976:δ
954:ε
950:δ
929:ε
909:δ
889:δ
869:δ
844:δ
838:ε
824:∀
820:ε
817:≤
811:δ
808:≥
771:δ
765:ε
757:∃
753:δ
747:ε
744:∀
684:ε
670:∀
666:ε
663:≤
655:ε
651:δ
647:≥
610:ε
606:δ
597:ε
589:∃
585:ε
582:∀
501:∀
494:ε
386:∞
383:→
288:ε
285:≥
240:∞
237:→
1522:, OUP.
1067:Example
1561:
1553:
1526:
700:Small
1419:, so
1559:ISBN
1551:ISBN
1524:ISBN
830:>
676:>
538:Big
508:>
491:<
480:>
35:and
27:The
1260:var
1235:var
1166:var
1071:If
230:lim
179:= o
1576::
1557:,
736::
574::
59:.
1491:.
1488:)
1483:n
1479:a
1475:(
1470:p
1466:o
1462:=
1459:)
1454:n
1450:X
1446:(
1443:E
1435:n
1431:X
1403:)
1400:)
1395:n
1391:X
1387:(
1384:E
1376:n
1372:X
1368:(
1363:1
1355:n
1351:a
1330:)
1325:n
1321:a
1317:(
1297:)
1292:n
1288:X
1282:1
1274:n
1270:a
1266:(
1257:=
1254:)
1249:n
1245:X
1241:(
1230:2
1222:n
1218:a
1190:)
1185:)
1180:n
1176:X
1172:(
1161:(
1155:p
1151:O
1147:=
1144:)
1139:n
1135:X
1131:(
1128:E
1120:n
1116:X
1092:)
1087:n
1083:X
1079:(
1051:)
1048:1
1045:(
1040:p
1036:O
1015:)
1012:1
1009:(
1004:p
1000:o
841:,
834:N
827:n
814:)
804:|
798:n
794:X
789:|
785:(
782:P
768:,
761:N
750:,
724:)
721:1
718:(
713:p
709:o
680:N
673:n
660:)
643:|
637:n
633:X
628:|
624:(
621:P
602:,
593:N
562:)
559:1
556:(
551:p
547:O
514:.
511:N
505:n
497:,
487:)
483:M
476:|
468:n
464:a
458:n
454:X
447:|
442:(
438:P
425:N
421:M
417:ε
412:n
410:a
408:/
405:n
403:X
380:n
372:)
367:n
363:a
359:(
354:p
350:O
346:=
341:n
337:X
302:,
299:0
296:=
292:]
281:|
274:n
270:a
264:n
260:X
254:|
249:[
245:P
234:n
215:p
209:n
205:a
203:/
200:n
196:X
191:n
187:a
185:(
182:p
176:n
172:X
168:n
163:n
161:a
159:/
156:n
154:X
137:)
132:n
128:a
124:(
119:p
115:o
111:=
106:n
102:X
88:n
83:n
81:a
76:n
74:X
20:)
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.