265:
33:
4223:
3742:
3758:
3184:
1256:
2373:
1565:
905:
2544:
3456:
3449:
2603:
1109:
2048:
558:
1467:
4218:{\displaystyle {\begin{aligned}\mathbb {E} _{Y}(\mathbb {I} _{\{y\neq {\hat {y}}\}})&=\mathbb {E} _{X}\mathbb {E} _{Y|X}\left(\mathbb {I} _{\{y\neq {\hat {y}}\}}|X=x\right)\\&=\mathbb {E} \left\end{aligned}}}
793:
1046:
786:
2442:
2019:
417:
4315:
693:
3763:
3461:
3197:
2608:
2053:
1828:
957:
3192:
1923:
1431:
1462:
2595:
2437:
1620:
1364:
3737:{\displaystyle {\begin{aligned}R(h^{*})&=\mathbb {E} _{X}\\&={\frac {1}{2}}-\mathbb {E} _{X}\\&={\frac {1}{2}}-{\frac {1}{2}}\mathbb {E} \end{aligned}}}
1647:
1326:
1080:
605:
578:
358:
2408:
1299:
478:
2043:
1670:
1100:
984:
457:
437:
295:
909:
In practice, as in most of statistics, the difficulties and subtleties are associated with modeling the probability distributions effectively—in this case,
86:
722:
3179:{\displaystyle {\begin{aligned}R(h)-R^{*}&=R(h)-R(h^{*})\\&=\mathbb {E} _{X}\\&=\mathbb {E} _{X}\\&=2\mathbb {E} _{X}\end{aligned}}}
1251:{\displaystyle C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatorname {argmax} }}\operatorname {P} (Y=r)\prod _{i=1}^{d}P_{r}(x_{i}).}
168:
2368:{\displaystyle {\begin{aligned}R(h)&=\mathbb {E} _{XY}\left\\&=\mathbb {E} _{X}\mathbb {E} _{Y|X}\\&=\mathbb {E} _{X}\end{aligned}}}
1048:
Thus this non-negative quantity is important for assessing the performance of different classification techniques. A classifier is said to be
989:
4415:
1929:
4358:
288:
251:
1560:{\displaystyle {\mathcal {h}}^{*}(x)={\begin{cases}1&{\text{if }}\eta (x)\geqslant 0.5,\\0&{\text{otherwise.}}\end{cases}}}
178:
900:{\displaystyle C^{\text{Bayes}}(x)={\underset {r\in \{1,2,\dots ,K\}}{\operatorname {argmax} }}\operatorname {P} (Y=r\mid X=x).}
81:
204:
363:
142:
4230:
633:
2539:{\displaystyle h(x)={\begin{cases}1&{\text{if }}\eta (x)\geqslant 1-\eta (x),\\0&{\text{otherwise.}}\end{cases}}}
4410:
281:
173:
111:
1679:
912:
3751:
The general case that the Bayes classifier minimises classification error when each element can belong to either of
960:
309:
163:
132:
1834:
225:
106:
1049:
460:
246:
158:
4330:
1369:
1103:
137:
1436:
40:
264:
4227:
This is minimised by simultaneously minimizing all the terms of the expectation using the classifier
220:
101:
71:
3444:{\displaystyle {\begin{aligned}R(h^{*})&=\mathbb {E} _{X}\\&=\mathbb {E} _{X}\end{aligned}}}
2551:
2466:
2413:
1576:
1502:
2376:
611:
52:
44:
24:
269:
194:
66:
96:
1331:
4354:
712:
199:
76:
48:
1052:
if the excess risk converges to zero as the size of the training data set tends to infinity.
4387:
1266:
91:
1625:
1304:
1058:
583:
563:
331:
2384:
1275:
127:
2028:
1655:
1085:
969:
442:
422:
4404:
241:
317:
4375:
553:{\displaystyle (X\mid Y=r)\sim P_{r}\quad {\text{for}}\quad r=1,2,\dots ,K}
630:
actually was. In theoretical terms, a classifier is a measurable function
320:
of misclassification of all classifiers using the same set of features.
32:
4391:
1366:. Let the posterior probability of a point belonging to class 1 be
1041:{\displaystyle {\mathcal {R}}(C)-{\mathcal {R}}(C^{\text{Bayes}}).}
781:{\displaystyle {\mathcal {R}}(C)=\operatorname {P} \{C(X)\neq Y\}.}
2014:{\displaystyle R^{*}={\frac {1}{2}}-{\frac {1}{2}}\mathbb {E} }
1328:, all possible classes to which the points can be classified
439:
is the class label of an element whose features are given by
4376:"Strong universal consistency of neural network classifiers"
1474:
1443:
1014:
995:
728:
2532:
1553:
3755:
categories proceeds by towering expectations as follows.
986:(possibly depending on some training data) is defined as
2548:
Therefore the minimum possible risk is the Bayes risk,
412:{\displaystyle \mathbb {R} ^{d}\times \{1,2,\dots ,K\}}
4310:{\displaystyle h(x)=k,\quad \arg \max _{k}Pr(Y=k|X=x)}
688:{\displaystyle C:\mathbb {R} ^{d}\to \{1,2,\dots ,K\}}
4233:
3761:
3459:
3195:
2606:
2554:
2445:
2416:
2387:
2051:
2031:
1932:
1837:
1682:
1658:
1628:
1579:
1470:
1439:
1372:
1334:
1307:
1278:
1112:
1088:
1061:
992:
972:
915:
796:
725:
636:
586:
566:
481:
445:
425:
366:
334:
4309:
4217:
3736:
3443:
3178:
2589:
2538:
2431:
2402:
2367:
2037:
2013:
1917:
1822:
1664:
1641:
1614:
1559:
1456:
1425:
1358:
1320:
1293:
1250:
1094:
1074:
1040:
978:
951:
899:
780:
687:
599:
572:
552:
451:
431:
411:
352:
4349:Devroye, L.; Gyorfi, L. & Lugosi, G. (1996).
1823:{\displaystyle R(h)-R^{*}=2\mathbb {E} _{X}\left}
622:a guess or estimate of what the unobserved label
4263:
4111:
4019:
3933:
3588:
3505:
3392:
1868:
959:. The Bayes classifier is a useful benchmark in
1265:Proof that the Bayes classifier is optimal and
952:{\displaystyle \operatorname {P} (Y=r\mid X=x)}
4351:A probabilistic theory of pattern recognition
711:). The probability of misclassification, or
289:
8:
4201:
4150:
4097:
4058:
4011:
3972:
3889:
3868:
3809:
3788:
1353:
1341:
1171:
1147:
855:
831:
772:
751:
682:
658:
406:
382:
1918:{\displaystyle R^{*}=\mathbb {E} _{X}\left}
2375:where the second line was derived through
296:
282:
15:
4290:
4266:
4232:
4154:
4153:
4149:
4145:
4144:
4126:
4062:
4061:
4057:
4053:
4052:
4034:
3976:
3975:
3971:
3967:
3966:
3948:
3924:
3923:
3894:
3878:
3877:
3867:
3863:
3862:
3846:
3842:
3838:
3837:
3830:
3826:
3825:
3798:
3797:
3787:
3783:
3782:
3772:
3768:
3767:
3762:
3760:
3722:
3696:
3689:
3688:
3678:
3665:
3626:
3612:
3579:
3575:
3574:
3560:
3496:
3492:
3491:
3474:
3460:
3458:
3383:
3379:
3378:
3330:
3326:
3325:
3269:
3259:
3255:
3254:
3232:
3228:
3227:
3210:
3196:
3194:
3147:
3122:
3118:
3117:
3111:
3088:
3079:
3075:
3074:
3035:
3010:
3006:
3005:
2999:
2973:
2964:
2960:
2959:
2917:
2907:
2903:
2902:
2846:
2836:
2832:
2831:
2784:
2780:
2779:
2720:
2716:
2715:
2693:
2689:
2688:
2668:
2630:
2607:
2605:
2578:
2559:
2553:
2524:
2474:
2461:
2444:
2415:
2386:
2327:
2323:
2322:
2263:
2259:
2258:
2236:
2232:
2231:
2186:
2182:
2181:
2167:
2163:
2159:
2158:
2151:
2147:
2146:
2100:
2096:
2095:
2081:
2077:
2076:
2052:
2050:
2030:
2003:
1977:
1970:
1969:
1959:
1946:
1937:
1931:
1857:
1853:
1852:
1842:
1836:
1793:
1768:
1764:
1763:
1754:
1731:
1720:
1716:
1715:
1702:
1681:
1657:
1633:
1627:
1606:
1590:
1578:
1545:
1510:
1497:
1479:
1473:
1472:
1469:
1448:
1442:
1441:
1438:
1406:
1371:
1333:
1312:
1306:
1277:
1236:
1223:
1213:
1202:
1135:
1117:
1111:
1087:
1066:
1060:
1026:
1013:
1012:
994:
993:
991:
971:
914:
819:
801:
795:
727:
726:
724:
649:
645:
644:
635:
614:is a rule that assigns to an observation
591:
585:
565:
517:
510:
480:
444:
424:
373:
369:
368:
365:
333:
966:The excess risk of a general classifier
169:Integrated nested Laplace approximations
4380:IEEE Transactions on Information Theory
4341:
1102:to be mutually independent, we get the
580:" means "is distributed as", and where
233:
212:
186:
150:
119:
58:
23:
316:is the classifier having the smallest
7:
1569:Then we have the following results:
1426:{\displaystyle \eta (x)=Pr(Y=1|X=x)}
607:denotes a probability distribution.
2417:
1457:{\displaystyle {\mathcal {h}}^{*}}
1177:
916:
861:
745:
14:
2025:Proof of (a): For any classifier
1269:is minimal proceeds as follows.
263:
179:Approximate Bayesian computation
31:
4374:Farago, A.; Lugosi, G. (1993).
4255:
695:, with the interpretation that
522:
516:
205:Maximum a posteriori estimation
4304:
4291:
4278:
4243:
4237:
4159:
4140:
4127:
4114:
4067:
4048:
4035:
4022:
3981:
3962:
3949:
3936:
3895:
3883:
3847:
3814:
3803:
3778:
3727:
3723:
3713:
3707:
3697:
3693:
3652:
3649:
3646:
3640:
3603:
3597:
3591:
3585:
3547:
3544:
3541:
3535:
3520:
3514:
3508:
3502:
3480:
3467:
3434:
3431:
3428:
3422:
3407:
3401:
3395:
3389:
3364:
3348:
3342:
3321:
3318:
3312:
3300:
3281:
3275:
3250:
3244:
3238:
3216:
3203:
3169:
3159:
3153:
3137:
3131:
3112:
3102:
3096:
3089:
3085:
3057:
3047:
3041:
3025:
3019:
3000:
2990:
2984:
2974:
2970:
2945:
2929:
2923:
2898:
2895:
2889:
2877:
2858:
2852:
2827:
2821:
2799:
2793:
2775:
2772:
2766:
2754:
2735:
2729:
2711:
2705:
2699:
2674:
2661:
2652:
2646:
2620:
2614:
2590:{\displaystyle R^{*}=R(h^{*})}
2584:
2571:
2509:
2503:
2488:
2482:
2455:
2449:
2432:{\displaystyle \forall x\in X}
2397:
2391:
2358:
2342:
2336:
2318:
2315:
2309:
2297:
2278:
2272:
2254:
2248:
2242:
2217:
2201:
2195:
2177:
2168:
2115:
2109:
2065:
2059:
2008:
2004:
1994:
1988:
1978:
1974:
1907:
1904:
1898:
1883:
1877:
1871:
1805:
1799:
1783:
1777:
1755:
1745:
1739:
1732:
1692:
1686:
1615:{\displaystyle R(h^{*})=R^{*}}
1596:
1583:
1524:
1518:
1491:
1485:
1420:
1407:
1394:
1382:
1376:
1288:
1282:
1242:
1229:
1195:
1183:
1129:
1123:
1032:
1019:
1006:
1000:
946:
922:
891:
867:
813:
807:
763:
757:
739:
733:
655:
500:
482:
347:
335:
1:
112:Principle of maximum entropy
1272:Define the variables: Risk
1055:Considering the components
82:Bernstein–von Mises theorem
4432:
4416:Statistical classification
961:statistical classification
310:statistical classification
1359:{\displaystyle Y=\{0,1\}}
107:Principle of indifference
1433:. Define the classifier
790:The Bayes classifier is
461:conditional distribution
159:Markov chain Monte Carlo
2410:is minimised by taking
467:, given that the label
164:Laplace's approximation
151:Posterior approximation
4331:Naive Bayes classifier
4311:
4219:
3738:
3445:
3180:
2591:
2540:
2433:
2404:
2369:
2039:
2015:
1919:
1824:
1666:
1649:is a Bayes classifier,
1643:
1616:
1561:
1458:
1427:
1360:
1322:
1295:
1252:
1218:
1104:naive Bayes classifier
1096:
1076:
1042:
980:
953:
901:
782:
689:
601:
574:
554:
453:
433:
413:
354:
270:Mathematics portal
213:Evidence approximation
4317:for each observation
4312:
4220:
3739:
3446:
3181:
2592:
2541:
2434:
2405:
2370:
2040:
2016:
1920:
1825:
1667:
1644:
1642:{\displaystyle h^{*}}
1617:
1562:
1459:
1428:
1361:
1323:
1321:{\displaystyle R^{*}}
1296:
1253:
1198:
1097:
1077:
1075:{\displaystyle x_{i}}
1043:
981:
954:
902:
783:
699:classifies the point
690:
602:
600:{\displaystyle P_{r}}
575:
573:{\displaystyle \sim }
555:
454:
434:
414:
355:
353:{\displaystyle (X,Y)}
174:Variational inference
4231:
3759:
3457:
3193:
2604:
2552:
2443:
2414:
2403:{\displaystyle R(h)}
2385:
2049:
2029:
1930:
1835:
1680:
1656:
1626:
1577:
1468:
1437:
1370:
1332:
1305:
1294:{\displaystyle R(h)}
1276:
1110:
1086:
1059:
990:
970:
913:
794:
723:
634:
584:
564:
479:
443:
423:
364:
332:
252:Posterior predictive
221:Evidence lower bound
102:Likelihood principle
72:Bayesian probability
4411:Bayesian statistics
1652:For any classifier
25:Bayesian statistics
19:Part of a series on
4307:
4271:
4215:
4213:
3734:
3732:
3441:
3439:
3176:
3174:
2587:
2536:
2531:
2429:
2400:
2365:
2363:
2035:
2011:
1915:
1820:
1662:
1639:
1612:
1557:
1552:
1454:
1423:
1356:
1318:
1291:
1248:
1175:
1092:
1072:
1038:
976:
949:
897:
859:
778:
715:, of a classifier
685:
597:
570:
550:
459:. Assume that the
449:
429:
409:
350:
195:Bayesian estimator
143:Hierarchical model
67:Bayesian inference
4392:10.1109/18.243433
4262:
4162:
4070:
3984:
3886:
3806:
3686:
3673:
3568:
2527:
2477:
2038:{\displaystyle h}
1967:
1954:
1665:{\displaystyle h}
1548:
1513:
1136:
1120:
1095:{\displaystyle x}
1029:
979:{\displaystyle C}
820:
804:
520:
452:{\displaystyle X}
432:{\displaystyle Y}
306:
305:
200:Credible interval
133:Linear regression
4423:
4396:
4395:
4386:(4): 1146–1151.
4371:
4365:
4364:
4346:
4316:
4314:
4313:
4308:
4294:
4270:
4224:
4222:
4221:
4216:
4214:
4210:
4206:
4205:
4204:
4164:
4163:
4155:
4148:
4130:
4101:
4100:
4072:
4071:
4063:
4056:
4038:
4015:
4014:
3986:
3985:
3977:
3970:
3952:
3927:
3916:
3912:
3908:
3898:
3893:
3892:
3888:
3887:
3879:
3866:
3855:
3854:
3850:
3841:
3835:
3834:
3829:
3813:
3812:
3808:
3807:
3799:
3786:
3777:
3776:
3771:
3743:
3741:
3740:
3735:
3733:
3726:
3700:
3692:
3687:
3679:
3674:
3666:
3658:
3630:
3616:
3584:
3583:
3578:
3569:
3561:
3553:
3501:
3500:
3495:
3479:
3478:
3450:
3448:
3447:
3442:
3440:
3388:
3387:
3382:
3370:
3363:
3362:
3361:
3357:
3329:
3296:
3295:
3294:
3290:
3274:
3273:
3258:
3237:
3236:
3231:
3215:
3214:
3185:
3183:
3182:
3177:
3175:
3168:
3167:
3166:
3162:
3152:
3151:
3121:
3115:
3092:
3084:
3083:
3078:
3063:
3056:
3055:
3054:
3050:
3040:
3039:
3009:
3003:
2977:
2969:
2968:
2963:
2951:
2944:
2943:
2942:
2938:
2922:
2921:
2906:
2873:
2872:
2871:
2867:
2851:
2850:
2835:
2814:
2813:
2812:
2808:
2783:
2750:
2749:
2748:
2744:
2719:
2698:
2697:
2692:
2680:
2673:
2672:
2635:
2634:
2596:
2594:
2593:
2588:
2583:
2582:
2564:
2563:
2545:
2543:
2542:
2537:
2535:
2534:
2528:
2525:
2478:
2475:
2438:
2436:
2435:
2430:
2409:
2407:
2406:
2401:
2377:Fubini's theorem
2374:
2372:
2371:
2366:
2364:
2357:
2356:
2355:
2351:
2326:
2293:
2292:
2291:
2287:
2262:
2241:
2240:
2235:
2223:
2216:
2215:
2214:
2210:
2185:
2176:
2175:
2171:
2162:
2156:
2155:
2150:
2138:
2134:
2130:
2129:
2128:
2124:
2099:
2089:
2088:
2080:
2044:
2042:
2041:
2036:
2020:
2018:
2017:
2012:
2007:
1981:
1973:
1968:
1960:
1955:
1947:
1942:
1941:
1924:
1922:
1921:
1916:
1914:
1910:
1862:
1861:
1856:
1847:
1846:
1829:
1827:
1826:
1821:
1819:
1815:
1814:
1813:
1812:
1808:
1798:
1797:
1767:
1758:
1735:
1725:
1724:
1719:
1707:
1706:
1671:
1669:
1668:
1663:
1648:
1646:
1645:
1640:
1638:
1637:
1621:
1619:
1618:
1613:
1611:
1610:
1595:
1594:
1566:
1564:
1563:
1558:
1556:
1555:
1549:
1546:
1514:
1511:
1484:
1483:
1478:
1477:
1463:
1461:
1460:
1455:
1453:
1452:
1447:
1446:
1432:
1430:
1429:
1424:
1410:
1365:
1363:
1362:
1357:
1327:
1325:
1324:
1319:
1317:
1316:
1300:
1298:
1297:
1292:
1267:Bayes error rate
1257:
1255:
1254:
1249:
1241:
1240:
1228:
1227:
1217:
1212:
1176:
1174:
1122:
1121:
1118:
1101:
1099:
1098:
1093:
1081:
1079:
1078:
1073:
1071:
1070:
1047:
1045:
1044:
1039:
1031:
1030:
1027:
1018:
1017:
999:
998:
985:
983:
982:
977:
958:
956:
955:
950:
906:
904:
903:
898:
860:
858:
806:
805:
802:
787:
785:
784:
779:
732:
731:
694:
692:
691:
686:
654:
653:
648:
606:
604:
603:
598:
596:
595:
579:
577:
576:
571:
559:
557:
556:
551:
521:
518:
515:
514:
471:takes the value
458:
456:
455:
450:
438:
436:
435:
430:
418:
416:
415:
410:
378:
377:
372:
360:takes values in
359:
357:
356:
351:
314:Bayes classifier
298:
291:
284:
268:
267:
234:Model evaluation
35:
16:
4431:
4430:
4426:
4425:
4424:
4422:
4421:
4420:
4401:
4400:
4399:
4373:
4372:
4368:
4361:
4348:
4347:
4343:
4339:
4327:
4229:
4228:
4212:
4211:
4143:
4051:
3965:
3932:
3928:
3914:
3913:
3861:
3860:
3856:
3836:
3824:
3817:
3781:
3766:
3757:
3756:
3749:
3731:
3730:
3656:
3655:
3573:
3551:
3550:
3490:
3483:
3470:
3455:
3454:
3438:
3437:
3377:
3368:
3367:
3335:
3331:
3324:
3265:
3264:
3260:
3253:
3226:
3219:
3206:
3191:
3190:
3188:
3173:
3172:
3143:
3127:
3123:
3116:
3073:
3061:
3060:
3031:
3015:
3011:
3004:
2958:
2949:
2948:
2913:
2912:
2908:
2901:
2842:
2841:
2837:
2830:
2789:
2785:
2778:
2725:
2721:
2714:
2687:
2678:
2677:
2664:
2636:
2626:
2602:
2601:
2600:Proof of (b):
2574:
2555:
2550:
2549:
2530:
2529:
2522:
2516:
2515:
2472:
2462:
2441:
2440:
2412:
2411:
2383:
2382:
2362:
2361:
2332:
2328:
2321:
2268:
2264:
2257:
2230:
2221:
2220:
2191:
2187:
2180:
2157:
2145:
2136:
2135:
2105:
2101:
2094:
2090:
2075:
2068:
2047:
2046:
2027:
2026:
2023:
1933:
1928:
1927:
1867:
1863:
1851:
1838:
1833:
1832:
1789:
1773:
1769:
1762:
1730:
1726:
1714:
1698:
1678:
1677:
1654:
1653:
1629:
1624:
1623:
1602:
1586:
1575:
1574:
1551:
1550:
1543:
1537:
1536:
1508:
1498:
1471:
1466:
1465:
1440:
1435:
1434:
1368:
1367:
1330:
1329:
1308:
1303:
1302:
1274:
1273:
1263:
1232:
1219:
1140:
1113:
1108:
1107:
1084:
1083:
1062:
1057:
1056:
1022:
988:
987:
968:
967:
911:
910:
824:
797:
792:
791:
721:
720:
643:
632:
631:
587:
582:
581:
562:
561:
506:
477:
476:
441:
440:
421:
420:
367:
362:
361:
330:
329:
328:Suppose a pair
326:
302:
262:
247:Model averaging
226:Nested sampling
138:Empirical Bayes
128:Conjugate prior
97:Cromwell's rule
12:
11:
5:
4429:
4427:
4419:
4418:
4413:
4403:
4402:
4398:
4397:
4366:
4359:
4340:
4338:
4335:
4334:
4333:
4326:
4323:
4306:
4303:
4300:
4297:
4293:
4289:
4286:
4283:
4280:
4277:
4274:
4269:
4265:
4261:
4258:
4254:
4251:
4248:
4245:
4242:
4239:
4236:
4209:
4203:
4200:
4197:
4194:
4191:
4188:
4185:
4182:
4179:
4176:
4173:
4170:
4167:
4161:
4158:
4152:
4147:
4142:
4139:
4136:
4133:
4129:
4125:
4122:
4119:
4116:
4113:
4110:
4107:
4104:
4099:
4096:
4093:
4090:
4087:
4084:
4081:
4078:
4075:
4069:
4066:
4060:
4055:
4050:
4047:
4044:
4041:
4037:
4033:
4030:
4027:
4024:
4021:
4018:
4013:
4010:
4007:
4004:
4001:
3998:
3995:
3992:
3989:
3983:
3980:
3974:
3969:
3964:
3961:
3958:
3955:
3951:
3947:
3944:
3941:
3938:
3935:
3931:
3926:
3922:
3919:
3917:
3915:
3911:
3907:
3904:
3901:
3897:
3891:
3885:
3882:
3876:
3873:
3870:
3865:
3859:
3853:
3849:
3845:
3840:
3833:
3828:
3823:
3820:
3818:
3816:
3811:
3805:
3802:
3796:
3793:
3790:
3785:
3780:
3775:
3770:
3765:
3764:
3748:
3745:
3729:
3725:
3721:
3718:
3715:
3712:
3709:
3706:
3703:
3699:
3695:
3691:
3685:
3682:
3677:
3672:
3669:
3664:
3661:
3659:
3657:
3654:
3651:
3648:
3645:
3642:
3639:
3636:
3633:
3629:
3625:
3622:
3619:
3615:
3611:
3608:
3605:
3602:
3599:
3596:
3593:
3590:
3587:
3582:
3577:
3572:
3567:
3564:
3559:
3556:
3554:
3552:
3549:
3546:
3543:
3540:
3537:
3534:
3531:
3528:
3525:
3522:
3519:
3516:
3513:
3510:
3507:
3504:
3499:
3494:
3489:
3486:
3484:
3482:
3477:
3473:
3469:
3466:
3463:
3462:
3453:Proof of (d):
3436:
3433:
3430:
3427:
3424:
3421:
3418:
3415:
3412:
3409:
3406:
3403:
3400:
3397:
3394:
3391:
3386:
3381:
3376:
3373:
3371:
3369:
3366:
3360:
3356:
3353:
3350:
3347:
3344:
3341:
3338:
3334:
3328:
3323:
3320:
3317:
3314:
3311:
3308:
3305:
3302:
3299:
3293:
3289:
3286:
3283:
3280:
3277:
3272:
3268:
3263:
3257:
3252:
3249:
3246:
3243:
3240:
3235:
3230:
3225:
3222:
3220:
3218:
3213:
3209:
3205:
3202:
3199:
3198:
3189:Proof of (c):
3171:
3165:
3161:
3158:
3155:
3150:
3146:
3142:
3139:
3136:
3133:
3130:
3126:
3120:
3114:
3110:
3107:
3104:
3101:
3098:
3095:
3091:
3087:
3082:
3077:
3072:
3069:
3066:
3064:
3062:
3059:
3053:
3049:
3046:
3043:
3038:
3034:
3030:
3027:
3024:
3021:
3018:
3014:
3008:
3002:
2998:
2995:
2992:
2989:
2986:
2983:
2980:
2976:
2972:
2967:
2962:
2957:
2954:
2952:
2950:
2947:
2941:
2937:
2934:
2931:
2928:
2925:
2920:
2916:
2911:
2905:
2900:
2897:
2894:
2891:
2888:
2885:
2882:
2879:
2876:
2870:
2866:
2863:
2860:
2857:
2854:
2849:
2845:
2840:
2834:
2829:
2826:
2823:
2820:
2817:
2811:
2807:
2804:
2801:
2798:
2795:
2792:
2788:
2782:
2777:
2774:
2771:
2768:
2765:
2762:
2759:
2756:
2753:
2747:
2743:
2740:
2737:
2734:
2731:
2728:
2724:
2718:
2713:
2710:
2707:
2704:
2701:
2696:
2691:
2686:
2683:
2681:
2679:
2676:
2671:
2667:
2663:
2660:
2657:
2654:
2651:
2648:
2645:
2642:
2639:
2637:
2633:
2629:
2625:
2622:
2619:
2616:
2613:
2610:
2609:
2586:
2581:
2577:
2573:
2570:
2567:
2562:
2558:
2533:
2523:
2521:
2518:
2517:
2514:
2511:
2508:
2505:
2502:
2499:
2496:
2493:
2490:
2487:
2484:
2481:
2473:
2471:
2468:
2467:
2465:
2460:
2457:
2454:
2451:
2448:
2428:
2425:
2422:
2419:
2399:
2396:
2393:
2390:
2360:
2354:
2350:
2347:
2344:
2341:
2338:
2335:
2331:
2325:
2320:
2317:
2314:
2311:
2308:
2305:
2302:
2299:
2296:
2290:
2286:
2283:
2280:
2277:
2274:
2271:
2267:
2261:
2256:
2253:
2250:
2247:
2244:
2239:
2234:
2229:
2226:
2224:
2222:
2219:
2213:
2209:
2206:
2203:
2200:
2197:
2194:
2190:
2184:
2179:
2174:
2170:
2166:
2161:
2154:
2149:
2144:
2141:
2139:
2137:
2133:
2127:
2123:
2120:
2117:
2114:
2111:
2108:
2104:
2098:
2093:
2087:
2084:
2079:
2074:
2071:
2069:
2067:
2064:
2061:
2058:
2055:
2054:
2034:
2022:
2021:
2010:
2006:
2002:
1999:
1996:
1993:
1990:
1987:
1984:
1980:
1976:
1972:
1966:
1963:
1958:
1953:
1950:
1945:
1940:
1936:
1925:
1913:
1909:
1906:
1903:
1900:
1897:
1894:
1891:
1888:
1885:
1882:
1879:
1876:
1873:
1870:
1866:
1860:
1855:
1850:
1845:
1841:
1830:
1818:
1811:
1807:
1804:
1801:
1796:
1792:
1788:
1785:
1782:
1779:
1776:
1772:
1766:
1761:
1757:
1753:
1750:
1747:
1744:
1741:
1738:
1734:
1729:
1723:
1718:
1713:
1710:
1705:
1701:
1697:
1694:
1691:
1688:
1685:
1661:
1650:
1636:
1632:
1609:
1605:
1601:
1598:
1593:
1589:
1585:
1582:
1571:
1554:
1544:
1542:
1539:
1538:
1535:
1532:
1529:
1526:
1523:
1520:
1517:
1509:
1507:
1504:
1503:
1501:
1496:
1493:
1490:
1487:
1482:
1476:
1451:
1445:
1422:
1419:
1416:
1413:
1409:
1405:
1402:
1399:
1396:
1393:
1390:
1387:
1384:
1381:
1378:
1375:
1355:
1352:
1349:
1346:
1343:
1340:
1337:
1315:
1311:
1290:
1287:
1284:
1281:
1262:
1259:
1247:
1244:
1239:
1235:
1231:
1226:
1222:
1216:
1211:
1208:
1205:
1201:
1197:
1194:
1191:
1188:
1185:
1182:
1179:
1173:
1170:
1167:
1164:
1161:
1158:
1155:
1152:
1149:
1146:
1143:
1139:
1134:
1131:
1128:
1125:
1116:
1091:
1069:
1065:
1037:
1034:
1025:
1021:
1016:
1011:
1008:
1005:
1002:
997:
975:
948:
945:
942:
939:
936:
933:
930:
927:
924:
921:
918:
896:
893:
890:
887:
884:
881:
878:
875:
872:
869:
866:
863:
857:
854:
851:
848:
845:
842:
839:
836:
833:
830:
827:
823:
818:
815:
812:
809:
800:
777:
774:
771:
768:
765:
762:
759:
756:
753:
750:
747:
744:
741:
738:
735:
730:
719:is defined as
684:
681:
678:
675:
672:
669:
666:
663:
660:
657:
652:
647:
642:
639:
594:
590:
569:
549:
546:
543:
540:
537:
534:
531:
528:
525:
513:
509:
505:
502:
499:
496:
493:
490:
487:
484:
448:
428:
408:
405:
402:
399:
396:
393:
390:
387:
384:
381:
376:
371:
349:
346:
343:
340:
337:
325:
322:
304:
303:
301:
300:
293:
286:
278:
275:
274:
273:
272:
257:
256:
255:
254:
249:
244:
236:
235:
231:
230:
229:
228:
223:
215:
214:
210:
209:
208:
207:
202:
197:
189:
188:
184:
183:
182:
181:
176:
171:
166:
161:
153:
152:
148:
147:
146:
145:
140:
135:
130:
122:
121:
120:Model building
117:
116:
115:
114:
109:
104:
99:
94:
89:
84:
79:
77:Bayes' theorem
74:
69:
61:
60:
56:
55:
37:
36:
28:
27:
21:
20:
13:
10:
9:
6:
4:
3:
2:
4428:
4417:
4414:
4412:
4409:
4408:
4406:
4393:
4389:
4385:
4381:
4377:
4370:
4367:
4362:
4360:0-3879-4618-7
4356:
4352:
4345:
4342:
4336:
4332:
4329:
4328:
4324:
4322:
4320:
4301:
4298:
4295:
4287:
4284:
4281:
4275:
4272:
4267:
4259:
4256:
4252:
4249:
4246:
4240:
4234:
4225:
4207:
4198:
4195:
4192:
4189:
4186:
4183:
4180:
4177:
4174:
4171:
4168:
4165:
4156:
4137:
4134:
4131:
4123:
4120:
4117:
4108:
4105:
4102:
4094:
4091:
4088:
4085:
4082:
4079:
4076:
4073:
4064:
4045:
4042:
4039:
4031:
4028:
4025:
4016:
4008:
4005:
4002:
3999:
3996:
3993:
3990:
3987:
3978:
3959:
3956:
3953:
3945:
3942:
3939:
3929:
3920:
3918:
3909:
3905:
3902:
3899:
3880:
3874:
3871:
3857:
3851:
3843:
3831:
3821:
3819:
3800:
3794:
3791:
3773:
3754:
3746:
3744:
3719:
3716:
3710:
3704:
3701:
3683:
3680:
3675:
3670:
3667:
3662:
3660:
3643:
3637:
3634:
3631:
3627:
3623:
3620:
3617:
3613:
3609:
3606:
3600:
3594:
3580:
3570:
3565:
3562:
3557:
3555:
3538:
3532:
3529:
3526:
3523:
3517:
3511:
3497:
3487:
3485:
3475:
3471:
3464:
3451:
3425:
3419:
3416:
3413:
3410:
3404:
3398:
3384:
3374:
3372:
3358:
3354:
3351:
3345:
3339:
3336:
3332:
3315:
3309:
3306:
3303:
3297:
3291:
3287:
3284:
3278:
3270:
3266:
3261:
3247:
3241:
3233:
3223:
3221:
3211:
3207:
3200:
3186:
3163:
3156:
3148:
3144:
3140:
3134:
3128:
3124:
3108:
3105:
3099:
3093:
3080:
3070:
3067:
3065:
3051:
3044:
3036:
3032:
3028:
3022:
3016:
3012:
2996:
2993:
2987:
2981:
2978:
2965:
2955:
2953:
2939:
2935:
2932:
2926:
2918:
2914:
2909:
2892:
2886:
2883:
2880:
2874:
2868:
2864:
2861:
2855:
2847:
2843:
2838:
2824:
2818:
2815:
2809:
2805:
2802:
2796:
2790:
2786:
2769:
2763:
2760:
2757:
2751:
2745:
2741:
2738:
2732:
2726:
2722:
2708:
2702:
2694:
2684:
2682:
2669:
2665:
2658:
2655:
2649:
2643:
2640:
2638:
2631:
2627:
2623:
2617:
2611:
2598:
2579:
2575:
2568:
2565:
2560:
2556:
2546:
2519:
2512:
2506:
2500:
2497:
2494:
2491:
2485:
2479:
2469:
2463:
2458:
2452:
2446:
2426:
2423:
2420:
2394:
2388:
2379:
2378:
2352:
2348:
2345:
2339:
2333:
2329:
2312:
2306:
2303:
2300:
2294:
2288:
2284:
2281:
2275:
2269:
2265:
2251:
2245:
2237:
2227:
2225:
2211:
2207:
2204:
2198:
2192:
2188:
2172:
2164:
2152:
2142:
2140:
2131:
2125:
2121:
2118:
2112:
2106:
2102:
2091:
2085:
2082:
2072:
2070:
2062:
2056:
2032:
2000:
1997:
1991:
1985:
1982:
1964:
1961:
1956:
1951:
1948:
1943:
1938:
1934:
1926:
1911:
1901:
1895:
1892:
1889:
1886:
1880:
1874:
1864:
1858:
1848:
1843:
1839:
1831:
1816:
1809:
1802:
1794:
1790:
1786:
1780:
1774:
1770:
1759:
1751:
1748:
1742:
1736:
1727:
1721:
1711:
1708:
1703:
1699:
1695:
1689:
1683:
1675:
1659:
1651:
1634:
1630:
1607:
1603:
1599:
1591:
1587:
1580:
1573:
1572:
1570:
1567:
1540:
1533:
1530:
1527:
1521:
1515:
1505:
1499:
1494:
1488:
1480:
1449:
1417:
1414:
1411:
1403:
1400:
1397:
1391:
1388:
1385:
1379:
1373:
1350:
1347:
1344:
1338:
1335:
1313:
1309:
1301:, Bayes risk
1285:
1279:
1270:
1268:
1260:
1258:
1245:
1237:
1233:
1224:
1220:
1214:
1209:
1206:
1203:
1199:
1192:
1189:
1186:
1180:
1168:
1165:
1162:
1159:
1156:
1153:
1150:
1144:
1141:
1137:
1132:
1126:
1114:
1105:
1089:
1067:
1063:
1053:
1051:
1035:
1023:
1009:
1003:
973:
964:
962:
943:
940:
937:
934:
931:
928:
925:
919:
907:
894:
888:
885:
882:
879:
876:
873:
870:
864:
852:
849:
846:
843:
840:
837:
834:
828:
825:
821:
816:
810:
798:
788:
775:
769:
766:
760:
754:
748:
742:
736:
718:
714:
710:
706:
703:to the class
702:
698:
679:
676:
673:
670:
667:
664:
661:
650:
640:
637:
629:
625:
621:
617:
613:
608:
592:
588:
567:
547:
544:
541:
538:
535:
532:
529:
526:
523:
511:
507:
503:
497:
494:
491:
488:
485:
474:
470:
466:
462:
446:
426:
403:
400:
397:
394:
391:
388:
385:
379:
374:
344:
341:
338:
323:
321:
319:
315:
311:
299:
294:
292:
287:
285:
280:
279:
277:
276:
271:
266:
261:
260:
259:
258:
253:
250:
248:
245:
243:
240:
239:
238:
237:
232:
227:
224:
222:
219:
218:
217:
216:
211:
206:
203:
201:
198:
196:
193:
192:
191:
190:
185:
180:
177:
175:
172:
170:
167:
165:
162:
160:
157:
156:
155:
154:
149:
144:
141:
139:
136:
134:
131:
129:
126:
125:
124:
123:
118:
113:
110:
108:
105:
103:
100:
98:
95:
93:
92:Cox's theorem
90:
88:
85:
83:
80:
78:
75:
73:
70:
68:
65:
64:
63:
62:
57:
54:
50:
46:
42:
39:
38:
34:
30:
29:
26:
22:
18:
17:
4383:
4379:
4369:
4353:. Springer.
4350:
4344:
4318:
4226:
3752:
3750:
3747:General case
3452:
3187:
2599:
2547:
2381:Notice that
2380:
2024:
1673:
1568:
1271:
1264:
1054:
965:
908:
789:
716:
708:
704:
700:
696:
627:
623:
619:
615:
609:
475:is given by
472:
468:
464:
327:
313:
307:
242:Bayes factor
1674:excess risk
318:probability
4405:Categories
4337:References
2526:otherwise.
2045:, we have
1676:satisfies
1547:otherwise.
1261:Properties
1050:consistent
612:classifier
324:Definition
187:Estimators
59:Background
45:Likelihood
4260:
4196:−
4187:…
4160:^
4106:⋯
4089:…
4068:^
4003:…
3982:^
3884:^
3875:≠
3804:^
3795:≠
3717:−
3705:η
3676:−
3638:η
3635:−
3607:−
3595:η
3571:−
3533:η
3530:−
3512:η
3476:∗
3420:η
3417:−
3399:η
3340:∗
3310:η
3307:−
3271:∗
3242:η
3212:∗
3149:∗
3141:≠
3106:−
3094:η
3037:∗
3029:≠
2994:−
2982:η
2919:∗
2887:η
2884:−
2875:−
2848:∗
2819:η
2816:−
2764:η
2761:−
2703:η
2670:∗
2656:−
2632:∗
2624:−
2580:∗
2561:∗
2501:η
2498:−
2492:⩾
2480:η
2424:∈
2418:∀
2307:η
2304:−
2246:η
2205:≠
2119:≠
1998:−
1986:η
1957:−
1939:∗
1896:η
1893:−
1875:η
1844:∗
1795:∗
1787:≠
1760:⋅
1749:−
1737:η
1704:∗
1696:−
1635:∗
1608:∗
1592:∗
1528:⩾
1516:η
1481:∗
1450:∗
1374:η
1314:∗
1200:∏
1181:
1163:…
1145:∈
1106:, where
1010:−
935:∣
920:
880:∣
865:
847:…
829:∈
767:≠
749:
674:…
656:→
568:∼
542:…
504:∼
489:∣
398:…
380:×
87:Coherence
41:Posterior
4325:See also
2476:if
1622:, i.e.
1512:if
419:, where
53:Evidence
560:where "
4357:
1672:, the
1138:argmax
822:argmax
312:, the
1119:Bayes
1028:Bayes
803:Bayes
49:Prior
4355:ISBN
1464:as
713:risk
4388:doi
4264:max
4257:arg
3589:max
3506:min
3393:min
3109:0.5
1869:min
1752:0.5
1531:0.5
1082:of
519:for
463:of
308:In
4407::
4384:39
4382:.
4378:.
4321:.
4112:Pr
4020:Pr
3934:Pr
2597:.
2439:,
963:.
610:A
51:Ă·
47:Ă—
43:=
4394:.
4390::
4363:.
4319:x
4305:)
4302:x
4299:=
4296:X
4292:|
4288:k
4285:=
4282:Y
4279:(
4276:r
4273:P
4268:k
4253:,
4250:k
4247:=
4244:)
4241:x
4238:(
4235:h
4208:]
4202:}
4199:1
4193:n
4190:,
4184:,
4181:3
4178:,
4175:2
4172:,
4169:1
4166:=
4157:y
4151:{
4146:I
4141:)
4138:x
4135:=
4132:X
4128:|
4124:n
4121:=
4118:Y
4115:(
4109:+
4103:+
4098:}
4095:n
4092:,
4086:,
4083:3
4080:,
4077:1
4074:=
4065:y
4059:{
4054:I
4049:)
4046:x
4043:=
4040:X
4036:|
4032:2
4029:=
4026:Y
4023:(
4017:+
4012:}
4009:n
4006:,
4000:,
3997:3
3994:,
3991:2
3988:=
3979:y
3973:{
3968:I
3963:)
3960:x
3957:=
3954:X
3950:|
3946:1
3943:=
3940:Y
3937:(
3930:[
3925:E
3921:=
3910:)
3906:x
3903:=
3900:X
3896:|
3890:}
3881:y
3872:y
3869:{
3864:I
3858:(
3852:X
3848:|
3844:Y
3839:E
3832:X
3827:E
3822:=
3815:)
3810:}
3801:y
3792:y
3789:{
3784:I
3779:(
3774:Y
3769:E
3753:n
3728:]
3724:|
3720:1
3714:)
3711:X
3708:(
3702:2
3698:|
3694:[
3690:E
3684:2
3681:1
3671:2
3668:1
3663:=
3653:]
3650:)
3647:)
3644:X
3641:(
3632:2
3628:/
3624:1
3621:,
3618:2
3614:/
3610:1
3604:)
3601:X
3598:(
3592:(
3586:[
3581:X
3576:E
3566:2
3563:1
3558:=
3548:]
3545:)
3542:)
3539:X
3536:(
3527:1
3524:,
3521:)
3518:X
3515:(
3509:(
3503:[
3498:X
3493:E
3488:=
3481:)
3472:h
3468:(
3465:R
3435:]
3432:)
3429:)
3426:X
3423:(
3414:1
3411:,
3408:)
3405:X
3402:(
3396:(
3390:[
3385:X
3380:E
3375:=
3365:]
3359:}
3355:1
3352:=
3349:)
3346:X
3343:(
3337:h
3333:{
3327:I
3322:)
3319:)
3316:X
3313:(
3304:1
3301:(
3298:+
3292:}
3288:0
3285:=
3282:)
3279:X
3276:(
3267:h
3262:{
3256:I
3251:)
3248:X
3245:(
3239:[
3234:X
3229:E
3224:=
3217:)
3208:h
3204:(
3201:R
3170:]
3164:}
3160:)
3157:X
3154:(
3145:h
3138:)
3135:X
3132:(
3129:h
3125:{
3119:I
3113:|
3103:)
3100:X
3097:(
3090:|
3086:[
3081:X
3076:E
3071:2
3068:=
3058:]
3052:}
3048:)
3045:X
3042:(
3033:h
3026:)
3023:X
3020:(
3017:h
3013:{
3007:I
3001:|
2997:1
2991:)
2988:X
2985:(
2979:2
2975:|
2971:[
2966:X
2961:E
2956:=
2946:]
2940:}
2936:1
2933:=
2930:)
2927:X
2924:(
2915:h
2910:{
2904:I
2899:)
2896:)
2893:X
2890:(
2881:1
2878:(
2869:}
2865:0
2862:=
2859:)
2856:X
2853:(
2844:h
2839:{
2833:I
2828:)
2825:X
2822:(
2810:}
2806:1
2803:=
2800:)
2797:X
2794:(
2791:h
2787:{
2781:I
2776:)
2773:)
2770:X
2767:(
2758:1
2755:(
2752:+
2746:}
2742:0
2739:=
2736:)
2733:X
2730:(
2727:h
2723:{
2717:I
2712:)
2709:X
2706:(
2700:[
2695:X
2690:E
2685:=
2675:)
2666:h
2662:(
2659:R
2653:)
2650:h
2647:(
2644:R
2641:=
2628:R
2621:)
2618:h
2615:(
2612:R
2585:)
2576:h
2572:(
2569:R
2566:=
2557:R
2520:0
2513:,
2510:)
2507:x
2504:(
2495:1
2489:)
2486:x
2483:(
2470:1
2464:{
2459:=
2456:)
2453:x
2450:(
2447:h
2427:X
2421:x
2398:)
2395:h
2392:(
2389:R
2359:]
2353:}
2349:1
2346:=
2343:)
2340:X
2337:(
2334:h
2330:{
2324:I
2319:)
2316:)
2313:X
2310:(
2301:1
2298:(
2295:+
2289:}
2285:0
2282:=
2279:)
2276:X
2273:(
2270:h
2266:{
2260:I
2255:)
2252:X
2249:(
2243:[
2238:X
2233:E
2228:=
2218:]
2212:}
2208:Y
2202:)
2199:X
2196:(
2193:h
2189:{
2183:I
2178:[
2173:X
2169:|
2165:Y
2160:E
2153:X
2148:E
2143:=
2132:]
2126:}
2122:Y
2116:)
2113:X
2110:(
2107:h
2103:{
2097:I
2092:[
2086:Y
2083:X
2078:E
2073:=
2066:)
2063:h
2060:(
2057:R
2033:h
2009:]
2005:|
2001:1
1995:)
1992:X
1989:(
1983:2
1979:|
1975:[
1971:E
1965:2
1962:1
1952:2
1949:1
1944:=
1935:R
1912:]
1908:)
1905:)
1902:X
1899:(
1890:1
1887:,
1884:)
1881:X
1878:(
1872:(
1865:[
1859:X
1854:E
1849:=
1840:R
1817:]
1810:}
1806:)
1803:X
1800:(
1791:h
1784:)
1781:X
1778:(
1775:h
1771:{
1765:I
1756:|
1746:)
1743:x
1740:(
1733:|
1728:[
1722:X
1717:E
1712:2
1709:=
1700:R
1693:)
1690:h
1687:(
1684:R
1660:h
1631:h
1604:R
1600:=
1597:)
1588:h
1584:(
1581:R
1541:0
1534:,
1525:)
1522:x
1519:(
1506:1
1500:{
1495:=
1492:)
1489:x
1486:(
1475:h
1444:h
1421:)
1418:x
1415:=
1412:X
1408:|
1404:1
1401:=
1398:Y
1395:(
1392:r
1389:P
1386:=
1383:)
1380:x
1377:(
1354:}
1351:1
1348:,
1345:0
1342:{
1339:=
1336:Y
1310:R
1289:)
1286:h
1283:(
1280:R
1246:.
1243:)
1238:i
1234:x
1230:(
1225:r
1221:P
1215:d
1210:1
1207:=
1204:i
1196:)
1193:r
1190:=
1187:Y
1184:(
1178:P
1172:}
1169:K
1166:,
1160:,
1157:2
1154:,
1151:1
1148:{
1142:r
1133:=
1130:)
1127:x
1124:(
1115:C
1090:x
1068:i
1064:x
1036:.
1033:)
1024:C
1020:(
1015:R
1007:)
1004:C
1001:(
996:R
974:C
947:)
944:x
941:=
938:X
932:r
929:=
926:Y
923:(
917:P
895:.
892:)
889:x
886:=
883:X
877:r
874:=
871:Y
868:(
862:P
856:}
853:K
850:,
844:,
841:2
838:,
835:1
832:{
826:r
817:=
814:)
811:x
808:(
799:C
776:.
773:}
770:Y
764:)
761:X
758:(
755:C
752:{
746:P
743:=
740:)
737:C
734:(
729:R
717:C
709:x
707:(
705:C
701:x
697:C
683:}
680:K
677:,
671:,
668:2
665:,
662:1
659:{
651:d
646:R
641::
638:C
628:r
626:=
624:Y
620:x
618:=
616:X
593:r
589:P
548:K
545:,
539:,
536:2
533:,
530:1
527:=
524:r
512:r
508:P
501:)
498:r
495:=
492:Y
486:X
483:(
473:r
469:Y
465:X
447:X
427:Y
407:}
404:K
401:,
395:,
392:2
389:,
386:1
383:{
375:d
370:R
348:)
345:Y
342:,
339:X
336:(
297:e
290:t
283:v
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.
