2933:
988:
2581:
408:
2527:
2162:
88:. The algorithm follows the same steps as the standard Metropolis–Hastings algorithm except that the evaluation of the target density is replaced by a non-negative and unbiased estimate. For comparison, the main steps of a Metropolis–Hastings algorithm are outlined below.
2928:{\displaystyle {\hat {p}}_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}{\hat {p}}_{\theta }(y_{i})=\prod _{i=1}^{n}{\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{i,k})f_{\theta }(Z_{i,k})}{q(Z_{i,k})}},\qquad Z_{i,k}{\overset {i.i.d.}{\sim }}q(\cdot ).}
2943:
Pseudo-marginal
Metropolis-Hastings can be seen as a special case of so-called particle marginal Metropolis-Hastings algorithms. In the case of the latter, unbiased estimators of densities relating to static parameters in state-space models may be obtained using a
802:
2301:
39:
is not available analytically. It relies on the fact that the
Metropolis–Hastings algorithm can still sample from the correct target distribution if the target density in the acceptance ratio is replaced by an estimate. It is especially popular in
1704:
232:
1946:
2273:
1889:
1140:
2948:. While the algorithm enables inference on both the joint space of static parameters and latent variables, when interest is only in the static parameters the algorithm is equivalent to a pseudo-marginal algorithm.
1478:
709:
180:
1773:
1229:. Since there is often no analytic expression of this quantity, one often relies on Monte Carlo methods to sample from the distribution instead. Monte Carlo methods often need the likelihood
983:{\displaystyle a(\theta _{n},\theta ')=\min \left(1,{\frac {{\hat {\pi }}_{\theta '}}{{\hat {\pi }}_{\theta _{n}}}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)}
1404:
750:
2522:{\displaystyle {\hat {p}}_{\theta }(y_{i})={\frac {1}{N}}\sum _{k=1}^{N}{\frac {g_{\theta }(y_{i}\mid Z_{k})f_{\theta }(Z_{k})}{q(Z_{k})}},\qquad Z_{k}{\overset {i.i.d.}{\sim }}q(\cdot )}
794:
656:
586:
224:
487:
is not available analytically the above algorithm cannot be employed. The pseudo-marginal
Metropolis–Hastings algorithm in contrast only assumes the existence of an unbiased estimator
1037:
457:
521:
1938:
1551:
1355:
2573:
1263:
86:
1588:
1170:
613:
127:
1580:
403:{\displaystyle a(\theta _{n},\theta ')=\min \left(1,{\frac {\pi (\theta ')}{\pi (\theta _{n})}}{\frac {Q(\theta _{n}\mid \theta ')}{Q(\theta '\mid \theta _{n})}}\right)}
2167:
If the integral on the right-hand side is not analytically available, importance sampling can be used to estimate the likelihood. Introduce an auxiliary distribution
1283:
1223:
485:
2293:
2185:
2157:{\displaystyle p_{\theta }(y_{1},\ldots ,y_{n})=\prod _{i=1}^{n}p_{\theta }(y_{i})=\prod _{i=1}^{n}\int g_{\theta }(y_{i}\mid z_{i})f_{\theta }(z_{i})\,dz_{i}.}
1793:
1501:
1190:
2190:
1801:
1053:
1409:
97:
32:
1226:
3067:
1285:. In some cases, however, the likelihood does not have an analytic expression. An example of such a case is outlined below.
661:
132:
3062:
57:
36:
1716:
1360:
618:
526:
996:
416:
20:
714:
490:
755:
185:
1897:
1510:
1314:
2535:
1699:{\displaystyle p(\theta \mid y_{1},\ldots ,y_{n})\propto p_{\theta }(y_{1},\ldots ,y_{n})p(\theta )}
1232:
1710:
1481:
62:
45:
41:
1507:, for instance.) We are interested in Bayesian analysis of this model based on some observed data
3038:
2981:
1193:
1148:
591:
105:
28:
1556:
1504:
1268:
3028:
2991:
2945:
1309:
1199:
470:
3001:
2278:
2170:
1778:
1486:
1175:
3056:
3033:
3016:
3042:
129:
the
Metropolis–Hastings algorithm proposes a new state according to some density
1406:
and suppose one can only observe these variables through some additional noise
1047:
In
Bayesian statistics the target of inference is the posterior distribution
3021:
Journal of the Royal
Statistical Society, Series B (Statistical Methodology)
2268:{\displaystyle g_{\theta }(y\mid z)f_{\theta }(z)>0\Rightarrow q(z)>0}
31:
to sample from a probability distribution. It is an instance of the popular
1884:{\displaystyle p_{\theta }(y)=\int g_{\theta }(y\mid z)f_{\theta }(z)\,dz}
1135:{\displaystyle p(\theta \mid y)={\frac {p_{\theta }(y)p(\theta )}{p(y)}},}
2996:
2969:
2970:"The pseudo-marginal approach for efficient Monte Carlo computations"
1305:
2986:
1582:
on the parameter. In order to compute the posterior distribution
3015:
Andrieu, Christophe; Doucet, Arnaud; Holenstein, Roman (2010).
1473:{\displaystyle Y_{i}\mid Z_{i}=z\sim g_{\theta }(\cdot \mid z)}
658:
the algorithm proposes a new state according to some density
1775:. The likelihood contribution of any observed data point
2575:
and the joint likelihood can be estimated unbiasedly by
704:{\displaystyle \theta '\sim Q(\cdot \mid \theta _{n})}
175:{\displaystyle \theta '\sim Q(\cdot \mid \theta _{n})}
2584:
2538:
2304:
2281:
2193:
2173:
1949:
1900:
1804:
1781:
1719:
1591:
1559:
1513:
1489:
1412:
1363:
1317:
1271:
1235:
1202:
1178:
1151:
1056:
999:
805:
758:
717:
664:
621:
594:
529:
493:
473:
419:
235:
188:
135:
108:
65:
1553:. Therefore, we introduce some prior distribution
2927:
2567:
2521:
2287:
2267:
2179:
2156:
1932:
1883:
1787:
1767:
1698:
1574:
1545:
1495:
1472:
1398:
1349:
1277:
1257:
1217:
1184:
1164:
1134:
1031:
982:
788:
744:
703:
650:
607:
580:
515:
479:
451:
402:
218:
174:
121:
80:
2968:Andrieu, Christophe; Roberts, Gareth O. (2009).
1768:{\displaystyle p_{\theta }(y_{1},\ldots ,y_{n})}
839:
269:
523:, i.e. the estimator must satisfy the equation
48:function is not tractable (see example below).
35:that extends its use to cases where the target
1894:and the joint likelihood of the observed data
1399:{\displaystyle Z_{i}\sim f_{\theta }(\cdot )}
463:Pseudo-marginal Metropolis–Hastings algorithm
25:pseudo-marginal Metropolis–Hastings algorithm
8:
3017:"Particle Markov chain Monte Carlo methods"
1265:to be accessible for every parameter value
651:{\displaystyle {\hat {\pi }}_{\theta _{n}}}
581:{\displaystyle \mathbb {E} =\pi (\theta ).}
993:otherwise the old state is kept, that is,
413:otherwise the old state is kept, that is,
3032:
2995:
2985:
2883:
2871:
2845:
2818:
2805:
2786:
2773:
2760:
2753:
2747:
2736:
2722:
2716:
2705:
2689:
2676:
2665:
2664:
2657:
2646:
2630:
2611:
2598:
2587:
2586:
2583:
2556:
2543:
2537:
2480:
2474:
2454:
2433:
2420:
2407:
2394:
2381:
2374:
2368:
2357:
2343:
2331:
2318:
2307:
2306:
2303:
2280:
2223:
2198:
2192:
2172:
2145:
2137:
2128:
2115:
2102:
2089:
2076:
2063:
2052:
2036:
2023:
2013:
2002:
1986:
1967:
1954:
1948:
1924:
1905:
1899:
1874:
1859:
1834:
1809:
1803:
1780:
1756:
1737:
1724:
1718:
1675:
1656:
1643:
1627:
1608:
1590:
1558:
1537:
1518:
1512:
1488:
1449:
1430:
1417:
1411:
1381:
1368:
1362:
1341:
1322:
1316:
1270:
1240:
1234:
1201:
1177:
1156:
1150:
1085:
1078:
1055:
1032:{\displaystyle \theta _{n+1}=\theta _{n}}
1023:
1004:
998:
963:
920:
907:
897:
892:
881:
880:
868:
857:
856:
853:
816:
804:
763:
757:
731:
720:
719:
716:
692:
663:
640:
635:
624:
623:
620:
599:
593:
551:
540:
539:
531:
530:
528:
507:
496:
495:
492:
472:
452:{\displaystyle \theta _{n+1}=\theta _{n}}
443:
424:
418:
383:
340:
327:
315:
283:
246:
234:
193:
187:
163:
134:
113:
107:
64:
745:{\displaystyle {\hat {\pi }}_{\theta '}}
2957:
516:{\displaystyle {\hat {\pi }}_{\theta }}
789:{\displaystyle \theta _{n+1}=\theta '}
219:{\displaystyle \theta _{n+1}=\theta '}
7:
2963:
2961:
1933:{\displaystyle y_{1},\ldots ,y_{n}}
1546:{\displaystyle y_{1},\ldots ,y_{n}}
1350:{\displaystyle Z_{1},\ldots ,Z_{n}}
2568:{\displaystyle p_{\theta }(y_{i})}
1043:Application to Bayesian statistics
14:
1172:denotes the likelihood function,
56:The aim is to simulate from some
3034:10.1111/j.1467-9868.2009.00736.x
2866:
2469:
1304:Consider a model consisting of
2919:
2913:
2857:
2838:
2830:
2811:
2798:
2766:
2695:
2682:
2670:
2636:
2604:
2592:
2562:
2549:
2516:
2510:
2460:
2447:
2439:
2426:
2413:
2387:
2337:
2324:
2312:
2256:
2250:
2244:
2235:
2229:
2216:
2204:
2134:
2121:
2108:
2082:
2042:
2029:
1992:
1960:
1871:
1865:
1852:
1840:
1821:
1815:
1762:
1730:
1693:
1687:
1681:
1649:
1633:
1595:
1569:
1563:
1467:
1455:
1393:
1387:
1289:Example: Latent variable model
1258:{\displaystyle p_{\theta }(y)}
1252:
1246:
1212:
1206:
1123:
1117:
1109:
1103:
1097:
1091:
1072:
1060:
969:
945:
937:
913:
886:
862:
833:
809:
725:
698:
679:
629:
572:
566:
557:
545:
535:
501:
389:
365:
357:
333:
321:
308:
300:
289:
263:
239:
169:
150:
75:
69:
1:
1227:prior predictive distribution
711:. Next, compute an estimate
615:and the respective estimate
98:Metropolis–Hastings algorithm
92:Metropolis–Hastings algorithm
81:{\displaystyle \pi (\theta )}
44:, where it is applied if the
33:Metropolis–Hastings algorithm
2532:is an unbiased estimator of
58:probability density function
1165:{\displaystyle p_{\theta }}
608:{\displaystyle \theta _{n}}
122:{\displaystyle \theta _{n}}
16:Monte Carlo sampling scheme
3084:
1575:{\displaystyle p(\theta )}
182:. The algorithm then sets
95:
1503:. (This could be due to
21:computational statistics
1278:{\displaystyle \theta }
3068:Statistical algorithms
2929:
2752:
2721:
2662:
2569:
2523:
2373:
2289:
2269:
2181:
2158:
2068:
2018:
1934:
1885:
1789:
1769:
1700:
1576:
1547:
1497:
1474:
1400:
1351:
1279:
1259:
1219:
1186:
1166:
1136:
1033:
984:
790:
746:
705:
652:
609:
582:
517:
481:
453:
404:
220:
176:
123:
102:Given a current state
82:
2930:
2732:
2701:
2642:
2570:
2524:
2353:
2290:
2270:
2182:
2159:
2048:
1998:
1935:
1886:
1790:
1770:
1701:
1577:
1548:
1498:
1475:
1401:
1352:
1280:
1260:
1220:
1187:
1167:
1137:
1034:
985:
791:
747:
706:
653:
610:
583:
518:
482:
454:
405:
221:
177:
124:
83:
52:Algorithm description
2974:Annals of Statistics
2582:
2536:
2302:
2279:
2191:
2171:
1947:
1898:
1802:
1779:
1717:
1709:we need to find the
1589:
1557:
1511:
1487:
1410:
1361:
1315:
1269:
1233:
1218:{\displaystyle p(y)}
1200:
1176:
1149:
1054:
997:
803:
756:
715:
662:
619:
592:
527:
491:
480:{\displaystyle \pi }
471:
417:
233:
186:
133:
106:
63:
3063:Monte Carlo methods
1482:conditional density
1308:latent real-valued
42:Bayesian statistics
2925:
2565:
2519:
2285:
2265:
2177:
2154:
1930:
1881:
1785:
1765:
1696:
1572:
1543:
1493:
1470:
1396:
1347:
1275:
1255:
1215:
1182:
1162:
1132:
1029:
980:
786:
742:
701:
648:
605:
578:
513:
477:
449:
400:
216:
172:
119:
78:
29:Monte Carlo method
2997:10.1214/07-aos574
2908:
2861:
2730:
2673:
2595:
2505:
2464:
2351:
2315:
2288:{\displaystyle z}
2180:{\displaystyle q}
1788:{\displaystyle y}
1505:measurement error
1496:{\displaystyle g}
1185:{\displaystyle p}
1127:
973:
905:
889:
865:
796:with probability
728:
632:
548:
504:
393:
325:
226:with probability
3075:
3047:
3046:
3036:
3012:
3006:
3005:
2999:
2989:
2965:
2934:
2932:
2931:
2926:
2909:
2907:
2884:
2882:
2881:
2862:
2860:
2856:
2855:
2833:
2829:
2828:
2810:
2809:
2797:
2796:
2778:
2777:
2765:
2764:
2754:
2751:
2746:
2731:
2723:
2720:
2715:
2694:
2693:
2681:
2680:
2675:
2674:
2666:
2661:
2656:
2635:
2634:
2616:
2615:
2603:
2602:
2597:
2596:
2588:
2574:
2572:
2571:
2566:
2561:
2560:
2548:
2547:
2528:
2526:
2525:
2520:
2506:
2504:
2481:
2479:
2478:
2465:
2463:
2459:
2458:
2442:
2438:
2437:
2425:
2424:
2412:
2411:
2399:
2398:
2386:
2385:
2375:
2372:
2367:
2352:
2344:
2336:
2335:
2323:
2322:
2317:
2316:
2308:
2294:
2292:
2291:
2286:
2274:
2272:
2271:
2266:
2228:
2227:
2203:
2202:
2186:
2184:
2183:
2178:
2163:
2161:
2160:
2155:
2150:
2149:
2133:
2132:
2120:
2119:
2107:
2106:
2094:
2093:
2081:
2080:
2067:
2062:
2041:
2040:
2028:
2027:
2017:
2012:
1991:
1990:
1972:
1971:
1959:
1958:
1939:
1937:
1936:
1931:
1929:
1928:
1910:
1909:
1890:
1888:
1887:
1882:
1864:
1863:
1839:
1838:
1814:
1813:
1794:
1792:
1791:
1786:
1774:
1772:
1771:
1766:
1761:
1760:
1742:
1741:
1729:
1728:
1705:
1703:
1702:
1697:
1680:
1679:
1661:
1660:
1648:
1647:
1632:
1631:
1613:
1612:
1581:
1579:
1578:
1573:
1552:
1550:
1549:
1544:
1542:
1541:
1523:
1522:
1502:
1500:
1499:
1494:
1479:
1477:
1476:
1471:
1454:
1453:
1435:
1434:
1422:
1421:
1405:
1403:
1402:
1397:
1386:
1385:
1373:
1372:
1356:
1354:
1353:
1348:
1346:
1345:
1327:
1326:
1310:random variables
1301:
1300:
1296:
1284:
1282:
1281:
1276:
1264:
1262:
1261:
1256:
1245:
1244:
1224:
1222:
1221:
1216:
1191:
1189:
1188:
1183:
1171:
1169:
1168:
1163:
1161:
1160:
1141:
1139:
1138:
1133:
1128:
1126:
1112:
1090:
1089:
1079:
1038:
1036:
1035:
1030:
1028:
1027:
1015:
1014:
989:
987:
986:
981:
979:
975:
974:
972:
968:
967:
955:
940:
936:
925:
924:
908:
906:
904:
903:
902:
901:
891:
890:
882:
878:
877:
876:
867:
866:
858:
854:
832:
821:
820:
795:
793:
792:
787:
785:
774:
773:
751:
749:
748:
743:
741:
740:
739:
730:
729:
721:
710:
708:
707:
702:
697:
696:
672:
657:
655:
654:
649:
647:
646:
645:
644:
634:
633:
625:
614:
612:
611:
606:
604:
603:
587:
585:
584:
579:
556:
555:
550:
549:
541:
534:
522:
520:
519:
514:
512:
511:
506:
505:
497:
486:
484:
483:
478:
458:
456:
455:
450:
448:
447:
435:
434:
409:
407:
406:
401:
399:
395:
394:
392:
388:
387:
375:
360:
356:
345:
344:
328:
326:
324:
320:
319:
303:
299:
284:
262:
251:
250:
225:
223:
222:
217:
215:
204:
203:
181:
179:
178:
173:
168:
167:
143:
128:
126:
125:
120:
118:
117:
87:
85:
84:
79:
3083:
3082:
3078:
3077:
3076:
3074:
3073:
3072:
3053:
3052:
3051:
3050:
3014:
3013:
3009:
2967:
2966:
2959:
2954:
2946:particle filter
2941:
2888:
2867:
2841:
2834:
2814:
2801:
2782:
2769:
2756:
2755:
2685:
2663:
2626:
2607:
2585:
2580:
2579:
2552:
2539:
2534:
2533:
2485:
2470:
2450:
2443:
2429:
2416:
2403:
2390:
2377:
2376:
2327:
2305:
2300:
2299:
2277:
2276:
2219:
2194:
2189:
2188:
2169:
2168:
2141:
2124:
2111:
2098:
2085:
2072:
2032:
2019:
1982:
1963:
1950:
1945:
1944:
1920:
1901:
1896:
1895:
1855:
1830:
1805:
1800:
1799:
1777:
1776:
1752:
1733:
1720:
1715:
1714:
1671:
1652:
1639:
1623:
1604:
1587:
1586:
1555:
1554:
1533:
1514:
1509:
1508:
1485:
1484:
1445:
1426:
1413:
1408:
1407:
1377:
1364:
1359:
1358:
1337:
1318:
1313:
1312:
1302:
1298:
1294:
1292:
1291:
1267:
1266:
1236:
1231:
1230:
1198:
1197:
1174:
1173:
1152:
1147:
1146:
1113:
1081:
1080:
1052:
1051:
1045:
1019:
1000:
995:
994:
959:
948:
941:
929:
916:
909:
893:
879:
869:
855:
846:
842:
825:
812:
801:
800:
778:
759:
754:
753:
732:
718:
713:
712:
688:
665:
660:
659:
636:
622:
617:
616:
595:
590:
589:
538:
525:
524:
494:
489:
488:
469:
468:
467:If the density
465:
439:
420:
415:
414:
379:
368:
361:
349:
336:
329:
311:
304:
292:
285:
276:
272:
255:
242:
231:
230:
208:
189:
184:
183:
159:
136:
131:
130:
109:
104:
103:
100:
94:
61:
60:
54:
17:
12:
11:
5:
3081:
3079:
3071:
3070:
3065:
3055:
3054:
3049:
3048:
3027:(3): 269–342.
3007:
3002:Project Euclid
2980:(2): 697–725.
2956:
2955:
2953:
2950:
2940:
2937:
2936:
2935:
2924:
2921:
2918:
2915:
2912:
2906:
2903:
2900:
2897:
2894:
2891:
2887:
2880:
2877:
2874:
2870:
2865:
2859:
2854:
2851:
2848:
2844:
2840:
2837:
2832:
2827:
2824:
2821:
2817:
2813:
2808:
2804:
2800:
2795:
2792:
2789:
2785:
2781:
2776:
2772:
2768:
2763:
2759:
2750:
2745:
2742:
2739:
2735:
2729:
2726:
2719:
2714:
2711:
2708:
2704:
2700:
2697:
2692:
2688:
2684:
2679:
2672:
2669:
2660:
2655:
2652:
2649:
2645:
2641:
2638:
2633:
2629:
2625:
2622:
2619:
2614:
2610:
2606:
2601:
2594:
2591:
2564:
2559:
2555:
2551:
2546:
2542:
2530:
2529:
2518:
2515:
2512:
2509:
2503:
2500:
2497:
2494:
2491:
2488:
2484:
2477:
2473:
2468:
2462:
2457:
2453:
2449:
2446:
2441:
2436:
2432:
2428:
2423:
2419:
2415:
2410:
2406:
2402:
2397:
2393:
2389:
2384:
2380:
2371:
2366:
2363:
2360:
2356:
2350:
2347:
2342:
2339:
2334:
2330:
2326:
2321:
2314:
2311:
2284:
2264:
2261:
2258:
2255:
2252:
2249:
2246:
2243:
2240:
2237:
2234:
2231:
2226:
2222:
2218:
2215:
2212:
2209:
2206:
2201:
2197:
2176:
2165:
2164:
2153:
2148:
2144:
2140:
2136:
2131:
2127:
2123:
2118:
2114:
2110:
2105:
2101:
2097:
2092:
2088:
2084:
2079:
2075:
2071:
2066:
2061:
2058:
2055:
2051:
2047:
2044:
2039:
2035:
2031:
2026:
2022:
2016:
2011:
2008:
2005:
2001:
1997:
1994:
1989:
1985:
1981:
1978:
1975:
1970:
1966:
1962:
1957:
1953:
1927:
1923:
1919:
1916:
1913:
1908:
1904:
1892:
1891:
1880:
1877:
1873:
1870:
1867:
1862:
1858:
1854:
1851:
1848:
1845:
1842:
1837:
1833:
1829:
1826:
1823:
1820:
1817:
1812:
1808:
1784:
1764:
1759:
1755:
1751:
1748:
1745:
1740:
1736:
1732:
1727:
1723:
1707:
1706:
1695:
1692:
1689:
1686:
1683:
1678:
1674:
1670:
1667:
1664:
1659:
1655:
1651:
1646:
1642:
1638:
1635:
1630:
1626:
1622:
1619:
1616:
1611:
1607:
1603:
1600:
1597:
1594:
1571:
1568:
1565:
1562:
1540:
1536:
1532:
1529:
1526:
1521:
1517:
1492:
1469:
1466:
1463:
1460:
1457:
1452:
1448:
1444:
1441:
1438:
1433:
1429:
1425:
1420:
1416:
1395:
1392:
1389:
1384:
1380:
1376:
1371:
1367:
1344:
1340:
1336:
1333:
1330:
1325:
1321:
1290:
1287:
1274:
1254:
1251:
1248:
1243:
1239:
1214:
1211:
1208:
1205:
1181:
1159:
1155:
1143:
1142:
1131:
1125:
1122:
1119:
1116:
1111:
1108:
1105:
1102:
1099:
1096:
1093:
1088:
1084:
1077:
1074:
1071:
1068:
1065:
1062:
1059:
1044:
1041:
1026:
1022:
1018:
1013:
1010:
1007:
1003:
991:
990:
978:
971:
966:
962:
958:
954:
951:
947:
944:
939:
935:
932:
928:
923:
919:
915:
912:
900:
896:
888:
885:
875:
872:
864:
861:
852:
849:
845:
841:
838:
835:
831:
828:
824:
819:
815:
811:
808:
784:
781:
777:
772:
769:
766:
762:
738:
735:
727:
724:
700:
695:
691:
687:
684:
681:
678:
675:
671:
668:
643:
639:
631:
628:
602:
598:
577:
574:
571:
568:
565:
562:
559:
554:
547:
544:
537:
533:
510:
503:
500:
476:
464:
461:
446:
442:
438:
433:
430:
427:
423:
411:
410:
398:
391:
386:
382:
378:
374:
371:
367:
364:
359:
355:
352:
348:
343:
339:
335:
332:
323:
318:
314:
310:
307:
302:
298:
295:
291:
288:
282:
279:
275:
271:
268:
265:
261:
258:
254:
249:
245:
241:
238:
214:
211:
207:
202:
199:
196:
192:
171:
166:
162:
158:
155:
152:
149:
146:
142:
139:
116:
112:
93:
90:
77:
74:
71:
68:
53:
50:
15:
13:
10:
9:
6:
4:
3:
2:
3080:
3069:
3066:
3064:
3061:
3060:
3058:
3044:
3040:
3035:
3030:
3026:
3022:
3018:
3011:
3008:
3003:
2998:
2993:
2988:
2983:
2979:
2975:
2971:
2964:
2962:
2958:
2951:
2949:
2947:
2938:
2922:
2916:
2910:
2904:
2901:
2898:
2895:
2892:
2889:
2885:
2878:
2875:
2872:
2868:
2863:
2852:
2849:
2846:
2842:
2835:
2825:
2822:
2819:
2815:
2806:
2802:
2793:
2790:
2787:
2783:
2779:
2774:
2770:
2761:
2757:
2748:
2743:
2740:
2737:
2733:
2727:
2724:
2717:
2712:
2709:
2706:
2702:
2698:
2690:
2686:
2677:
2667:
2658:
2653:
2650:
2647:
2643:
2639:
2631:
2627:
2623:
2620:
2617:
2612:
2608:
2599:
2589:
2578:
2577:
2576:
2557:
2553:
2544:
2540:
2513:
2507:
2501:
2498:
2495:
2492:
2489:
2486:
2482:
2475:
2471:
2466:
2455:
2451:
2444:
2434:
2430:
2421:
2417:
2408:
2404:
2400:
2395:
2391:
2382:
2378:
2369:
2364:
2361:
2358:
2354:
2348:
2345:
2340:
2332:
2328:
2319:
2309:
2298:
2297:
2296:
2282:
2262:
2259:
2253:
2247:
2241:
2238:
2232:
2224:
2220:
2213:
2210:
2207:
2199:
2195:
2174:
2151:
2146:
2142:
2138:
2129:
2125:
2116:
2112:
2103:
2099:
2095:
2090:
2086:
2077:
2073:
2069:
2064:
2059:
2056:
2053:
2049:
2045:
2037:
2033:
2024:
2020:
2014:
2009:
2006:
2003:
1999:
1995:
1987:
1983:
1979:
1976:
1973:
1968:
1964:
1955:
1951:
1943:
1942:
1941:
1925:
1921:
1917:
1914:
1911:
1906:
1902:
1878:
1875:
1868:
1860:
1856:
1849:
1846:
1843:
1835:
1831:
1827:
1824:
1818:
1810:
1806:
1798:
1797:
1796:
1782:
1757:
1753:
1749:
1746:
1743:
1738:
1734:
1725:
1721:
1712:
1690:
1684:
1676:
1672:
1668:
1665:
1662:
1657:
1653:
1644:
1640:
1636:
1628:
1624:
1620:
1617:
1614:
1609:
1605:
1601:
1598:
1592:
1585:
1584:
1583:
1566:
1560:
1538:
1534:
1530:
1527:
1524:
1519:
1515:
1506:
1490:
1483:
1464:
1461:
1458:
1450:
1446:
1442:
1439:
1436:
1431:
1427:
1423:
1418:
1414:
1390:
1382:
1378:
1374:
1369:
1365:
1342:
1338:
1334:
1331:
1328:
1323:
1319:
1311:
1307:
1297:
1288:
1286:
1272:
1249:
1241:
1237:
1228:
1209:
1203:
1195:
1179:
1157:
1153:
1129:
1120:
1114:
1106:
1100:
1094:
1086:
1082:
1075:
1069:
1066:
1063:
1057:
1050:
1049:
1048:
1042:
1040:
1024:
1020:
1016:
1011:
1008:
1005:
1001:
976:
964:
960:
956:
952:
949:
942:
933:
930:
926:
921:
917:
910:
898:
894:
883:
873:
870:
859:
850:
847:
843:
836:
829:
826:
822:
817:
813:
806:
799:
798:
797:
782:
779:
775:
770:
767:
764:
760:
736:
733:
722:
693:
689:
685:
682:
676:
673:
669:
666:
641:
637:
626:
600:
596:
575:
569:
563:
560:
552:
542:
508:
498:
474:
462:
460:
444:
440:
436:
431:
428:
425:
421:
396:
384:
380:
376:
372:
369:
362:
353:
350:
346:
341:
337:
330:
316:
312:
305:
296:
293:
286:
280:
277:
273:
266:
259:
256:
252:
247:
243:
236:
229:
228:
227:
212:
209:
205:
200:
197:
194:
190:
164:
160:
156:
153:
147:
144:
140:
137:
114:
110:
99:
91:
89:
72:
66:
59:
51:
49:
47:
43:
38:
34:
30:
26:
22:
3024:
3020:
3010:
3000:– via
2977:
2973:
2942:
2531:
2166:
1893:
1708:
1303:
1144:
1046:
992:
466:
412:
101:
55:
24:
18:
588:Now, given
3057:Categories
2952:References
2939:Extensions
2187:such that
1711:likelihood
96:See also:
46:likelihood
2987:0903.5480
2917:⋅
2886:∼
2807:θ
2780:∣
2762:θ
2734:∑
2703:∏
2678:θ
2671:^
2644:∏
2621:…
2600:θ
2593:^
2545:θ
2514:⋅
2483:∼
2422:θ
2401:∣
2383:θ
2355:∑
2320:θ
2313:^
2245:⇒
2225:θ
2211:∣
2200:θ
2117:θ
2096:∣
2078:θ
2070:∫
2050:∏
2025:θ
2000:∏
1977:…
1956:θ
1915:…
1861:θ
1847:∣
1836:θ
1828:∫
1811:θ
1747:…
1726:θ
1713:function
1691:θ
1666:…
1645:θ
1637:∝
1618:…
1602:∣
1599:θ
1567:θ
1528:…
1480:for some
1462:∣
1459:⋅
1451:θ
1443:∼
1424:∣
1391:⋅
1383:θ
1375:∼
1332:…
1273:θ
1242:θ
1158:θ
1107:θ
1087:θ
1067:∣
1064:θ
1021:θ
1002:θ
961:θ
957:∣
950:θ
931:θ
927:∣
918:θ
895:θ
887:^
884:π
871:θ
863:^
860:π
827:θ
814:θ
780:θ
761:θ
734:θ
726:^
723:π
690:θ
686:∣
683:⋅
674:∼
667:θ
638:θ
630:^
627:π
597:θ
570:θ
564:π
553:θ
546:^
543:π
509:θ
502:^
499:π
475:π
441:θ
422:θ
381:θ
377:∣
370:θ
351:θ
347:∣
338:θ
313:θ
306:π
294:θ
287:π
257:θ
244:θ
210:θ
191:θ
161:θ
157:∣
154:⋅
145:∼
138:θ
111:θ
73:θ
67:π
3043:13962777
2275:for all
1795:is then
953:′
934:′
874:′
830:′
783:′
752:and set
737:′
670:′
373:′
354:′
297:′
260:′
213:′
141:′
1225:is the
1192:is the
37:density
3041:
1306:i.i.d.
1293:": -->
1145:where
23:, the
3039:S2CID
2982:arXiv
2295:then
1357:with
1194:prior
27:is a
2260:>
2239:>
1295:edit
1196:and
3029:doi
2992:doi
1940:is
840:min
270:min
19:In
3059::
3037:.
3025:72
3023:.
3019:.
2990:.
2978:37
2976:.
2972:.
2960:^
1039:.
459:.
3045:.
3031::
3004:.
2994::
2984::
2923:.
2920:)
2914:(
2911:q
2905:.
2902:d
2899:.
2896:i
2893:.
2890:i
2879:k
2876:,
2873:i
2869:Z
2864:,
2858:)
2853:k
2850:,
2847:i
2843:Z
2839:(
2836:q
2831:)
2826:k
2823:,
2820:i
2816:Z
2812:(
2803:f
2799:)
2794:k
2791:,
2788:i
2784:Z
2775:i
2771:y
2767:(
2758:g
2749:N
2744:1
2741:=
2738:k
2728:N
2725:1
2718:n
2713:1
2710:=
2707:i
2699:=
2696:)
2691:i
2687:y
2683:(
2668:p
2659:n
2654:1
2651:=
2648:i
2640:=
2637:)
2632:n
2628:y
2624:,
2618:,
2613:1
2609:y
2605:(
2590:p
2563:)
2558:i
2554:y
2550:(
2541:p
2517:)
2511:(
2508:q
2502:.
2499:d
2496:.
2493:i
2490:.
2487:i
2476:k
2472:Z
2467:,
2461:)
2456:k
2452:Z
2448:(
2445:q
2440:)
2435:k
2431:Z
2427:(
2418:f
2414:)
2409:k
2405:Z
2396:i
2392:y
2388:(
2379:g
2370:N
2365:1
2362:=
2359:k
2349:N
2346:1
2341:=
2338:)
2333:i
2329:y
2325:(
2310:p
2283:z
2263:0
2257:)
2254:z
2251:(
2248:q
2242:0
2236:)
2233:z
2230:(
2221:f
2217:)
2214:z
2208:y
2205:(
2196:g
2175:q
2152:.
2147:i
2143:z
2139:d
2135:)
2130:i
2126:z
2122:(
2113:f
2109:)
2104:i
2100:z
2091:i
2087:y
2083:(
2074:g
2065:n
2060:1
2057:=
2054:i
2046:=
2043:)
2038:i
2034:y
2030:(
2021:p
2015:n
2010:1
2007:=
2004:i
1996:=
1993:)
1988:n
1984:y
1980:,
1974:,
1969:1
1965:y
1961:(
1952:p
1926:n
1922:y
1918:,
1912:,
1907:1
1903:y
1879:z
1876:d
1872:)
1869:z
1866:(
1857:f
1853:)
1850:z
1844:y
1841:(
1832:g
1825:=
1822:)
1819:y
1816:(
1807:p
1783:y
1763:)
1758:n
1754:y
1750:,
1744:,
1739:1
1735:y
1731:(
1722:p
1694:)
1688:(
1685:p
1682:)
1677:n
1673:y
1669:,
1663:,
1658:1
1654:y
1650:(
1641:p
1634:)
1629:n
1625:y
1621:,
1615:,
1610:1
1606:y
1596:(
1593:p
1570:)
1564:(
1561:p
1539:n
1535:y
1531:,
1525:,
1520:1
1516:y
1491:g
1468:)
1465:z
1456:(
1447:g
1440:z
1437:=
1432:i
1428:Z
1419:i
1415:Y
1394:)
1388:(
1379:f
1370:i
1366:Z
1343:n
1339:Z
1335:,
1329:,
1324:1
1320:Z
1299:]
1253:)
1250:y
1247:(
1238:p
1213:)
1210:y
1207:(
1204:p
1180:p
1154:p
1130:,
1124:)
1121:y
1118:(
1115:p
1110:)
1104:(
1101:p
1098:)
1095:y
1092:(
1083:p
1076:=
1073:)
1070:y
1061:(
1058:p
1025:n
1017:=
1012:1
1009:+
1006:n
977:)
970:)
965:n
946:(
943:Q
938:)
922:n
914:(
911:Q
899:n
851:,
848:1
844:(
837:=
834:)
823:,
818:n
810:(
807:a
776:=
771:1
768:+
765:n
699:)
694:n
680:(
677:Q
642:n
601:n
576:.
573:)
567:(
561:=
558:]
536:[
532:E
445:n
437:=
432:1
429:+
426:n
397:)
390:)
385:n
366:(
363:Q
358:)
342:n
334:(
331:Q
322:)
317:n
309:(
301:)
290:(
281:,
278:1
274:(
267:=
264:)
253:,
248:n
240:(
237:a
206:=
201:1
198:+
195:n
170:)
165:n
151:(
148:Q
115:n
76:)
70:(
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.