1604:
531:
385:
742:
853:
1112:
396:
1000:
896:
1501:
937:
1343:
598:
95:
640:
1180:
137:
1143:
565:
287:
279:
215:
168:
1372:
252:
1496:
648:
188:
1182:(the correction after a single step) is 'optimal' in the sense that its error distribution is asymptotically identical to that of the true max-likelihood estimate.
753:
1016:
1510:
1990:
1221:
Longford, Nicholas T. (1987). "A fast scoring algorithm for maximum likelihood estimation in unbalanced mixed models with nested random effects".
2092:
1365:
1269:
526:{\displaystyle {\mathcal {J}}(\theta _{0})=-\sum _{i=1}^{n}\left.\nabla \nabla ^{\top }\right|_{\theta =\theta _{0}}\log f(Y_{i};\theta )}
2071:
1533:
1585:
1446:
1553:
1664:
1358:
1941:
1603:
2049:
1669:
942:
1985:
1953:
861:
140:
102:
2034:
1659:
1980:
1936:
1538:
1829:
1558:
1719:
1381:
1904:
1766:
909:
1948:
1847:
1563:
1441:
2039:
2024:
1914:
1792:
1418:
1385:
570:
54:
1928:
1894:
1797:
1739:
1620:
1426:
1406:
1337:
603:
1975:
1802:
1714:
1303:
1146:
537:
1350:
380:{\displaystyle V(\theta )\approx V(\theta _{0})-{\mathcal {J}}(\theta _{0})(\theta -\theta _{0}),\,}
2044:
1909:
1862:
1852:
1704:
1692:
1505:
1488:
1393:
1152:
107:
1779:
1748:
1734:
1724:
1515:
1325:
1275:
1201:
1191:
1121:
1003:
543:
257:
222:
193:
146:
36:
32:
1431:
737:{\displaystyle \theta ^{*}\approx \theta _{0}+{\mathcal {J}}^{-1}(\theta _{0})V(\theta _{0}).\,}
228:
24:
1787:
1465:
1265:
173:
1867:
1857:
1761:
1638:
1543:
1525:
1478:
1389:
1317:
1304:"Newton-Raphson and Related Algorithms for Maximum Likelihood Variance Component Estimation"
1257:
1230:
848:{\displaystyle \theta _{m+1}=\theta _{m}+{\mathcal {J}}^{-1}(\theta _{m})V(\theta _{m}),\,}
1883:
98:
1107:{\displaystyle \theta _{m+1}=\theta _{m}+{\mathcal {I}}^{-1}(\theta _{m})V(\theta _{m})}
1871:
1756:
1643:
1577:
1548:
2086:
2029:
2013:
1308:
1279:
218:
40:
1967:
1473:
1321:
1249:
2054:
1436:
1261:
1234:
1196:
28:
1456:
1776:
1329:
101:, independent and identically distributed with twice differentiable
2011:
1827:
1690:
1618:
1404:
1354:
858:
and under certain regularity conditions, it can be shown that
190:. First, suppose we have a starting point for our algorithm
1602:
1055:
975:
948:
915:
792:
681:
402:
330:
452:
1155:
1124:
1019:
945:
912:
864:
756:
651:
606:
573:
546:
399:
290:
260:
231:
196:
176:
149:
110:
57:
995:{\displaystyle {\mathcal {I}}(\theta )=\mathrm {E} }
1966:
1927:
1893:
1882:
1840:
1775:
1747:
1733:
1703:
1652:
1631:
1576:
1524:
1487:
1464:
1455:
1417:
1174:
1137:
1106:
994:
931:
891:{\displaystyle \theta _{m}\rightarrow \theta ^{*}}
890:
847:
736:
634:
592:
559:
525:
379:
273:
246:
209:
182:
162:
131:
89:
1342:: CS1 maint: DOI inactive as of September 2024 (
1256:, New York, NY: Springer New York, Theorem 9.4,
1366:
1302:Jennrich, R. I. & Sampson, P. F. (1976).
8:
2008:
1924:
1890:
1837:
1824:
1744:
1700:
1687:
1628:
1615:
1461:
1414:
1401:
1373:
1359:
1351:
1160:
1154:
1129:
1123:
1095:
1076:
1060:
1054:
1053:
1043:
1024:
1018:
974:
973:
965:
947:
946:
944:
914:
913:
911:
882:
869:
863:
844:
832:
813:
797:
791:
790:
780:
761:
755:
733:
721:
702:
686:
680:
679:
669:
656:
650:
617:
605:
584:
572:
551:
545:
508:
484:
473:
462:
444:
433:
414:
401:
400:
398:
376:
364:
342:
329:
328:
316:
289:
265:
259:
230:
201:
195:
175:
154:
148:
109:
81:
62:
56:
1607:Optimization computes maxima and minima.
1213:
932:{\displaystyle {\mathcal {J}}(\theta )}
1335:
1803:Principal pivoting algorithm of Lemke
1118:Under some regularity conditions, if
7:
593:{\displaystyle \theta =\theta ^{*}}
90:{\displaystyle Y_{1},\ldots ,Y_{n}}
1447:Successive parabolic interpolation
1248:Li, Bing; Babu, G. Jogesh (2019),
966:
463:
459:
455:
14:
1767:Projective algorithm of Karmarkar
1762:Ellipsoid algorithm of Khachiyan
1665:Sequential quadratic programming
1502:Broyden–Fletcher–Goldfarb–Shanno
635:{\displaystyle V(\theta ^{*})=0}
747:We therefore use the algorithm
139:, and we wish to calculate the
1720:Reduced gradient (Frank–Wolfe)
1322:10.1080/00401706.1976.10489395
1101:
1088:
1082:
1069:
989:
986:
980:
970:
959:
953:
926:
920:
875:
838:
825:
819:
806:
727:
714:
708:
695:
623:
610:
520:
501:
420:
407:
370:
351:
348:
335:
322:
309:
300:
294:
241:
235:
126:
114:
1:
2093:Maximum likelihood estimation
2050:Spiral optimization algorithm
1670:Successive linear programming
1175:{\displaystyle \theta _{m+1}}
1788:Simplex algorithm of Dantzig
1660:Augmented Lagrangian methods
1254:Springer Texts in Statistics
141:maximum likelihood estimator
132:{\displaystyle f(y;\theta )}
1262:10.1007/978-1-4939-9761-9_6
1138:{\displaystyle \theta _{m}}
560:{\displaystyle \theta _{0}}
538:observed information matrix
274:{\displaystyle \theta _{0}}
210:{\displaystyle \theta _{0}}
163:{\displaystyle \theta ^{*}}
2109:
642:and rearranging gives us:
247:{\displaystyle V(\theta )}
2067:
2020:
2007:
1991:Push–relabel maximum flow
1836:
1823:
1793:Revised simplex algorithm
1699:
1686:
1627:
1614:
1600:
1413:
1400:
1516:Symmetric rank-one (SR1)
1497:Berndt–Hall–Hall–Hausman
1008:Fisher Scoring Algorithm
2040:Parallel metaheuristics
1848:Approximation algorithm
1559:Powell's dog leg method
1511:Davidon–Fletcher–Powell
1407:Unconstrained nonlinear
1324:(inactive 2024-09-12).
1235:10.1093/biomet/74.4.817
939:is usually replaced by
183:{\displaystyle \theta }
2025:Evolutionary algorithm
1608:
1176:
1139:
1108:
996:
933:
892:
849:
738:
636:
594:
561:
527:
449:
381:
275:
248:
211:
184:
164:
133:
91:
1798:Criss-cross algorithm
1621:Constrained nonlinear
1606:
1427:Golden-section search
1177:
1140:
1109:
1006:, thus giving us the
997:
934:
893:
850:
739:
637:
595:
562:
528:
429:
382:
276:
249:
212:
185:
165:
134:
92:
1715:Cutting-plane method
1250:"Bayesian Inference"
1153:
1147:consistent estimator
1122:
1017:
943:
910:
862:
754:
649:
604:
571:
544:
397:
288:
258:
229:
194:
174:
147:
108:
55:
47:Sketch of derivation
2045:Simulated annealing
1863:Integer programming
1853:Dynamic programming
1693:Convex optimization
1554:Levenberg–Marquardt
1725:Subgradient method
1609:
1534:Conjugate gradient
1442:Nelder–Mead method
1202:Fisher information
1192:Score (statistics)
1172:
1135:
1104:
1004:Fisher information
992:
929:
888:
845:
734:
632:
590:
557:
523:
377:
271:
244:
207:
180:
160:
129:
87:
33:maximum likelihood
2080:
2079:
2063:
2062:
2003:
2002:
1999:
1998:
1962:
1961:
1923:
1922:
1819:
1818:
1815:
1814:
1811:
1810:
1682:
1681:
1678:
1677:
1598:
1597:
1594:
1593:
1572:
1571:
1271:978-1-4939-9759-6
217:, and consider a
17:Scoring algorithm
2100:
2009:
1925:
1891:
1868:Branch and bound
1858:Greedy algorithm
1838:
1825:
1745:
1701:
1688:
1629:
1616:
1564:Truncated Newton
1479:Wolfe conditions
1462:
1415:
1402:
1375:
1368:
1361:
1352:
1347:
1341:
1333:
1289:
1288:
1287:
1286:
1245:
1239:
1238:
1218:
1181:
1179:
1178:
1173:
1171:
1170:
1144:
1142:
1141:
1136:
1134:
1133:
1113:
1111:
1110:
1105:
1100:
1099:
1081:
1080:
1068:
1067:
1059:
1058:
1048:
1047:
1035:
1034:
1001:
999:
998:
993:
979:
978:
969:
952:
951:
938:
936:
935:
930:
919:
918:
897:
895:
894:
889:
887:
886:
874:
873:
854:
852:
851:
846:
837:
836:
818:
817:
805:
804:
796:
795:
785:
784:
772:
771:
743:
741:
740:
735:
726:
725:
707:
706:
694:
693:
685:
684:
674:
673:
661:
660:
641:
639:
638:
633:
622:
621:
599:
597:
596:
591:
589:
588:
567:. Now, setting
566:
564:
563:
558:
556:
555:
532:
530:
529:
524:
513:
512:
491:
490:
489:
488:
472:
468:
467:
466:
448:
443:
419:
418:
406:
405:
386:
384:
383:
378:
369:
368:
347:
346:
334:
333:
321:
320:
280:
278:
277:
272:
270:
269:
253:
251:
250:
245:
219:Taylor expansion
216:
214:
213:
208:
206:
205:
189:
187:
186:
181:
169:
167:
166:
161:
159:
158:
138:
136:
135:
130:
99:random variables
96:
94:
93:
88:
86:
85:
67:
66:
21:Fisher's scoring
19:, also known as
2108:
2107:
2103:
2102:
2101:
2099:
2098:
2097:
2083:
2082:
2081:
2076:
2059:
2016:
1995:
1958:
1919:
1896:
1885:
1878:
1832:
1807:
1771:
1738:
1729:
1706:
1695:
1674:
1648:
1644:Penalty methods
1639:Barrier methods
1623:
1610:
1590:
1586:Newton's method
1568:
1520:
1483:
1451:
1432:Powell's method
1409:
1396:
1379:
1334:
1301:
1298:
1296:Further reading
1293:
1292:
1284:
1282:
1272:
1247:
1246:
1242:
1220:
1219:
1215:
1210:
1188:
1156:
1151:
1150:
1125:
1120:
1119:
1091:
1072:
1052:
1039:
1020:
1015:
1014:
941:
940:
908:
907:
904:
878:
865:
860:
859:
828:
809:
789:
776:
757:
752:
751:
717:
698:
678:
665:
652:
647:
646:
613:
602:
601:
580:
569:
568:
547:
542:
541:
504:
480:
458:
454:
451:
450:
410:
395:
394:
360:
338:
312:
286:
285:
261:
256:
255:
227:
226:
197:
192:
191:
172:
171:
150:
145:
144:
106:
105:
77:
58:
53:
52:
49:
25:Newton's method
23:, is a form of
12:
11:
5:
2106:
2104:
2096:
2095:
2085:
2084:
2078:
2077:
2075:
2074:
2068:
2065:
2064:
2061:
2060:
2058:
2057:
2052:
2047:
2042:
2037:
2032:
2027:
2021:
2018:
2017:
2014:Metaheuristics
2012:
2005:
2004:
2001:
2000:
1997:
1996:
1994:
1993:
1988:
1986:Ford–Fulkerson
1983:
1978:
1972:
1970:
1964:
1963:
1960:
1959:
1957:
1956:
1954:Floyd–Warshall
1951:
1946:
1945:
1944:
1933:
1931:
1921:
1920:
1918:
1917:
1912:
1907:
1901:
1899:
1888:
1880:
1879:
1877:
1876:
1875:
1874:
1860:
1855:
1850:
1844:
1842:
1834:
1833:
1828:
1821:
1820:
1817:
1816:
1813:
1812:
1809:
1808:
1806:
1805:
1800:
1795:
1790:
1784:
1782:
1773:
1772:
1770:
1769:
1764:
1759:
1757:Affine scaling
1753:
1751:
1749:Interior point
1742:
1731:
1730:
1728:
1727:
1722:
1717:
1711:
1709:
1697:
1696:
1691:
1684:
1683:
1680:
1679:
1676:
1675:
1673:
1672:
1667:
1662:
1656:
1654:
1653:Differentiable
1650:
1649:
1647:
1646:
1641:
1635:
1633:
1625:
1624:
1619:
1612:
1611:
1601:
1599:
1596:
1595:
1592:
1591:
1589:
1588:
1582:
1580:
1574:
1573:
1570:
1569:
1567:
1566:
1561:
1556:
1551:
1546:
1541:
1536:
1530:
1528:
1522:
1521:
1519:
1518:
1513:
1508:
1499:
1493:
1491:
1485:
1484:
1482:
1481:
1476:
1470:
1468:
1459:
1453:
1452:
1450:
1449:
1444:
1439:
1434:
1429:
1423:
1421:
1411:
1410:
1405:
1398:
1397:
1380:
1378:
1377:
1370:
1363:
1355:
1349:
1348:
1297:
1294:
1291:
1290:
1270:
1240:
1229:(4): 817–827.
1212:
1211:
1209:
1206:
1205:
1204:
1199:
1194:
1187:
1184:
1169:
1166:
1163:
1159:
1132:
1128:
1116:
1115:
1103:
1098:
1094:
1090:
1087:
1084:
1079:
1075:
1071:
1066:
1063:
1057:
1051:
1046:
1042:
1038:
1033:
1030:
1027:
1023:
991:
988:
985:
982:
977:
972:
968:
964:
961:
958:
955:
950:
928:
925:
922:
917:
903:
902:Fisher scoring
900:
885:
881:
877:
872:
868:
856:
855:
843:
840:
835:
831:
827:
824:
821:
816:
812:
808:
803:
800:
794:
788:
783:
779:
775:
770:
767:
764:
760:
745:
744:
732:
729:
724:
720:
716:
713:
710:
705:
701:
697:
692:
689:
683:
677:
672:
668:
664:
659:
655:
631:
628:
625:
620:
616:
612:
609:
587:
583:
579:
576:
554:
550:
534:
533:
522:
519:
516:
511:
507:
503:
500:
497:
494:
487:
483:
479:
476:
471:
465:
461:
457:
453:
447:
442:
439:
436:
432:
428:
425:
422:
417:
413:
409:
404:
388:
387:
375:
372:
367:
363:
359:
356:
353:
350:
345:
341:
337:
332:
327:
324:
319:
315:
311:
308:
305:
302:
299:
296:
293:
268:
264:
243:
240:
237:
234:
223:score function
204:
200:
179:
157:
153:
128:
125:
122:
119:
116:
113:
84:
80:
76:
73:
70:
65:
61:
48:
45:
39:, named after
13:
10:
9:
6:
4:
3:
2:
2105:
2094:
2091:
2090:
2088:
2073:
2070:
2069:
2066:
2056:
2053:
2051:
2048:
2046:
2043:
2041:
2038:
2036:
2033:
2031:
2030:Hill climbing
2028:
2026:
2023:
2022:
2019:
2015:
2010:
2006:
1992:
1989:
1987:
1984:
1982:
1979:
1977:
1974:
1973:
1971:
1969:
1968:Network flows
1965:
1955:
1952:
1950:
1947:
1943:
1940:
1939:
1938:
1935:
1934:
1932:
1930:
1929:Shortest path
1926:
1916:
1913:
1911:
1908:
1906:
1903:
1902:
1900:
1898:
1897:spanning tree
1892:
1889:
1887:
1881:
1873:
1869:
1866:
1865:
1864:
1861:
1859:
1856:
1854:
1851:
1849:
1846:
1845:
1843:
1839:
1835:
1831:
1830:Combinatorial
1826:
1822:
1804:
1801:
1799:
1796:
1794:
1791:
1789:
1786:
1785:
1783:
1781:
1778:
1774:
1768:
1765:
1763:
1760:
1758:
1755:
1754:
1752:
1750:
1746:
1743:
1741:
1736:
1732:
1726:
1723:
1721:
1718:
1716:
1713:
1712:
1710:
1708:
1702:
1698:
1694:
1689:
1685:
1671:
1668:
1666:
1663:
1661:
1658:
1657:
1655:
1651:
1645:
1642:
1640:
1637:
1636:
1634:
1630:
1626:
1622:
1617:
1613:
1605:
1587:
1584:
1583:
1581:
1579:
1575:
1565:
1562:
1560:
1557:
1555:
1552:
1550:
1547:
1545:
1542:
1540:
1537:
1535:
1532:
1531:
1529:
1527:
1526:Other methods
1523:
1517:
1514:
1512:
1509:
1507:
1503:
1500:
1498:
1495:
1494:
1492:
1490:
1486:
1480:
1477:
1475:
1472:
1471:
1469:
1467:
1463:
1460:
1458:
1454:
1448:
1445:
1443:
1440:
1438:
1435:
1433:
1430:
1428:
1425:
1424:
1422:
1420:
1416:
1412:
1408:
1403:
1399:
1395:
1391:
1387:
1383:
1376:
1371:
1369:
1364:
1362:
1357:
1356:
1353:
1345:
1339:
1331:
1327:
1323:
1319:
1315:
1311:
1310:
1309:Technometrics
1305:
1300:
1299:
1295:
1281:
1277:
1273:
1267:
1263:
1259:
1255:
1251:
1244:
1241:
1236:
1232:
1228:
1224:
1217:
1214:
1207:
1203:
1200:
1198:
1195:
1193:
1190:
1189:
1185:
1183:
1167:
1164:
1161:
1157:
1148:
1130:
1126:
1096:
1092:
1085:
1077:
1073:
1064:
1061:
1049:
1044:
1040:
1036:
1031:
1028:
1025:
1021:
1013:
1012:
1011:
1009:
1005:
983:
962:
956:
923:
906:In practice,
901:
899:
883:
879:
870:
866:
841:
833:
829:
822:
814:
810:
801:
798:
786:
781:
777:
773:
768:
765:
762:
758:
750:
749:
748:
730:
722:
718:
711:
703:
699:
690:
687:
675:
670:
666:
662:
657:
653:
645:
644:
643:
629:
626:
618:
614:
607:
600:, using that
585:
581:
577:
574:
552:
548:
539:
517:
514:
509:
505:
498:
495:
492:
485:
481:
477:
474:
469:
445:
440:
437:
434:
430:
426:
423:
415:
411:
393:
392:
391:
373:
365:
361:
357:
354:
343:
339:
325:
317:
313:
306:
303:
297:
291:
284:
283:
282:
266:
262:
238:
232:
224:
220:
202:
198:
177:
155:
151:
142:
123:
120:
117:
111:
104:
100:
82:
78:
74:
71:
68:
63:
59:
46:
44:
42:
41:Ronald Fisher
38:
34:
30:
26:
22:
18:
2035:Local search
1981:Edmonds–Karp
1937:Bellman–Ford
1707:minimization
1539:Gauss–Newton
1489:Quasi–Newton
1474:Trust region
1382:Optimization
1338:cite journal
1316:(1): 11–17.
1313:
1307:
1283:, retrieved
1253:
1243:
1226:
1222:
1216:
1117:
1007:
905:
857:
746:
535:
389:
50:
20:
16:
15:
2055:Tabu search
1466:Convergence
1437:Line search
37:numerically
1886:algorithms
1394:heuristics
1386:Algorithms
1285:2023-01-03
1223:Biometrika
1208:References
1197:Score test
35:equations
29:statistics
1841:Paradigms
1740:quadratic
1457:Gradients
1419:Functions
1280:239322258
1158:θ
1127:θ
1093:θ
1074:θ
1062:−
1041:θ
1022:θ
984:θ
957:θ
924:θ
884:∗
880:θ
876:→
867:θ
830:θ
811:θ
799:−
778:θ
759:θ
719:θ
700:θ
688:−
667:θ
663:≈
658:∗
654:θ
619:∗
615:θ
586:∗
582:θ
575:θ
549:θ
518:θ
496:
482:θ
475:θ
464:⊤
460:∇
456:∇
431:∑
427:−
412:θ
362:θ
358:−
355:θ
340:θ
326:−
314:θ
304:≈
298:θ
263:θ
239:θ
199:θ
178:θ
156:∗
152:θ
143:(M.L.E.)
124:θ
72:…
31:to solve
2087:Category
2072:Software
1949:Dijkstra
1780:exchange
1578:Hessians
1544:Gradient
1186:See also
254:, about
27:used in
1915:Kruskal
1905:BorĹŻvka
1895:Minimum
1632:General
1390:methods
1330:1267911
1149:, then
536:is the
390:where
221:of the
1777:Basis-
1735:Linear
1705:Convex
1549:Mirror
1506:L-BFGS
1392:, and
1328:
1278:
1268:
1002:, the
103:p.d.f.
1976:Dinic
1884:Graph
1326:JSTOR
1276:S2CID
1145:is a
1942:SPFA
1910:Prim
1504:and
1344:link
1266:ISBN
51:Let
1872:cut
1737:and
1318:doi
1258:doi
1231:doi
540:at
493:log
170:of
97:be
2089::
1388:,
1384::
1340:}}
1336:{{
1314:18
1312:.
1306:.
1274:,
1264:,
1252:,
1227:74
1225:.
1114:..
1010::
898:.
281::
225:,
43:.
1870:/
1374:e
1367:t
1360:v
1346:)
1332:.
1320::
1260::
1237:.
1233::
1168:1
1165:+
1162:m
1131:m
1102:)
1097:m
1089:(
1086:V
1083:)
1078:m
1070:(
1065:1
1056:I
1050:+
1045:m
1037:=
1032:1
1029:+
1026:m
990:]
987:)
981:(
976:J
971:[
967:E
963:=
960:)
954:(
949:I
927:)
921:(
916:J
871:m
842:,
839:)
834:m
826:(
823:V
820:)
815:m
807:(
802:1
793:J
787:+
782:m
774:=
769:1
766:+
763:m
731:.
728:)
723:0
715:(
712:V
709:)
704:0
696:(
691:1
682:J
676:+
671:0
630:0
627:=
624:)
611:(
608:V
578:=
553:0
521:)
515:;
510:i
506:Y
502:(
499:f
486:0
478:=
470:|
446:n
441:1
438:=
435:i
424:=
421:)
416:0
408:(
403:J
374:,
371:)
366:0
352:(
349:)
344:0
336:(
331:J
323:)
318:0
310:(
307:V
301:)
295:(
292:V
267:0
242:)
236:(
233:V
203:0
127:)
121:;
118:y
115:(
112:f
83:n
79:Y
75:,
69:,
64:1
60:Y
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.