Knowledge (XXG)

Chapman–Robbins bound

Source 📝

1847: 629: 1561: 982: 1391: 427: 2409:, assuming the regularity conditions of the Cramér–Rao bound hold. This implies that, when both bounds exist, the Chapman–Robbins version is always at least as tight as the Cramér–Rao bound; in many cases, it is substantially tighter. 1133: 1842:{\displaystyle \chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}-E_{\theta })^{2}}{\operatorname {Var} _{\theta }}}={\frac {\langle v,E_{\theta '}-E_{\theta }\rangle ^{2}}{v^{T}\operatorname {Cov} _{\theta }v}}} 735: 1216: 2000: 1211: 243: 2225: 2177: 2297: 693: 122: 385: 1489: 730: 422: 182: 1888: 1530: 2045: 2407: 999: 332: 2449: 2412:
The Chapman–Robbins bound also holds under much weaker regularity conditions. For example, no assumption is made regarding differentiability of the probability density function
2136: 2089: 624:{\displaystyle \operatorname {Var} _{\theta }\geq \sup _{\theta '\neq \theta \in \Theta }{\frac {(E_{\theta '}-E_{\theta })^{2}}{\chi ^{2}(\mu _{\theta '};\mu _{\theta })}}} 300: 1416: 2376: 271: 2317: 142: 77: 2343: 1556: 2245: 2109: 2065: 977:{\displaystyle \chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq (E_{\theta '}-E_{\theta })^{T}\operatorname {Cov} _{\theta }^{-1}(E_{\theta '}-E_{\theta })} 40:; compared to the Cramér–Rao bound, it is both tighter and applicable to a wider range of problems. However, it is usually more difficult to compute. 1893: 2603: 1386:{\displaystyle \chi ^{2}(\mu _{\theta '};\mu _{\theta })\geq {\frac {(E_{\theta '}-E_{\theta })^{2}}{\operatorname {Var} _{\theta }}}} 1138: 2658: 2640: 2544: 2182: 2141: 187: 2250: 648: 82: 347: 1421: 2663: 1852: 1494: 698: 390: 150: 2013: 2476: 2346: 37: 2381: 2427: 2114: 305: 2070: 278: 2563: 2513: 2464: 2352: 249: 2636: 2481: 1396: 2302: 1128:{\displaystyle \chi ^{2}(P;Q)=\sup _{g}{\frac {(E_{P}-E_{Q})^{2}}{\operatorname {Var} _{Q}}}} 127: 62: 2592: 2553: 2575: 2525: 2571: 2539: 2521: 2501: 48: 44: 2322: 1535: 2230: 2094: 2050: 2652: 2345:, the expression inside the supremum in the Chapman–Robbins bound converges to the 993: 246: 2558: 17: 33: 1995:{\displaystyle \sup _{v\neq 0}{\frac {v^{T}ww^{T}v}{v^{T}Mv}}=w^{T}M^{-1}w} 29: 1418:
to obtain the single-variate case. For the multivariate case, we define
2567: 2517: 2542:(1951), "Minimum variance estimation without regularity assumptions", 79:
be the set of parameters for a family of probability distributions
2593:"Lecture notes on information theory, chapter 29, ECE563 (UIUC)" 1393:
Switch the denominator and the left side and take supremum over
2467:
is not defined, and hence the Cramér–Rao bound does not exist.
1206:{\displaystyle g={\hat {g}},P=\mu _{\theta '},Q=\mu _{\theta }} 2220:{\displaystyle \mu _{\theta }=\lambda _{\theta }^{\otimes n}} 2272: 2172:{\displaystyle \theta \in \Theta \subseteq \mathbb {R} ^{m}} 2076: 2026: 36:
of a deterministic parameter. It is a generalization of the
238:{\displaystyle \chi ^{2}(\mu _{\theta '};\mu _{\theta })} 2292:{\displaystyle {\hat {g}}:{\mathcal {X}}^{n}\to \Theta } 1424: 688:{\displaystyle {\hat {g}}:\Omega \to \mathbb {R} ^{m}} 2430: 2384: 2355: 2325: 2305: 2253: 2233: 2185: 2144: 2117: 2097: 2073: 2053: 2016: 1896: 1855: 1564: 1538: 1497: 1399: 1219: 1141: 1002: 738: 701: 651: 430: 393: 350: 308: 281: 252: 190: 153: 130: 117:{\displaystyle \{\mu _{\theta }:\theta \in \Theta \}} 85: 65: 994:
variational representation of chi-squared divergence
2179:parameterized family of probability distributions, 2506:Journal of the Royal Statistical Society, Series B 2443: 2401: 2370: 2337: 2311: 2291: 2239: 2219: 2171: 2130: 2103: 2083: 2059: 2039: 1994: 1882: 1841: 1550: 1524: 1483: 1410: 1385: 1205: 1127: 976: 724: 687: 623: 416: 380:{\displaystyle {\hat {g}}:\Omega \to \mathbb {R} } 379: 326: 294: 265: 237: 176: 136: 116: 71: 1484:{\textstyle h=\sum _{i=1}^{m}v_{i}{\hat {g}}_{i}} 1898: 1032: 466: 2504:(1950), "On estimating restricted parameters", 635:A generalization to the multivariable case is: 1558:in the variational representation to obtain: 8: 2635:(2nd ed.), Springer, pp. 113–114, 1781: 1707: 111: 86: 1883:{\displaystyle v\neq 0\in \mathbb {R} ^{m}} 1525:{\displaystyle v\neq 0\in \mathbb {R} ^{m}} 725:{\displaystyle \theta ,\theta '\in \Theta } 639: 417:{\displaystyle \theta ,\theta '\in \Theta } 338: 177:{\displaystyle \theta ,\theta '\in \Theta } 2040:{\displaystyle \Omega ={\mathcal {X}}^{n}} 43:The bound was independently discovered by 2557: 2435: 2429: 2383: 2357: 2356: 2354: 2324: 2304: 2277: 2271: 2270: 2255: 2254: 2252: 2232: 2208: 2203: 2190: 2184: 2163: 2159: 2158: 2143: 2122: 2116: 2096: 2075: 2074: 2072: 2052: 2031: 2025: 2024: 2015: 1980: 1970: 1948: 1933: 1920: 1913: 1901: 1895: 1874: 1870: 1869: 1854: 1819: 1818: 1806: 1796: 1784: 1766: 1765: 1756: 1735: 1734: 1720: 1704: 1680: 1668: 1649: 1622: 1612: 1600: 1582: 1569: 1563: 1537: 1516: 1512: 1511: 1496: 1475: 1464: 1463: 1456: 1446: 1435: 1423: 1398: 1366: 1365: 1353: 1341: 1323: 1322: 1313: 1292: 1291: 1277: 1267: 1255: 1237: 1224: 1218: 1197: 1173: 1149: 1148: 1140: 1104: 1092: 1073: 1051: 1041: 1035: 1007: 1001: 957: 956: 947: 926: 925: 911: 895: 880: 879: 867: 857: 839: 838: 829: 808: 807: 793: 774: 756: 743: 737: 700: 679: 675: 674: 653: 652: 650: 609: 591: 578: 566: 548: 547: 538: 517: 516: 502: 492: 469: 448: 447: 435: 429: 392: 373: 372: 352: 351: 349: 313: 307: 286: 280: 257: 251: 226: 208: 195: 189: 152: 129: 93: 84: 64: 2493: 645:Given any multivariate random variable 1890:, using the linear algebra fact that 7: 2631:Lehmann, E. L.; Casella, G. (1998), 2586: 2584: 47:in 1950, and by Douglas Chapman and 2600:Lecture notes on information theory 2402:{\displaystyle \theta '\to \theta } 2002:, we obtain the multivariate case. 2444:{\displaystyle \lambda _{\theta }} 2286: 2151: 2131:{\displaystyle \lambda _{\theta }} 2017: 719: 667: 487: 411: 366: 171: 131: 108: 66: 14: 2545:Annals of Mathematical Statistics 344:Given any scalar random variable 26:Hammersley–Chapman–Robbins bound 2609:from the original on 2022-05-24 327:{\displaystyle \mu _{\theta '}} 2393: 2362: 2283: 2260: 2084:{\displaystyle {\mathcal {X}}} 1830: 1824: 1815: 1777: 1771: 1762: 1746: 1740: 1731: 1695: 1689: 1665: 1661: 1655: 1639: 1633: 1615: 1606: 1575: 1469: 1377: 1371: 1362: 1338: 1334: 1328: 1319: 1303: 1297: 1288: 1270: 1261: 1230: 1154: 1119: 1113: 1089: 1085: 1079: 1063: 1057: 1044: 1025: 1013: 971: 968: 962: 953: 937: 931: 922: 904: 892: 885: 876: 854: 850: 844: 835: 819: 813: 804: 786: 780: 749: 670: 658: 615: 584: 563: 559: 553: 544: 528: 522: 513: 495: 459: 453: 444: 369: 357: 295:{\displaystyle \mu _{\theta }} 232: 201: 1: 2463:) is non-differentiable, the 2006:Relation to Cramér–Rao bound 2247:-fold product measure, and 2680: 2633:Theory of Point Estimation 2371:{\displaystyle {\hat {g}}} 2591:Polyanskiy, Yury (2017). 266:{\displaystyle \chi ^{2}} 2659:Statistical inequalities 2091:-valued random variable 1411:{\displaystyle \theta '} 28:is a lower bound on the 2559:10.1214/aoms/1177729548 2312:{\displaystyle \theta } 2067:independent draws of a 2047:is the sample space of 137:{\displaystyle \Omega } 72:{\displaystyle \Theta } 2445: 2403: 2372: 2339: 2313: 2293: 2241: 2221: 2173: 2132: 2105: 2085: 2061: 2041: 1996: 1884: 1843: 1552: 1526: 1485: 1451: 1412: 1387: 1207: 1129: 978: 726: 689: 625: 418: 381: 328: 296: 267: 239: 178: 138: 118: 73: 2446: 2404: 2373: 2340: 2314: 2294: 2242: 2222: 2174: 2133: 2106: 2086: 2062: 2042: 1997: 1885: 1844: 1553: 1527: 1486: 1431: 1413: 1388: 1208: 1130: 979: 727: 690: 626: 419: 382: 329: 297: 268: 240: 179: 139: 119: 74: 22:Chapman–Robbins bound 2428: 2382: 2353: 2323: 2303: 2251: 2231: 2183: 2142: 2115: 2095: 2071: 2051: 2014: 1894: 1853: 1562: 1536: 1495: 1422: 1397: 1217: 1139: 1000: 736: 699: 649: 428: 391: 348: 306: 279: 250: 188: 151: 128: 83: 63: 2338:{\displaystyle m=1} 2299:is an estimator of 2216: 1849:Take supremum over 1551:{\displaystyle g=h} 643: —  342: —  2465:Fisher information 2441: 2399: 2368: 2335: 2309: 2289: 2237: 2217: 2199: 2169: 2128: 2111:with distribution 2101: 2081: 2057: 2037: 1992: 1912: 1880: 1839: 1548: 1522: 1481: 1408: 1383: 1203: 1125: 1040: 974: 722: 685: 641: 621: 491: 414: 377: 340: 324: 292: 263: 235: 174: 134: 114: 69: 2664:Estimation theory 2502:Hammersley, J. M. 2482:Estimation theory 2365: 2263: 2240:{\displaystyle n} 2104:{\displaystyle X} 2060:{\displaystyle n} 1961: 1897: 1837: 1827: 1774: 1743: 1699: 1472: 1381: 1374: 1331: 1300: 1157: 1123: 1031: 965: 934: 888: 847: 816: 661: 619: 556: 525: 465: 456: 360: 2671: 2645: 2618: 2617: 2615: 2614: 2608: 2597: 2588: 2579: 2578: 2561: 2538:Chapman, D. G.; 2535: 2529: 2528: 2498: 2477:Cramér–Rao bound 2450: 2448: 2447: 2442: 2440: 2439: 2408: 2406: 2405: 2400: 2392: 2377: 2375: 2374: 2369: 2367: 2366: 2358: 2347:Cramér–Rao bound 2344: 2342: 2341: 2336: 2318: 2316: 2315: 2310: 2298: 2296: 2295: 2290: 2282: 2281: 2276: 2275: 2265: 2264: 2256: 2246: 2244: 2243: 2238: 2226: 2224: 2223: 2218: 2215: 2207: 2195: 2194: 2178: 2176: 2175: 2170: 2168: 2167: 2162: 2137: 2135: 2134: 2129: 2127: 2126: 2110: 2108: 2107: 2102: 2090: 2088: 2087: 2082: 2080: 2079: 2066: 2064: 2063: 2058: 2046: 2044: 2043: 2038: 2036: 2035: 2030: 2029: 2001: 1999: 1998: 1993: 1988: 1987: 1975: 1974: 1962: 1960: 1953: 1952: 1942: 1938: 1937: 1925: 1924: 1914: 1911: 1889: 1887: 1886: 1881: 1879: 1878: 1873: 1848: 1846: 1845: 1840: 1838: 1836: 1829: 1828: 1820: 1811: 1810: 1801: 1800: 1790: 1789: 1788: 1776: 1775: 1767: 1761: 1760: 1745: 1744: 1736: 1730: 1729: 1728: 1705: 1700: 1698: 1685: 1684: 1674: 1673: 1672: 1654: 1653: 1632: 1631: 1630: 1613: 1605: 1604: 1592: 1591: 1590: 1574: 1573: 1557: 1555: 1554: 1549: 1531: 1529: 1528: 1523: 1521: 1520: 1515: 1490: 1488: 1487: 1482: 1480: 1479: 1474: 1473: 1465: 1461: 1460: 1450: 1445: 1417: 1415: 1414: 1409: 1407: 1392: 1390: 1389: 1384: 1382: 1380: 1376: 1375: 1367: 1358: 1357: 1347: 1346: 1345: 1333: 1332: 1324: 1318: 1317: 1302: 1301: 1293: 1287: 1286: 1285: 1268: 1260: 1259: 1247: 1246: 1245: 1229: 1228: 1212: 1210: 1209: 1204: 1202: 1201: 1183: 1182: 1181: 1159: 1158: 1150: 1134: 1132: 1131: 1126: 1124: 1122: 1109: 1108: 1098: 1097: 1096: 1078: 1077: 1056: 1055: 1042: 1039: 1012: 1011: 983: 981: 980: 975: 967: 966: 958: 952: 951: 936: 935: 927: 921: 920: 919: 903: 902: 890: 889: 881: 872: 871: 862: 861: 849: 848: 840: 834: 833: 818: 817: 809: 803: 802: 801: 779: 778: 766: 765: 764: 748: 747: 731: 729: 728: 723: 715: 694: 692: 691: 686: 684: 683: 678: 663: 662: 654: 644: 630: 628: 627: 622: 620: 618: 614: 613: 601: 600: 599: 583: 582: 572: 571: 570: 558: 557: 549: 543: 542: 527: 526: 518: 512: 511: 510: 493: 490: 477: 458: 457: 449: 440: 439: 423: 421: 420: 415: 407: 386: 384: 383: 378: 376: 362: 361: 353: 343: 333: 331: 330: 325: 323: 322: 321: 301: 299: 298: 293: 291: 290: 272: 270: 269: 264: 262: 261: 244: 242: 241: 236: 231: 230: 218: 217: 216: 200: 199: 183: 181: 180: 175: 167: 143: 141: 140: 135: 123: 121: 120: 115: 98: 97: 78: 76: 75: 70: 38:Cramér–Rao bound 2679: 2678: 2674: 2673: 2672: 2670: 2669: 2668: 2649: 2648: 2643: 2630: 2627: 2625:Further reading 2622: 2621: 2612: 2610: 2606: 2595: 2590: 2589: 2582: 2537: 2536: 2532: 2500: 2499: 2495: 2490: 2473: 2431: 2426: 2425: 2385: 2380: 2379: 2351: 2350: 2321: 2320: 2301: 2300: 2269: 2249: 2248: 2229: 2228: 2186: 2181: 2180: 2157: 2140: 2139: 2118: 2113: 2112: 2093: 2092: 2069: 2068: 2049: 2048: 2023: 2012: 2011: 2008: 1976: 1966: 1944: 1943: 1929: 1916: 1915: 1892: 1891: 1868: 1851: 1850: 1802: 1792: 1791: 1780: 1752: 1721: 1716: 1706: 1676: 1675: 1664: 1645: 1623: 1618: 1614: 1596: 1583: 1578: 1565: 1560: 1559: 1534: 1533: 1532:. Then plug in 1510: 1493: 1492: 1462: 1452: 1420: 1419: 1400: 1395: 1394: 1349: 1348: 1337: 1309: 1278: 1273: 1269: 1251: 1238: 1233: 1220: 1215: 1214: 1193: 1174: 1169: 1137: 1136: 1100: 1099: 1088: 1069: 1047: 1043: 1003: 998: 997: 990: 985: 943: 912: 907: 891: 863: 853: 825: 794: 789: 770: 757: 752: 739: 734: 733: 708: 697: 696: 673: 647: 646: 642: 633: 605: 592: 587: 574: 573: 562: 534: 503: 498: 494: 470: 431: 426: 425: 400: 389: 388: 346: 345: 341: 314: 309: 304: 303: 282: 277: 276: 253: 248: 247: 222: 209: 204: 191: 186: 185: 160: 149: 148: 126: 125: 89: 81: 80: 61: 60: 57: 49:Herbert Robbins 45:John Hammersley 12: 11: 5: 2677: 2675: 2667: 2666: 2661: 2651: 2650: 2647: 2646: 2641: 2626: 2623: 2620: 2619: 2580: 2552:(4): 581–586, 2530: 2512:(2): 192–240, 2492: 2491: 2489: 2486: 2485: 2484: 2479: 2472: 2469: 2438: 2434: 2398: 2395: 2391: 2388: 2364: 2361: 2334: 2331: 2328: 2308: 2288: 2285: 2280: 2274: 2268: 2262: 2259: 2236: 2214: 2211: 2206: 2202: 2198: 2193: 2189: 2166: 2161: 2156: 2153: 2150: 2147: 2125: 2121: 2100: 2078: 2056: 2034: 2028: 2022: 2019: 2007: 2004: 1991: 1986: 1983: 1979: 1973: 1969: 1965: 1959: 1956: 1951: 1947: 1941: 1936: 1932: 1928: 1923: 1919: 1910: 1907: 1904: 1900: 1877: 1872: 1867: 1864: 1861: 1858: 1835: 1832: 1826: 1823: 1817: 1814: 1809: 1805: 1799: 1795: 1787: 1783: 1779: 1773: 1770: 1764: 1759: 1755: 1751: 1748: 1742: 1739: 1733: 1727: 1724: 1719: 1715: 1712: 1709: 1703: 1697: 1694: 1691: 1688: 1683: 1679: 1671: 1667: 1663: 1660: 1657: 1652: 1648: 1644: 1641: 1638: 1635: 1629: 1626: 1621: 1617: 1611: 1608: 1603: 1599: 1595: 1589: 1586: 1581: 1577: 1572: 1568: 1547: 1544: 1541: 1519: 1514: 1509: 1506: 1503: 1500: 1478: 1471: 1468: 1459: 1455: 1449: 1444: 1441: 1438: 1434: 1430: 1427: 1406: 1403: 1379: 1373: 1370: 1364: 1361: 1356: 1352: 1344: 1340: 1336: 1330: 1327: 1321: 1316: 1312: 1308: 1305: 1299: 1296: 1290: 1284: 1281: 1276: 1272: 1266: 1263: 1258: 1254: 1250: 1244: 1241: 1236: 1232: 1227: 1223: 1200: 1196: 1192: 1189: 1186: 1180: 1177: 1172: 1168: 1165: 1162: 1156: 1153: 1147: 1144: 1121: 1118: 1115: 1112: 1107: 1103: 1095: 1091: 1087: 1084: 1081: 1076: 1072: 1068: 1065: 1062: 1059: 1054: 1050: 1046: 1038: 1034: 1030: 1027: 1024: 1021: 1018: 1015: 1010: 1006: 989: 986: 973: 970: 964: 961: 955: 950: 946: 942: 939: 933: 930: 924: 918: 915: 910: 906: 901: 898: 894: 887: 884: 878: 875: 870: 866: 860: 856: 852: 846: 843: 837: 832: 828: 824: 821: 815: 812: 806: 800: 797: 792: 788: 785: 782: 777: 773: 769: 763: 760: 755: 751: 746: 742: 721: 718: 714: 711: 707: 704: 682: 677: 672: 669: 666: 660: 657: 637: 617: 612: 608: 604: 598: 595: 590: 586: 581: 577: 569: 565: 561: 555: 552: 546: 541: 537: 533: 530: 524: 521: 515: 509: 506: 501: 497: 489: 486: 483: 480: 476: 473: 468: 464: 461: 455: 452: 446: 443: 438: 434: 413: 410: 406: 403: 399: 396: 387:, and any two 375: 371: 368: 365: 359: 356: 336: 320: 317: 312: 289: 285: 260: 256: 234: 229: 225: 221: 215: 212: 207: 203: 198: 194: 173: 170: 166: 163: 159: 156: 133: 113: 110: 107: 104: 101: 96: 92: 88: 68: 56: 53: 13: 10: 9: 6: 4: 3: 2: 2676: 2665: 2662: 2660: 2657: 2656: 2654: 2644: 2642:0-387-98502-6 2638: 2634: 2629: 2628: 2624: 2605: 2601: 2594: 2587: 2585: 2581: 2577: 2573: 2569: 2565: 2560: 2555: 2551: 2547: 2546: 2541: 2534: 2531: 2527: 2523: 2519: 2515: 2511: 2507: 2503: 2497: 2494: 2487: 2483: 2480: 2478: 2475: 2474: 2470: 2468: 2466: 2462: 2458: 2454: 2436: 2432: 2423: 2419: 2415: 2410: 2396: 2389: 2386: 2359: 2348: 2332: 2329: 2326: 2306: 2278: 2266: 2257: 2234: 2212: 2209: 2204: 2200: 2196: 2191: 2187: 2164: 2154: 2148: 2145: 2123: 2119: 2098: 2054: 2032: 2020: 2005: 2003: 1989: 1984: 1981: 1977: 1971: 1967: 1963: 1957: 1954: 1949: 1945: 1939: 1934: 1930: 1926: 1921: 1917: 1908: 1905: 1902: 1875: 1865: 1862: 1859: 1856: 1833: 1821: 1812: 1807: 1803: 1797: 1793: 1785: 1768: 1757: 1753: 1749: 1737: 1725: 1722: 1717: 1713: 1710: 1701: 1692: 1686: 1681: 1677: 1669: 1658: 1650: 1646: 1642: 1636: 1627: 1624: 1619: 1609: 1601: 1597: 1593: 1587: 1584: 1579: 1570: 1566: 1545: 1542: 1539: 1517: 1507: 1504: 1501: 1498: 1476: 1466: 1457: 1453: 1447: 1442: 1439: 1436: 1432: 1428: 1425: 1404: 1401: 1368: 1359: 1354: 1350: 1342: 1325: 1314: 1310: 1306: 1294: 1282: 1279: 1274: 1264: 1256: 1252: 1248: 1242: 1239: 1234: 1225: 1221: 1213:, to obtain: 1198: 1194: 1190: 1187: 1184: 1178: 1175: 1170: 1166: 1163: 1160: 1151: 1145: 1142: 1116: 1110: 1105: 1101: 1093: 1082: 1074: 1070: 1066: 1060: 1052: 1048: 1036: 1028: 1022: 1019: 1016: 1008: 1004: 995: 987: 984: 959: 948: 944: 940: 928: 916: 913: 908: 899: 896: 882: 873: 868: 864: 858: 841: 830: 826: 822: 810: 798: 795: 790: 783: 775: 771: 767: 761: 758: 753: 744: 740: 716: 712: 709: 705: 702: 680: 664: 655: 636: 632: 610: 606: 602: 596: 593: 588: 579: 575: 567: 550: 539: 535: 531: 519: 507: 504: 499: 484: 481: 478: 474: 471: 462: 450: 441: 436: 432: 408: 404: 401: 397: 394: 363: 354: 335: 318: 315: 310: 287: 283: 274: 258: 254: 227: 223: 219: 213: 210: 205: 196: 192: 168: 164: 161: 157: 154: 145: 105: 102: 99: 94: 90: 54: 52: 50: 46: 41: 39: 35: 31: 27: 23: 19: 2632: 2611:. Retrieved 2599: 2549: 2543: 2533: 2509: 2505: 2496: 2460: 2456: 2452: 2421: 2417: 2413: 2411: 2319:. Then, for 2009: 991: 638: 634: 337: 147:For any two 146: 58: 42: 25: 21: 15: 2540:Robbins, H. 273:-divergence 2653:Categories 2613:2022-05-24 2488:References 2138:from a by 695:, and any 424:, we have 34:estimators 18:statistics 2437:θ 2433:λ 2397:θ 2394:→ 2387:θ 2363:^ 2307:θ 2287:Θ 2284:→ 2261:^ 2210:⊗ 2205:θ 2201:λ 2192:θ 2188:μ 2155:⊆ 2152:Θ 2149:∈ 2146:θ 2124:θ 2120:λ 2018:Ω 2010:Usually, 1982:− 1906:≠ 1866:∈ 1860:≠ 1825:^ 1813:⁡ 1808:θ 1782:⟩ 1772:^ 1758:θ 1750:− 1741:^ 1723:θ 1708:⟨ 1687:⁡ 1682:θ 1651:θ 1643:− 1625:θ 1610:≥ 1602:θ 1598:μ 1585:θ 1580:μ 1567:χ 1508:∈ 1502:≠ 1470:^ 1433:∑ 1402:θ 1372:^ 1360:⁡ 1355:θ 1329:^ 1315:θ 1307:− 1298:^ 1280:θ 1265:≥ 1257:θ 1253:μ 1240:θ 1235:μ 1222:χ 1199:θ 1195:μ 1176:θ 1171:μ 1155:^ 1111:⁡ 1067:− 1005:χ 963:^ 949:θ 941:− 932:^ 914:θ 897:− 886:^ 874:⁡ 869:θ 845:^ 831:θ 823:− 814:^ 796:θ 784:≥ 776:θ 772:μ 759:θ 754:μ 741:χ 720:Θ 717:∈ 710:θ 703:θ 671:→ 668:Ω 659:^ 611:θ 607:μ 594:θ 589:μ 576:χ 554:^ 540:θ 532:− 523:^ 505:θ 488:Θ 485:∈ 482:θ 479:≠ 472:θ 463:≥ 454:^ 442:⁡ 437:θ 412:Θ 409:∈ 402:θ 395:θ 370:→ 367:Ω 358:^ 316:θ 311:μ 288:θ 284:μ 255:χ 228:θ 224:μ 211:θ 206:μ 193:χ 172:Θ 169:∈ 162:θ 155:θ 132:Ω 109:Θ 106:∈ 103:θ 95:θ 91:μ 67:Θ 55:Statement 51:in 1951. 2604:Archived 2471:See also 2390:′ 1726:′ 1628:′ 1588:′ 1491:for any 1405:′ 1283:′ 1243:′ 1179:′ 1135:Plug in 917:′ 799:′ 762:′ 713:′ 597:′ 508:′ 475:′ 405:′ 334:. Then: 319:′ 214:′ 165:′ 30:variance 2576:0044084 2568:2236927 2526:0040631 2518:2983981 2451:. When 2227:is its 992:By the 640:Theorem 339:Theorem 245:be the 2639:  2574:  2566:  2524:  2516:  184:, let 20:, the 2607:(PDF) 2596:(PDF) 2564:JSTOR 2514:JSTOR 2424:) of 2378:when 988:Proof 275:from 2637:ISBN 59:Let 2554:doi 2349:of 1899:sup 1804:Cov 1678:Var 1351:Var 1102:Var 1033:sup 865:Cov 732:, 467:sup 433:Var 302:to 144:. 124:on 32:of 24:or 16:In 2655:: 2602:. 2598:. 2583:^ 2572:MR 2570:, 2562:, 2550:22 2548:, 2522:MR 2520:, 2510:12 2508:, 2459:; 2420:; 631:. 2616:. 2556:: 2461:θ 2457:x 2455:( 2453:p 2422:θ 2418:x 2416:( 2414:p 2360:g 2333:1 2330:= 2327:m 2279:n 2273:X 2267:: 2258:g 2235:n 2213:n 2197:= 2165:m 2160:R 2099:X 2077:X 2055:n 2033:n 2027:X 2021:= 1990:w 1985:1 1978:M 1972:T 1968:w 1964:= 1958:v 1955:M 1950:T 1946:v 1940:v 1935:T 1931:w 1927:w 1922:T 1918:v 1909:0 1903:v 1876:m 1871:R 1863:0 1857:v 1834:v 1831:] 1822:g 1816:[ 1798:T 1794:v 1786:2 1778:] 1769:g 1763:[ 1754:E 1747:] 1738:g 1732:[ 1718:E 1714:, 1711:v 1702:= 1696:] 1693:h 1690:[ 1670:2 1666:) 1662:] 1659:h 1656:[ 1647:E 1640:] 1637:h 1634:[ 1620:E 1616:( 1607:) 1594:; 1576:( 1571:2 1546:h 1543:= 1540:g 1518:m 1513:R 1505:0 1499:v 1477:i 1467:g 1458:i 1454:v 1448:m 1443:1 1440:= 1437:i 1429:= 1426:h 1378:] 1369:g 1363:[ 1343:2 1339:) 1335:] 1326:g 1320:[ 1311:E 1304:] 1295:g 1289:[ 1275:E 1271:( 1262:) 1249:; 1231:( 1226:2 1191:= 1188:Q 1185:, 1167:= 1164:P 1161:, 1152:g 1146:= 1143:g 1120:] 1117:g 1114:[ 1106:Q 1094:2 1090:) 1086:] 1083:g 1080:[ 1075:Q 1071:E 1064:] 1061:g 1058:[ 1053:P 1049:E 1045:( 1037:g 1029:= 1026:) 1023:Q 1020:; 1017:P 1014:( 1009:2 996:: 972:) 969:] 960:g 954:[ 945:E 938:] 929:g 923:[ 909:E 905:( 900:1 893:] 883:g 877:[ 859:T 855:) 851:] 842:g 836:[ 827:E 820:] 811:g 805:[ 791:E 787:( 781:) 768:; 750:( 745:2 706:, 681:m 676:R 665:: 656:g 616:) 603:; 585:( 580:2 568:2 564:) 560:] 551:g 545:[ 536:E 529:] 520:g 514:[ 500:E 496:( 460:] 451:g 445:[ 398:, 374:R 364:: 355:g 259:2 233:) 220:; 202:( 197:2 158:, 112:} 100:: 87:{

Index

statistics
variance
estimators
Cramér–Rao bound
John Hammersley
Herbert Robbins
χ 2 {\displaystyle \chi ^{2}} -divergence
variational representation of chi-squared divergence
Cramér–Rao bound
Fisher information
Cramér–Rao bound
Estimation theory
Hammersley, J. M.
JSTOR
2983981
MR
0040631
Robbins, H.
Annals of Mathematical Statistics
doi
10.1214/aoms/1177729548
JSTOR
2236927
MR
0044084


"Lecture notes on information theory, chapter 29, ECE563 (UIUC)"
Archived
ISBN

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.