2729:
3527:
2453:
3981:
2996:
Software has been developed to automate the task of proving
Shannon-type inequalities. Given an inequality, such software is able to determine whether the given inequality is a valid Shannon-type inequality (i.e., whether it contains the cone
36:
that subsets of one set of random variables may take. Understanding which vectors are entropic is a way to represent all possible inequalities between entropies of various subsets. For example, for any two random variables
5432:
In 2000, Hammer et al. proved that indeed an inequality holds for entropic vectors if and only if the corresponding inequality in terms of
Kolmogorov complexity holds up to logarithmic terms for all tuples of strings.
2388:
282:
can be expressed in terms of joint entropy and are thus related by the corresponding inequalities. Many inequalities satisfied by entropic vectors can be derived as linear combinations of a few basic ones, called
4672:
1847:
3260:
1721:
5427:
3208:
607:
4751:
827:
4385:
2164:
518:
265:
2458:
4946:
3156:
714:
4822:
3758:
3719:
3661:
3569:
2114:
3111:
2438:
2046:
1151:
4210:
3294:
2253:
1994:
1050:
434:
5025:
4076:
1325:
1277:
1776:
1642:
4166:
4554:
1912:
923:
5186:
4296:
2724:{\displaystyle {\begin{aligned}I(X;Y\mid Z)&=H(X\mid Z)-H(X\mid Y,Z)\\&=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)\\&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&\geq 0\end{aligned}}}
1507:
967:
4783:
3062:
2991:
1206:
2209:
4849:
4706:
2921:
1556:
1101:
3800:
3288:, by proving that the following inequality on four random variables (in terms of conditional mutual information) is true for any entropic vector, but is not Shannon-type:
853:
3785:
3596:
3022:
2959:
1430:
115:
75:
643:
3622:
3286:
2882:
2849:
1377:
1232:
5262:
5221:
4489:
3663:
is not polyhedral. Whether they can be characterized in some other way (allowing to effectively decide whether a vector is entropic or not) remains an open problem.
4456:
4123:
2816:
880:
741:
169:
142:
5108:
375:
5154:
2784:
2758:
311:
5302:
5282:
5128:
5079:
5045:
4966:
4869:
4429:
4409:
4250:
4230:
4096:
4017:
1174:
991:
346:
5614:
2272:
4562:
5442:
1781:
5879:
5861:
3213:
1649:
5314:
3161:
3032:
The question of whether
Shannon-type inequalities are the only ones, that is, whether they completely characterize the region
2444:
523:
4711:
3598:. In 2007, Matus proved that no finite set of linear inequalities is sufficient (to deduce all as linear combinations), for
746:
4304:
2119:
1344:
443:
177:
3532:
Further inequalities and infinite families of inequalities have been found. These inequalities provide outer bounds for
4874:
5894:
3116:
5061:
satisfies essentially the same inequalities as entropy. Namely, denote the
Kolmogorov complexity of a finite string
648:
4788:
3724:
3685:
3671:
3627:
3535:
2054:
3522:{\displaystyle 2I(X_{3};X_{4})\leq I(X_{1};X_{2})+I(X_{1};X_{3},X_{4})+3I(X_{3};X_{4}|X_{1})+I(X_{3};X_{4}|X_{2})}
3071:
2393:
2002:
1106:
4171:
2214:
1940:
996:
380:
4971:
4681:
if it can be obtained from a tuple of subgroups as above. The set of group-characterizable vectors is denoted
4491:). Thus any information-theoretic inequality implies a group-theoretic one. For example, the basic inequality
4022:
3789:
1289:
1241:
4851:. In other words, a linear inequality holds for all entropic vectors if and only if it holds for all vectors
1728:
1561:
4128:
271:
4494:
3787:
which additionally satisfy the following inequality (and those obtained by permuting variables), known as
1852:
892:
5159:
1286:
and hence characterized by the (infinitely many) linear inequalities it satisfies. Describing the region
5224:
5058:
4255:
1441:
5498:
Zhang, Z.; Yeung, R.W. (1998). "On
Characterization of Entropy Function via Information Inequalities".
5464:
Zhang, Z.; Yeung, R.W. (1997). "A Non-Shannon-Type
Conditional Inequality of Information Quantities".
928:
5749:
4756:
3976:{\displaystyle I(X_{1};X_{2})+I(X_{3};X_{4}\mid X_{1})+I(X_{3};X_{4}\mid X_{2})-I(X_{3};X_{4})\geq 0}
3035:
2964:
1179:
2172:
313:
variables, no finite set of linear inequalities is sufficient to characterize all entropic vectors.
4827:
4684:
3997:
3667:
2887:
1515:
1055:
325:
33:
832:
5765:
5739:
5631:
5612:
Matus, F. (1999). "Conditional independences among four random variables III: Final conclusion".
5560:
3763:
3574:
3065:
3000:
2937:
2926:
Many inequalities can be derived as linear combinations of
Shannon inequalities; they are called
1385:
1235:
275:
80:
40:
25:
5875:
5857:
5305:
612:
279:
5050:
Group-characterizable vectors that come from an abelian group satisfy
Ingleton's inequality.
3601:
3265:
2854:
2821:
1350:
1211:
5835:
5757:
5695:
5662:
5623:
5507:
5473:
5230:
5191:
4464:
4434:
4101:
2789:
858:
719:
147:
120:
5084:
2734:(For one direction, observe this the last form expresses Shannon's inequality for subsets
351:
5133:
2763:
2737:
290:
5753:
5594:
5287:
5267:
5113:
5064:
5030:
4951:
4854:
4677:
It turns out the converse is essentially true. More precisely, a vector is said to be
4414:
4394:
4235:
4215:
4081:
4002:
1159:
976:
331:
321:
29:
5888:
5635:
437:
5769:
2934:
of
Shannon's information measures. The set of vectors that satisfies them is called
1327:
is thus equivalent to characterizing all possible inequalities on joint entropies.
1283:
77:, their joint entropy (the entropy of the random variable representing the pair
3158:; however, it is still asymptotically true, meaning that the closure is equal:
5761:
5700:
5683:
5667:
5650:
5627:
3068:
in 1986. It is not hard to show that this is true for two variables, that is,
2263:
1280:
1849:), because any pair of random variables (independent or not) should satisfy
5840:
5823:
2383:{\displaystyle 3)\quad H(X_{I})+H(X_{J})\geq H(X_{I\cup J})+H(X_{I\cap J})}
5744:
5308:
noticed these notions behave similarly to
Shannon entropy, for example:
5730:
Linden; Winter (2005). "A New Inequality for the von Neumann Entropy".
5526:
5511:
5477:
5557:
Equivalence of Two Proof Techniques for Non-Shannon-type Inequalities
4667:{\displaystyle |G|\cdot |G_{1}\cap G_{2}|\geq |G_{1}|\cdot |G_{2}|.}
4824:) is contained in the topological closure of the convex closure of
5565:
4459:
1435:(since each is uniformly distributed over a two-element set), and
743:
can be understood as the random variable representing the tuple
1842:{\displaystyle (0,1,1,3)^{\mathsf {T}}\not \in \Gamma _{2}^{*}}
1512:(since the two variables are independent, which means the pair
4232:. It is possible to construct a probability distribution for
3992:
Group-characterizable vectors and quasi-uniform distributions
3255:{\displaystyle {\overline {\Gamma _{n}^{*}}}\neq \Gamma _{n}}
3064:, was first asked by Te Su Han in 1981 and more precisely by
5824:"Inequalities for Shannon Entropy and Kolmogorov Complexity"
5651:"A new class of non-Shannon-type inequalities for entropies"
1716:{\displaystyle v=(0,1,1,2)^{\mathsf {T}}\in \Gamma _{2}^{*}}
5559:. 2013 IEEE International Symposium on Information Theory.
5719:. 2007 IEEE International Symposium on Information Theory.
5601:. 2006 IEEE International Symposium on Information Theory.
5110:(that is, the length of the shortest program that outputs
5422:{\displaystyle K(a)+K(b)\geq K(a,b)-O(\log |a|+\log |b|)}
3203:{\displaystyle {\overline {\Gamma _{3}^{*}}}=\Gamma _{3}}
5541:
5540:
Pulikkoonattu, R.; E.Perron, E.; S.Diggavi, S. (2007).
5156:, defined as the complexity of an encoding of the pair
602:{\displaystyle H(X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}})}
4746:{\displaystyle \Upsilon ^{n}\subseteq \Gamma _{n}^{*}}
822:{\displaystyle (X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}})}
5317:
5290:
5270:
5233:
5194:
5162:
5136:
5116:
5087:
5067:
5033:
4974:
4954:
4877:
4857:
4830:
4791:
4759:
4714:
4687:
4565:
4497:
4467:
4437:
4417:
4397:
4307:
4258:
4238:
4218:
4174:
4131:
4104:
4084:
4025:
4005:
3803:
3766:
3727:
3688:
3630:
3604:
3577:
3538:
3297:
3268:
3216:
3164:
3119:
3074:
3038:
3003:
2967:
2940:
2890:
2857:
2824:
2792:
2766:
2740:
2456:
2396:
2275:
2217:
2175:
2122:
2057:
2005:
1943:
1855:
1784:
1731:
1652:
1564:
1518:
1444:
1388:
1353:
1292:
1244:
1214:
1182:
1162:
1109:
1058:
999:
979:
931:
895:
861:
835:
749:
722:
651:
615:
526:
446:
383:
354:
334:
293:
180:
150:
123:
83:
43:
4380:{\displaystyle H(X_{I})=\log {\frac {|G|}{|G_{I}|}}}
2443:
It is equivalent to the inequality stating that the
2159:{\displaystyle I\subseteq J\subseteq \{1,\dots ,n\}}
1208:. Zhang and Yeung proved that it is not closed (for
513:{\displaystyle X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}}}
260:{\displaystyle H(X_{1},X_{2})\leq H(X_{1})+H(X_{2})}
5542:"Xitip - Information Theoretic Inequalities Prover"
3113:. For three variables, Zhang and Yeung proved that
5684:"On a new non-Shannon-type information inequality"
5421:
5296:
5276:
5256:
5215:
5180:
5148:
5122:
5102:
5073:
5039:
5019:
4960:
4940:
4863:
4843:
4816:
4777:
4745:
4700:
4666:
4548:
4483:
4450:
4423:
4403:
4379:
4290:
4244:
4224:
4204:
4160:
4117:
4090:
4070:
4011:
3975:
3779:
3752:
3713:
3655:
3616:
3590:
3563:
3521:
3280:
3254:
3202:
3150:
3105:
3056:
3016:
2985:
2953:
2915:
2876:
2843:
2810:
2778:
2752:
2723:
2432:
2382:
2247:
2203:
2158:
2108:
2040:
1988:
1918:Characterizing entropic vectors: the region Γ
1906:
1841:
1770:
1715:
1636:
1550:
1501:
1424:
1371:
1319:
1271:
1226:
1200:
1168:
1145:
1095:
1044:
985:
961:
917:
874:
847:
821:
735:
708:
637:
601:
512:
428:
369:
340:
305:
259:
163:
136:
109:
69:
5822:Hammer; Romashchenko; Shen; Vereshchagin (2000).
5264:(the length of the shortest program that outputs
4941:{\displaystyle h_{I}=\log {\frac {|G|}{|G_{I}|}}}
882:denotes a deterministic variable with entropy 0.
5527:"ITIP - Information Theoretic Inequality Prover"
4391:(The construction essentially takes an element
3151:{\displaystyle \Gamma _{3}^{*}\neq \Gamma _{3}}
287:. However, it has been proven that already for
5459:
5457:
1644:.) The corresponding entropic vector is thus:
709:{\displaystyle I=\{i_{1},i_{2},\dots ,i_{k}\}}
4968:goes over subsets of some tuple of subgroups
4817:{\displaystyle {\overline {\Gamma _{n}^{*}}}}
3753:{\displaystyle {\overline {\Gamma _{4}^{*}}}}
3714:{\displaystyle {\overline {\Gamma _{n}^{*}}}}
3656:{\displaystyle {\overline {\Gamma _{4}^{*}}}}
3564:{\displaystyle {\overline {\Gamma _{n}^{*}}}}
2109:{\displaystyle 2)\quad H(X_{I})\leq H(X_{J})}
270:Other information-theoretic measures such as
8:
5599:Six New Non-Shannon Information Inequalities
5493:
5491:
5489:
5487:
5175:
5163:
4199:
4181:
2427:
2409:
2242:
2224:
2153:
2135:
1366:
1354:
1140:
1116:
993:if there exists a tuple of random variables
956:
932:
703:
658:
3106:{\displaystyle \Gamma _{2}^{*}=\Gamma _{2}}
2433:{\displaystyle I,J\subseteq \{1,\dots ,n\}}
2041:{\displaystyle 1)\quad H(X_{\emptyset })=0}
1146:{\displaystyle I\subseteq \{1,2,\dots ,n\}}
5839:
5743:
5699:
5688:Communications in Information and Systems
5666:
5655:Communications in Information and Systems
5564:
5411:
5403:
5389:
5381:
5316:
5289:
5269:
5243:
5232:
5193:
5161:
5135:
5115:
5086:
5066:
5032:
5011:
4992:
4979:
4973:
4953:
4930:
4924:
4915:
4908:
4900:
4897:
4882:
4876:
4856:
4835:
4829:
4803:
4798:
4792:
4790:
4769:
4764:
4758:
4737:
4732:
4719:
4713:
4692:
4686:
4656:
4650:
4641:
4633:
4627:
4618:
4610:
4604:
4591:
4582:
4574:
4566:
4564:
4496:
4475:
4466:
4442:
4436:
4416:
4396:
4369:
4363:
4354:
4347:
4339:
4336:
4318:
4306:
4282:
4263:
4257:
4237:
4217:
4205:{\displaystyle I\subseteq \{1,\dots ,n\}}
4173:
4152:
4136:
4130:
4109:
4103:
4083:
4062:
4043:
4030:
4024:
4004:
3958:
3945:
3923:
3910:
3897:
3875:
3862:
3849:
3827:
3814:
3802:
3771:
3765:
3739:
3734:
3728:
3726:
3700:
3695:
3689:
3687:
3642:
3637:
3631:
3629:
3603:
3582:
3576:
3550:
3545:
3539:
3537:
3510:
3501:
3495:
3482:
3460:
3451:
3445:
3432:
3407:
3394:
3381:
3359:
3346:
3324:
3311:
3296:
3267:
3246:
3228:
3223:
3217:
3215:
3194:
3176:
3171:
3165:
3163:
3142:
3129:
3124:
3118:
3097:
3084:
3079:
3073:
3048:
3043:
3037:
3008:
3002:
2977:
2972:
2966:
2945:
2939:
2901:
2889:
2868:
2856:
2835:
2823:
2791:
2765:
2739:
2457:
2455:
2395:
2365:
2337:
2315:
2293:
2274:
2248:{\displaystyle I\subseteq \{1,\dots ,n\}}
2216:
2186:
2174:
2121:
2097:
2075:
2056:
2023:
2004:
1989:{\displaystyle X_{1},X_{2},\ldots ,X_{n}}
1980:
1961:
1948:
1942:
1854:
1833:
1828:
1814:
1813:
1783:
1761:
1760:
1730:
1707:
1702:
1688:
1687:
1651:
1563:
1539:
1526:
1517:
1443:
1387:
1352:
1343:be two independent random variables with
1305:
1300:
1294:
1293:
1291:
1257:
1252:
1246:
1245:
1243:
1213:
1192:
1187:
1181:
1161:
1156:The set of all entropic vectors of order
1108:
1084:
1057:
1045:{\displaystyle X_{1},X_{2},\ldots ,X_{n}}
1036:
1017:
1004:
998:
978:
930:
907:
902:
898:
897:
894:
866:
860:
834:
808:
803:
782:
777:
762:
757:
748:
727:
721:
697:
678:
665:
650:
626:
614:
588:
583:
562:
557:
542:
537:
525:
502:
497:
476:
471:
456:
451:
445:
429:{\displaystyle X_{1},X_{2},\ldots ,X_{n}}
420:
401:
388:
382:
353:
333:
292:
248:
226:
204:
191:
179:
155:
149:
128:
122:
117:) is at most the sum of the entropies of
101:
88:
82:
61:
48:
42:
5717:Infinitely many information inequalities
5615:Combinatorics, Probability and Computing
5020:{\displaystyle G_{1},G_{2},\dots ,G_{n}}
4071:{\displaystyle G_{1},G_{2},\dots ,G_{n}}
1320:{\displaystyle {\bar {\Gamma _{n}^{*}}}}
1272:{\displaystyle {\bar {\Gamma _{n}^{*}}}}
5828:Journal of Computer and System Sciences
5453:
5130:). The joint complexity of two strings
3210:. In 1998, Zhang and Yeung showed that
1771:{\displaystyle (0,1,1,3)^{\mathsf {T}}}
1637:{\displaystyle (0,0),(0,1),(1,0),(1,1)}
28:. It represents the possible values of
4161:{\displaystyle \bigcap _{i\in I}G_{i}}
3624:variables. In other words, the region
2818:; for the other direction, substitute
1815:
1762:
1689:
7:
5868:A First Course in Information Theory
5810:A First Course in Information Theory
5797:A First Course in Information Theory
5784:A First Course in Information Theory
5649:Makarychev, K.; et al. (2002).
5581:A First Course in Information Theory
4549:{\displaystyle H(X,Y)\leq H(X)+H(Y)}
3721:are also known. One example is that
1928:Shannon-type inequalities and Γ
1907:{\displaystyle H(X,Y)\leq H(X)+H(Y)}
918:{\displaystyle \mathbb {R} ^{2^{n}}}
5181:{\displaystyle \langle x,y\rangle }
3571:better than the Shannon-type bound
5443:Inequalities in information theory
4832:
4795:
4761:
4729:
4716:
4689:
4291:{\displaystyle X_{1},\dots ,X_{n}}
3768:
3731:
3692:
3634:
3579:
3542:
3243:
3220:
3191:
3168:
3139:
3121:
3094:
3076:
3040:
3005:
2969:
2942:
2024:
1825:
1699:
1502:{\displaystyle H(X,Y)=H(X)+H(Y)=2}
1297:
1249:
1184:
842:
377:. For a tuple of random variables
14:
5852:Thomas M. Cover, Joy A. Thomas.
2262:says that an entropic vector is
1937:For a tuple of random variables
962:{\displaystyle \{1,2,\dots ,n\}}
5525:Yeung, R.W.; Yan, Y.O. (1996).
4778:{\displaystyle \Gamma _{n}^{*}}
3057:{\displaystyle \Gamma _{n}^{*}}
2986:{\displaystyle \Gamma _{n}^{*}}
2282:
2064:
2012:
1201:{\displaystyle \Gamma _{n}^{*}}
5854:Elements of information theory
5416:
5412:
5404:
5390:
5382:
5372:
5363:
5351:
5342:
5336:
5327:
5321:
5251:
5244:
5237:
5210:
5198:
5097:
5091:
4931:
4916:
4909:
4901:
4657:
4642:
4634:
4619:
4611:
4583:
4575:
4567:
4543:
4537:
4528:
4522:
4513:
4501:
4370:
4355:
4348:
4340:
4324:
4311:
3964:
3938:
3929:
3890:
3881:
3842:
3833:
3807:
3516:
3502:
3475:
3466:
3452:
3425:
3413:
3374:
3365:
3339:
3330:
3304:
2932:basic information inequalities
2701:
2695:
2686:
2668:
2659:
2647:
2638:
2626:
2610:
2592:
2583:
2571:
2562:
2550:
2534:
2516:
2507:
2495:
2482:
2464:
2445:conditional mutual information
2377:
2358:
2349:
2330:
2321:
2308:
2299:
2286:
2279:
2204:{\displaystyle H(X_{I})\geq 0}
2192:
2179:
2103:
2090:
2081:
2068:
2061:
2029:
2016:
2009:
1901:
1895:
1886:
1880:
1871:
1859:
1810:
1785:
1757:
1732:
1725:On the other hand, the vector
1684:
1659:
1631:
1619:
1613:
1601:
1595:
1583:
1577:
1565:
1558:is uniformly distributed over
1545:
1519:
1490:
1484:
1475:
1469:
1460:
1448:
1413:
1407:
1398:
1392:
1311:
1263:
1090:
1077:
1068:
1062:
816:
750:
632:
619:
596:
530:
364:
358:
254:
241:
232:
219:
210:
184:
1:
4844:{\displaystyle \Upsilon ^{n}}
4701:{\displaystyle \Upsilon ^{n}}
4431:uniformly at random and lets
4212:; this is also a subgroup of
3028:Non-Shannon-type inequalities
2916:{\displaystyle Z=X_{I\cap J}}
1551:{\displaystyle (X_{1},X_{2})}
1345:discrete uniform distribution
1096:{\displaystyle h(I)=H(X_{I})}
4809:
3745:
3706:
3648:
3556:
3234:
3182:
848:{\displaystyle I=\emptyset }
3780:{\displaystyle \Gamma _{4}}
3591:{\displaystyle \Gamma _{n}}
3017:{\displaystyle \Gamma _{n}}
2954:{\displaystyle \Gamma _{n}}
1996:, their entropies satisfy:
1425:{\displaystyle H(X)=H(Y)=1}
110:{\displaystyle X_{1},X_{2}}
70:{\displaystyle X_{1},X_{2}}
5911:
3672:quantum information theory
1778:is not entropic (that is,
5762:10.1007/s00220-005-1361-2
5701:10.4310/cis.2003.v3.n1.a4
5668:10.4310/cis.2002.v2.n2.a3
5628:10.1017/s0963548399003740
2928:Shannon-type inequalities
2390:, for any
285:Shannon-type inequalities
5872:Information Inequalities
3760:contains all vectors in
3666:Analogous questions for
2116:, for any
638:{\displaystyle H(X_{I})}
24:is a concept arising in
5856:New York: Wiley, 1991.
5500:IEEE Trans. Inf. Theory
5466:IEEE Trans. Inf. Theory
3617:{\displaystyle n\geq 4}
3281:{\displaystyle n\geq 4}
2877:{\displaystyle Y=X_{J}}
2844:{\displaystyle X=X_{I}}
1372:{\displaystyle \{0,1\}}
1227:{\displaystyle n\geq 3}
829:. For the empty subset
609:, or more concisely as
272:conditional information
5841:10.1006/jcss.1999.1677
5423:
5298:
5278:
5258:
5257:{\displaystyle K(x|y)}
5225:conditional complexity
5217:
5216:{\displaystyle K(x,y)}
5182:
5150:
5124:
5104:
5075:
5041:
5021:
4962:
4942:
4865:
4845:
4818:
4779:
4747:
4702:
4668:
4550:
4485:
4484:{\displaystyle aG_{i}}
4452:
4425:
4405:
4381:
4292:
4246:
4226:
4206:
4162:
4119:
4092:
4072:
4013:
3977:
3781:
3754:
3715:
3674:have been considered.
3657:
3618:
3592:
3565:
3523:
3282:
3256:
3204:
3152:
3107:
3058:
3018:
2987:
2955:
2917:
2878:
2845:
2812:
2780:
2754:
2725:
2434:
2384:
2249:
2205:
2160:
2110:
2042:
1990:
1908:
1843:
1772:
1717:
1638:
1552:
1503:
1426:
1373:
1321:
1273:
1228:
1202:
1170:
1147:
1097:
1046:
987:
963:
925:indexed by subsets of
919:
876:
849:
823:
737:
710:
639:
603:
514:
430:
371:
342:
307:
261:
165:
138:
111:
71:
5555:Kaced, Tarik (2013).
5424:
5299:
5279:
5259:
5218:
5183:
5151:
5125:
5105:
5076:
5059:Kolmogorov complexity
5054:Kolmogorov complexity
5042:
5022:
4963:
4943:
4866:
4846:
4819:
4780:
4753:. On the other hand,
4748:
4703:
4679:group-characterizable
4669:
4551:
4486:
4458:be the corresponding
4453:
4451:{\displaystyle X_{i}}
4426:
4406:
4382:
4293:
4247:
4227:
4207:
4163:
4120:
4118:{\displaystyle G_{I}}
4093:
4073:
4014:
3978:
3790:Ingleton's inequality
3782:
3755:
3716:
3682:Some inner bounds of
3658:
3619:
3593:
3566:
3524:
3283:
3257:
3205:
3153:
3108:
3059:
3019:
2988:
2956:
2918:
2879:
2846:
2813:
2811:{\displaystyle X,Y,Z}
2781:
2755:
2726:
2435:
2385:
2250:
2206:
2161:
2111:
2043:
1991:
1909:
1844:
1773:
1718:
1639:
1553:
1504:
1427:
1374:
1322:
1274:
1229:
1203:
1171:
1148:
1098:
1047:
988:
964:
920:
877:
875:{\displaystyle X_{I}}
850:
824:
738:
736:{\displaystyle X_{I}}
711:
640:
604:
515:
431:
372:
343:
328:of a random variable
308:
262:
166:
164:{\displaystyle X_{2}}
139:
137:{\displaystyle X_{1}}
112:
72:
5597:; Zeger, K. (2006).
5315:
5288:
5268:
5231:
5192:
5160:
5134:
5114:
5103:{\displaystyle K(x)}
5085:
5065:
5031:
4972:
4952:
4875:
4855:
4828:
4789:
4757:
4712:
4685:
4563:
4495:
4465:
4435:
4415:
4395:
4305:
4256:
4236:
4216:
4172:
4129:
4102:
4082:
4023:
4003:
3801:
3764:
3725:
3686:
3628:
3602:
3575:
3536:
3295:
3266:
3214:
3162:
3117:
3072:
3036:
3001:
2965:
2938:
2888:
2855:
2822:
2790:
2764:
2738:
2454:
2394:
2273:
2215:
2173:
2120:
2055:
2003:
1941:
1853:
1782:
1729:
1650:
1562:
1516:
1442:
1386:
1351:
1290:
1242:
1212:
1180:
1160:
1107:
1056:
997:
977:
929:
893:
859:
833:
747:
720:
649:
613:
524:
444:
381:
370:{\displaystyle H(X)}
352:
332:
291:
178:
148:
121:
81:
41:
5754:2005CMaPh.259..129L
5149:{\displaystyle x,y}
4808:
4774:
4742:
3744:
3705:
3668:von Neumann entropy
3647:
3555:
3233:
3181:
3134:
3089:
3053:
2982:
2779:{\displaystyle Y,Z}
2753:{\displaystyle X,Z}
1838:
1712:
1310:
1262:
1197:
326:information entropy
306:{\displaystyle n=4}
34:information entropy
5895:Information theory
5732:Commun. Math. Phys
5715:Matus, F. (2007).
5682:Zhang, Z. (2003).
5419:
5294:
5274:
5254:
5213:
5178:
5146:
5120:
5100:
5071:
5037:
5017:
4958:
4938:
4861:
4841:
4814:
4794:
4775:
4760:
4743:
4728:
4708:. As said above,
4698:
4664:
4546:
4481:
4448:
4421:
4401:
4377:
4288:
4242:
4222:
4202:
4158:
4147:
4115:
4088:
4068:
4009:
3987:Entropy and groups
3973:
3777:
3750:
3730:
3711:
3691:
3653:
3633:
3614:
3588:
3561:
3541:
3519:
3278:
3252:
3219:
3200:
3167:
3148:
3120:
3103:
3075:
3066:Nicholas Pippenger
3054:
3039:
3014:
2983:
2968:
2951:
2913:
2874:
2841:
2808:
2776:
2750:
2721:
2719:
2430:
2380:
2260:Shannon inequality
2245:
2201:
2156:
2106:
2038:
1986:
1904:
1839:
1824:
1768:
1713:
1698:
1634:
1548:
1499:
1422:
1369:
1317:
1296:
1269:
1248:
1224:
1198:
1183:
1166:
1143:
1093:
1042:
983:
959:
915:
872:
845:
819:
733:
706:
635:
599:
510:
426:
367:
338:
303:
276:mutual information
257:
161:
134:
107:
67:
26:information theory
5512:10.1109/18.681320
5478:10.1109/18.641561
5306:Andrey Kolmogorov
5297:{\displaystyle y}
5277:{\displaystyle x}
5223:. Similarly, the
5188:, can be denoted
5123:{\displaystyle x}
5074:{\displaystyle x}
5040:{\displaystyle G}
4961:{\displaystyle I}
4936:
4864:{\displaystyle h}
4812:
4424:{\displaystyle G}
4404:{\displaystyle a}
4375:
4252:random variables
4245:{\displaystyle n}
4225:{\displaystyle G}
4132:
4091:{\displaystyle G}
4012:{\displaystyle G}
3748:
3709:
3651:
3559:
3237:
3185:
2447:is non-negative:
1314:
1266:
1169:{\displaystyle n}
986:{\displaystyle n}
341:{\displaystyle X}
280:total correlation
22:entropic function
5902:
5846:
5845:
5843:
5819:
5813:
5806:
5800:
5793:
5787:
5780:
5774:
5773:
5747:
5745:quant-ph/0406162
5727:
5721:
5720:
5712:
5706:
5705:
5703:
5679:
5673:
5672:
5670:
5646:
5640:
5639:
5609:
5603:
5602:
5590:
5584:
5577:
5571:
5570:
5568:
5552:
5546:
5545:
5537:
5531:
5530:
5522:
5516:
5515:
5506:(4): 1440–1452.
5495:
5482:
5481:
5472:(6): 1982–1986.
5461:
5428:
5426:
5425:
5420:
5415:
5407:
5393:
5385:
5303:
5301:
5300:
5295:
5283:
5281:
5280:
5275:
5263:
5261:
5260:
5255:
5247:
5222:
5220:
5219:
5214:
5187:
5185:
5184:
5179:
5155:
5153:
5152:
5147:
5129:
5127:
5126:
5121:
5109:
5107:
5106:
5101:
5080:
5078:
5077:
5072:
5046:
5044:
5043:
5038:
5026:
5024:
5023:
5018:
5016:
5015:
4997:
4996:
4984:
4983:
4967:
4965:
4964:
4959:
4947:
4945:
4944:
4939:
4937:
4935:
4934:
4929:
4928:
4919:
4913:
4912:
4904:
4898:
4887:
4886:
4870:
4868:
4867:
4862:
4850:
4848:
4847:
4842:
4840:
4839:
4823:
4821:
4820:
4815:
4813:
4807:
4802:
4793:
4784:
4782:
4781:
4776:
4773:
4768:
4752:
4750:
4749:
4744:
4741:
4736:
4724:
4723:
4707:
4705:
4704:
4699:
4697:
4696:
4673:
4671:
4670:
4665:
4660:
4655:
4654:
4645:
4637:
4632:
4631:
4622:
4614:
4609:
4608:
4596:
4595:
4586:
4578:
4570:
4555:
4553:
4552:
4547:
4490:
4488:
4487:
4482:
4480:
4479:
4457:
4455:
4454:
4449:
4447:
4446:
4430:
4428:
4427:
4422:
4410:
4408:
4407:
4402:
4386:
4384:
4383:
4378:
4376:
4374:
4373:
4368:
4367:
4358:
4352:
4351:
4343:
4337:
4323:
4322:
4297:
4295:
4294:
4289:
4287:
4286:
4268:
4267:
4251:
4249:
4248:
4243:
4231:
4229:
4228:
4223:
4211:
4209:
4208:
4203:
4167:
4165:
4164:
4159:
4157:
4156:
4146:
4124:
4122:
4121:
4116:
4114:
4113:
4097:
4095:
4094:
4089:
4077:
4075:
4074:
4069:
4067:
4066:
4048:
4047:
4035:
4034:
4018:
4016:
4015:
4010:
3982:
3980:
3979:
3974:
3963:
3962:
3950:
3949:
3928:
3927:
3915:
3914:
3902:
3901:
3880:
3879:
3867:
3866:
3854:
3853:
3832:
3831:
3819:
3818:
3786:
3784:
3783:
3778:
3776:
3775:
3759:
3757:
3756:
3751:
3749:
3743:
3738:
3729:
3720:
3718:
3717:
3712:
3710:
3704:
3699:
3690:
3662:
3660:
3659:
3654:
3652:
3646:
3641:
3632:
3623:
3621:
3620:
3615:
3597:
3595:
3594:
3589:
3587:
3586:
3570:
3568:
3567:
3562:
3560:
3554:
3549:
3540:
3528:
3526:
3525:
3520:
3515:
3514:
3505:
3500:
3499:
3487:
3486:
3465:
3464:
3455:
3450:
3449:
3437:
3436:
3412:
3411:
3399:
3398:
3386:
3385:
3364:
3363:
3351:
3350:
3329:
3328:
3316:
3315:
3287:
3285:
3284:
3279:
3261:
3259:
3258:
3253:
3251:
3250:
3238:
3232:
3227:
3218:
3209:
3207:
3206:
3201:
3199:
3198:
3186:
3180:
3175:
3166:
3157:
3155:
3154:
3149:
3147:
3146:
3133:
3128:
3112:
3110:
3109:
3104:
3102:
3101:
3088:
3083:
3063:
3061:
3060:
3055:
3052:
3047:
3023:
3021:
3020:
3015:
3013:
3012:
2992:
2990:
2989:
2984:
2981:
2976:
2960:
2958:
2957:
2952:
2950:
2949:
2922:
2920:
2919:
2914:
2912:
2911:
2883:
2881:
2880:
2875:
2873:
2872:
2850:
2848:
2847:
2842:
2840:
2839:
2817:
2815:
2814:
2809:
2785:
2783:
2782:
2777:
2759:
2757:
2756:
2751:
2730:
2728:
2727:
2722:
2720:
2707:
2616:
2540:
2439:
2437:
2436:
2431:
2389:
2387:
2386:
2381:
2376:
2375:
2348:
2347:
2320:
2319:
2298:
2297:
2254:
2252:
2251:
2246:
2210:
2208:
2207:
2202:
2191:
2190:
2165:
2163:
2162:
2157:
2115:
2113:
2112:
2107:
2102:
2101:
2080:
2079:
2047:
2045:
2044:
2039:
2028:
2027:
1995:
1993:
1992:
1987:
1985:
1984:
1966:
1965:
1953:
1952:
1913:
1911:
1910:
1905:
1848:
1846:
1845:
1840:
1837:
1832:
1820:
1819:
1818:
1777:
1775:
1774:
1769:
1767:
1766:
1765:
1722:
1720:
1719:
1714:
1711:
1706:
1694:
1693:
1692:
1643:
1641:
1640:
1635:
1557:
1555:
1554:
1549:
1544:
1543:
1531:
1530:
1508:
1506:
1505:
1500:
1431:
1429:
1428:
1423:
1378:
1376:
1375:
1370:
1326:
1324:
1323:
1318:
1316:
1315:
1309:
1304:
1295:
1278:
1276:
1275:
1270:
1268:
1267:
1261:
1256:
1247:
1233:
1231:
1230:
1225:
1207:
1205:
1204:
1199:
1196:
1191:
1175:
1173:
1172:
1167:
1152:
1150:
1149:
1144:
1103:for each subset
1102:
1100:
1099:
1094:
1089:
1088:
1051:
1049:
1048:
1043:
1041:
1040:
1022:
1021:
1009:
1008:
992:
990:
989:
984:
968:
966:
965:
960:
924:
922:
921:
916:
914:
913:
912:
911:
901:
881:
879:
878:
873:
871:
870:
854:
852:
851:
846:
828:
826:
825:
820:
815:
814:
813:
812:
789:
788:
787:
786:
769:
768:
767:
766:
742:
740:
739:
734:
732:
731:
715:
713:
712:
707:
702:
701:
683:
682:
670:
669:
644:
642:
641:
636:
631:
630:
608:
606:
605:
600:
595:
594:
593:
592:
569:
568:
567:
566:
549:
548:
547:
546:
519:
517:
516:
511:
509:
508:
507:
506:
483:
482:
481:
480:
463:
462:
461:
460:
436:, we denote the
435:
433:
432:
427:
425:
424:
406:
405:
393:
392:
376:
374:
373:
368:
347:
345:
344:
339:
312:
310:
309:
304:
266:
264:
263:
258:
253:
252:
231:
230:
209:
208:
196:
195:
170:
168:
167:
162:
160:
159:
143:
141:
140:
135:
133:
132:
116:
114:
113:
108:
106:
105:
93:
92:
76:
74:
73:
68:
66:
65:
53:
52:
5910:
5909:
5905:
5904:
5903:
5901:
5900:
5899:
5885:
5884:
5866:Raymond Yeung.
5849:
5821:
5820:
5816:
5812:, Theorem 16.22
5807:
5803:
5799:, Theorem 16.16
5794:
5790:
5781:
5777:
5729:
5728:
5724:
5714:
5713:
5709:
5681:
5680:
5676:
5648:
5647:
5643:
5611:
5610:
5606:
5593:Dougherty, R.;
5592:
5591:
5587:
5578:
5574:
5554:
5553:
5549:
5539:
5538:
5534:
5524:
5523:
5519:
5497:
5496:
5485:
5463:
5462:
5455:
5451:
5439:
5313:
5312:
5286:
5285:
5266:
5265:
5229:
5228:
5227:can be denoted
5190:
5189:
5158:
5157:
5132:
5131:
5112:
5111:
5083:
5082:
5063:
5062:
5056:
5029:
5028:
5007:
4988:
4975:
4970:
4969:
4950:
4949:
4920:
4914:
4899:
4878:
4873:
4872:
4853:
4852:
4831:
4826:
4825:
4787:
4786:
4755:
4754:
4715:
4710:
4709:
4688:
4683:
4682:
4646:
4623:
4600:
4587:
4561:
4560:
4493:
4492:
4471:
4463:
4462:
4438:
4433:
4432:
4413:
4412:
4393:
4392:
4359:
4353:
4338:
4314:
4303:
4302:
4278:
4259:
4254:
4253:
4234:
4233:
4214:
4213:
4170:
4169:
4148:
4127:
4126:
4105:
4100:
4099:
4080:
4079:
4058:
4039:
4026:
4021:
4020:
4001:
4000:
3994:
3989:
3954:
3941:
3919:
3906:
3893:
3871:
3858:
3845:
3823:
3810:
3799:
3798:
3767:
3762:
3761:
3723:
3722:
3684:
3683:
3680:
3626:
3625:
3600:
3599:
3578:
3573:
3572:
3534:
3533:
3506:
3491:
3478:
3456:
3441:
3428:
3403:
3390:
3377:
3355:
3342:
3320:
3307:
3293:
3292:
3264:
3263:
3242:
3212:
3211:
3190:
3160:
3159:
3138:
3115:
3114:
3093:
3070:
3069:
3034:
3033:
3030:
3004:
2999:
2998:
2963:
2962:
2941:
2936:
2935:
2897:
2886:
2885:
2864:
2853:
2852:
2831:
2820:
2819:
2788:
2787:
2762:
2761:
2736:
2735:
2718:
2717:
2705:
2704:
2614:
2613:
2538:
2537:
2485:
2452:
2451:
2392:
2391:
2361:
2333:
2311:
2289:
2271:
2270:
2213:
2212:
2182:
2171:
2170:
2169:In particular,
2118:
2117:
2093:
2071:
2053:
2052:
2019:
2001:
2000:
1976:
1957:
1944:
1939:
1938:
1935:
1933:
1925:
1923:
1851:
1850:
1809:
1780:
1779:
1756:
1727:
1726:
1683:
1648:
1647:
1560:
1559:
1535:
1522:
1514:
1513:
1440:
1439:
1384:
1383:
1349:
1348:
1333:
1288:
1287:
1240:
1239:
1210:
1209:
1178:
1177:
1158:
1157:
1105:
1104:
1080:
1054:
1053:
1032:
1013:
1000:
995:
994:
975:
974:
971:entropic vector
927:
926:
903:
896:
891:
890:
862:
857:
856:
831:
830:
804:
799:
778:
773:
758:
753:
745:
744:
723:
718:
717:
693:
674:
661:
647:
646:
622:
611:
610:
584:
579:
558:
553:
538:
533:
522:
521:
498:
493:
472:
467:
452:
447:
442:
441:
416:
397:
384:
379:
378:
350:
349:
330:
329:
319:
289:
288:
244:
222:
200:
187:
176:
175:
151:
146:
145:
124:
119:
118:
97:
84:
79:
78:
57:
44:
39:
38:
18:entropic vector
12:
11:
5:
5908:
5906:
5898:
5897:
5887:
5886:
5883:
5882:
5874:, 2002, Print
5870:, Chapter 12,
5864:
5848:
5847:
5834:(2): 442–464.
5814:
5801:
5788:
5775:
5738:(1): 129–138.
5722:
5707:
5674:
5661:(2): 147–166.
5641:
5622:(3): 269–276.
5604:
5585:
5583:, Theorem 14.7
5572:
5547:
5532:
5517:
5483:
5452:
5450:
5447:
5446:
5445:
5438:
5435:
5430:
5429:
5418:
5414:
5410:
5406:
5402:
5399:
5396:
5392:
5388:
5384:
5380:
5377:
5374:
5371:
5368:
5365:
5362:
5359:
5356:
5353:
5350:
5347:
5344:
5341:
5338:
5335:
5332:
5329:
5326:
5323:
5320:
5293:
5273:
5253:
5250:
5246:
5242:
5239:
5236:
5212:
5209:
5206:
5203:
5200:
5197:
5177:
5174:
5171:
5168:
5165:
5145:
5142:
5139:
5119:
5099:
5096:
5093:
5090:
5070:
5055:
5052:
5036:
5014:
5010:
5006:
5003:
5000:
4995:
4991:
4987:
4982:
4978:
4957:
4933:
4927:
4923:
4918:
4911:
4907:
4903:
4896:
4893:
4890:
4885:
4881:
4860:
4838:
4834:
4811:
4806:
4801:
4797:
4772:
4767:
4763:
4740:
4735:
4731:
4727:
4722:
4718:
4695:
4691:
4675:
4674:
4663:
4659:
4653:
4649:
4644:
4640:
4636:
4630:
4626:
4621:
4617:
4613:
4607:
4603:
4599:
4594:
4590:
4585:
4581:
4577:
4573:
4569:
4545:
4542:
4539:
4536:
4533:
4530:
4527:
4524:
4521:
4518:
4515:
4512:
4509:
4506:
4503:
4500:
4478:
4474:
4470:
4445:
4441:
4420:
4400:
4389:
4388:
4372:
4366:
4362:
4357:
4350:
4346:
4342:
4335:
4332:
4329:
4326:
4321:
4317:
4313:
4310:
4285:
4281:
4277:
4274:
4271:
4266:
4262:
4241:
4221:
4201:
4198:
4195:
4192:
4189:
4186:
4183:
4180:
4177:
4155:
4151:
4145:
4142:
4139:
4135:
4112:
4108:
4087:
4065:
4061:
4057:
4054:
4051:
4046:
4042:
4038:
4033:
4029:
4019:and subgroups
4008:
3993:
3990:
3988:
3985:
3984:
3983:
3972:
3969:
3966:
3961:
3957:
3953:
3948:
3944:
3940:
3937:
3934:
3931:
3926:
3922:
3918:
3913:
3909:
3905:
3900:
3896:
3892:
3889:
3886:
3883:
3878:
3874:
3870:
3865:
3861:
3857:
3852:
3848:
3844:
3841:
3838:
3835:
3830:
3826:
3822:
3817:
3813:
3809:
3806:
3774:
3770:
3747:
3742:
3737:
3733:
3708:
3703:
3698:
3694:
3679:
3676:
3650:
3645:
3640:
3636:
3613:
3610:
3607:
3585:
3581:
3558:
3553:
3548:
3544:
3530:
3529:
3518:
3513:
3509:
3504:
3498:
3494:
3490:
3485:
3481:
3477:
3474:
3471:
3468:
3463:
3459:
3454:
3448:
3444:
3440:
3435:
3431:
3427:
3424:
3421:
3418:
3415:
3410:
3406:
3402:
3397:
3393:
3389:
3384:
3380:
3376:
3373:
3370:
3367:
3362:
3358:
3354:
3349:
3345:
3341:
3338:
3335:
3332:
3327:
3323:
3319:
3314:
3310:
3306:
3303:
3300:
3277:
3274:
3271:
3249:
3245:
3241:
3236:
3231:
3226:
3222:
3197:
3193:
3189:
3184:
3179:
3174:
3170:
3145:
3141:
3137:
3132:
3127:
3123:
3100:
3096:
3092:
3087:
3082:
3078:
3051:
3046:
3042:
3029:
3026:
3011:
3007:
2980:
2975:
2971:
2961:; it contains
2948:
2944:
2910:
2907:
2904:
2900:
2896:
2893:
2871:
2867:
2863:
2860:
2838:
2834:
2830:
2827:
2807:
2804:
2801:
2798:
2795:
2775:
2772:
2769:
2749:
2746:
2743:
2732:
2731:
2716:
2713:
2710:
2708:
2706:
2703:
2700:
2697:
2694:
2691:
2688:
2685:
2682:
2679:
2676:
2673:
2670:
2667:
2664:
2661:
2658:
2655:
2652:
2649:
2646:
2643:
2640:
2637:
2634:
2631:
2628:
2625:
2622:
2619:
2617:
2615:
2612:
2609:
2606:
2603:
2600:
2597:
2594:
2591:
2588:
2585:
2582:
2579:
2576:
2573:
2570:
2567:
2564:
2561:
2558:
2555:
2552:
2549:
2546:
2543:
2541:
2539:
2536:
2533:
2530:
2527:
2524:
2521:
2518:
2515:
2512:
2509:
2506:
2503:
2500:
2497:
2494:
2491:
2488:
2486:
2484:
2481:
2478:
2475:
2472:
2469:
2466:
2463:
2460:
2459:
2441:
2440:
2429:
2426:
2423:
2420:
2417:
2414:
2411:
2408:
2405:
2402:
2399:
2379:
2374:
2371:
2368:
2364:
2360:
2357:
2354:
2351:
2346:
2343:
2340:
2336:
2332:
2329:
2326:
2323:
2318:
2314:
2310:
2307:
2304:
2301:
2296:
2292:
2288:
2285:
2281:
2278:
2244:
2241:
2238:
2235:
2232:
2229:
2226:
2223:
2220:
2200:
2197:
2194:
2189:
2185:
2181:
2178:
2167:
2166:
2155:
2152:
2149:
2146:
2143:
2140:
2137:
2134:
2131:
2128:
2125:
2105:
2100:
2096:
2092:
2089:
2086:
2083:
2078:
2074:
2070:
2067:
2063:
2060:
2049:
2048:
2037:
2034:
2031:
2026:
2022:
2018:
2015:
2011:
2008:
1983:
1979:
1975:
1972:
1969:
1964:
1960:
1956:
1951:
1947:
1934:
1929:
1926:
1924:
1919:
1916:
1903:
1900:
1897:
1894:
1891:
1888:
1885:
1882:
1879:
1876:
1873:
1870:
1867:
1864:
1861:
1858:
1836:
1831:
1827:
1823:
1817:
1812:
1808:
1805:
1802:
1799:
1796:
1793:
1790:
1787:
1764:
1759:
1755:
1752:
1749:
1746:
1743:
1740:
1737:
1734:
1710:
1705:
1701:
1697:
1691:
1686:
1682:
1679:
1676:
1673:
1670:
1667:
1664:
1661:
1658:
1655:
1633:
1630:
1627:
1624:
1621:
1618:
1615:
1612:
1609:
1606:
1603:
1600:
1597:
1594:
1591:
1588:
1585:
1582:
1579:
1576:
1573:
1570:
1567:
1547:
1542:
1538:
1534:
1529:
1525:
1521:
1510:
1509:
1498:
1495:
1492:
1489:
1486:
1483:
1480:
1477:
1474:
1471:
1468:
1465:
1462:
1459:
1456:
1453:
1450:
1447:
1433:
1432:
1421:
1418:
1415:
1412:
1409:
1406:
1403:
1400:
1397:
1394:
1391:
1368:
1365:
1362:
1359:
1356:
1332:
1329:
1313:
1308:
1303:
1299:
1265:
1260:
1255:
1251:
1223:
1220:
1217:
1195:
1190:
1186:
1176:is denoted by
1165:
1142:
1139:
1136:
1133:
1130:
1127:
1124:
1121:
1118:
1115:
1112:
1092:
1087:
1083:
1079:
1076:
1073:
1070:
1067:
1064:
1061:
1039:
1035:
1031:
1028:
1025:
1020:
1016:
1012:
1007:
1003:
982:
958:
955:
952:
949:
946:
943:
940:
937:
934:
910:
906:
900:
869:
865:
844:
841:
838:
818:
811:
807:
802:
798:
795:
792:
785:
781:
776:
772:
765:
761:
756:
752:
730:
726:
705:
700:
696:
692:
689:
686:
681:
677:
673:
668:
664:
660:
657:
654:
634:
629:
625:
621:
618:
598:
591:
587:
582:
578:
575:
572:
565:
561:
556:
552:
545:
541:
536:
532:
529:
505:
501:
496:
492:
489:
486:
479:
475:
470:
466:
459:
455:
450:
423:
419:
415:
412:
409:
404:
400:
396:
391:
387:
366:
363:
360:
357:
337:
318:
315:
302:
299:
296:
268:
267:
256:
251:
247:
243:
240:
237:
234:
229:
225:
221:
218:
215:
212:
207:
203:
199:
194:
190:
186:
183:
158:
154:
131:
127:
104:
100:
96:
91:
87:
64:
60:
56:
51:
47:
13:
10:
9:
6:
4:
3:
2:
5907:
5896:
5893:
5892:
5890:
5881:
5880:0-306-46791-7
5877:
5873:
5869:
5865:
5863:
5862:0-471-06259-6
5859:
5855:
5851:
5850:
5842:
5837:
5833:
5829:
5825:
5818:
5815:
5811:
5805:
5802:
5798:
5792:
5789:
5785:
5779:
5776:
5771:
5767:
5763:
5759:
5755:
5751:
5746:
5741:
5737:
5733:
5726:
5723:
5718:
5711:
5708:
5702:
5697:
5693:
5689:
5685:
5678:
5675:
5669:
5664:
5660:
5656:
5652:
5645:
5642:
5637:
5633:
5629:
5625:
5621:
5617:
5616:
5608:
5605:
5600:
5596:
5589:
5586:
5582:
5576:
5573:
5567:
5562:
5558:
5551:
5548:
5543:
5536:
5533:
5528:
5521:
5518:
5513:
5509:
5505:
5501:
5494:
5492:
5490:
5488:
5484:
5479:
5475:
5471:
5467:
5460:
5458:
5454:
5448:
5444:
5441:
5440:
5436:
5434:
5408:
5400:
5397:
5394:
5386:
5378:
5375:
5369:
5366:
5360:
5357:
5354:
5348:
5345:
5339:
5333:
5330:
5324:
5318:
5311:
5310:
5309:
5307:
5291:
5271:
5248:
5240:
5234:
5226:
5207:
5204:
5201:
5195:
5172:
5169:
5166:
5143:
5140:
5137:
5117:
5094:
5088:
5068:
5060:
5053:
5051:
5048:
5034:
5012:
5008:
5004:
5001:
4998:
4993:
4989:
4985:
4980:
4976:
4955:
4925:
4921:
4905:
4894:
4891:
4888:
4883:
4879:
4858:
4836:
4804:
4799:
4770:
4765:
4738:
4733:
4725:
4720:
4693:
4680:
4661:
4651:
4647:
4638:
4628:
4624:
4615:
4605:
4601:
4597:
4592:
4588:
4579:
4571:
4559:
4558:
4557:
4556:implies that
4540:
4534:
4531:
4525:
4519:
4516:
4510:
4507:
4504:
4498:
4476:
4472:
4468:
4461:
4443:
4439:
4418:
4398:
4364:
4360:
4344:
4333:
4330:
4327:
4319:
4315:
4308:
4301:
4300:
4299:
4283:
4279:
4275:
4272:
4269:
4264:
4260:
4239:
4219:
4196:
4193:
4190:
4187:
4184:
4178:
4175:
4153:
4149:
4143:
4140:
4137:
4133:
4110:
4106:
4085:
4063:
4059:
4055:
4052:
4049:
4044:
4040:
4036:
4031:
4027:
4006:
3999:
3991:
3986:
3970:
3967:
3959:
3955:
3951:
3946:
3942:
3935:
3932:
3924:
3920:
3916:
3911:
3907:
3903:
3898:
3894:
3887:
3884:
3876:
3872:
3868:
3863:
3859:
3855:
3850:
3846:
3839:
3836:
3828:
3824:
3820:
3815:
3811:
3804:
3797:
3796:
3795:
3793:
3791:
3772:
3740:
3735:
3701:
3696:
3677:
3675:
3673:
3669:
3664:
3643:
3638:
3611:
3608:
3605:
3583:
3551:
3546:
3511:
3507:
3496:
3492:
3488:
3483:
3479:
3472:
3469:
3461:
3457:
3446:
3442:
3438:
3433:
3429:
3422:
3419:
3416:
3408:
3404:
3400:
3395:
3391:
3387:
3382:
3378:
3371:
3368:
3360:
3356:
3352:
3347:
3343:
3336:
3333:
3325:
3321:
3317:
3312:
3308:
3301:
3298:
3291:
3290:
3289:
3275:
3272:
3269:
3247:
3239:
3229:
3224:
3195:
3187:
3177:
3172:
3143:
3135:
3130:
3125:
3098:
3090:
3085:
3080:
3067:
3049:
3044:
3027:
3025:
3009:
2994:
2978:
2973:
2946:
2933:
2929:
2924:
2908:
2905:
2902:
2898:
2894:
2891:
2869:
2865:
2861:
2858:
2836:
2832:
2828:
2825:
2805:
2802:
2799:
2796:
2793:
2786:of the tuple
2773:
2770:
2767:
2747:
2744:
2741:
2714:
2711:
2709:
2698:
2692:
2689:
2683:
2680:
2677:
2674:
2671:
2665:
2662:
2656:
2653:
2650:
2644:
2641:
2635:
2632:
2629:
2623:
2620:
2618:
2607:
2604:
2601:
2598:
2595:
2589:
2586:
2580:
2577:
2574:
2568:
2565:
2559:
2556:
2553:
2547:
2544:
2542:
2531:
2528:
2525:
2522:
2519:
2513:
2510:
2504:
2501:
2498:
2492:
2489:
2487:
2479:
2476:
2473:
2470:
2467:
2461:
2450:
2449:
2448:
2446:
2424:
2421:
2418:
2415:
2412:
2406:
2403:
2400:
2397:
2372:
2369:
2366:
2362:
2355:
2352:
2344:
2341:
2338:
2334:
2327:
2324:
2316:
2312:
2305:
2302:
2294:
2290:
2283:
2276:
2269:
2268:
2267:
2265:
2261:
2256:
2239:
2236:
2233:
2230:
2227:
2221:
2218:
2198:
2195:
2187:
2183:
2176:
2150:
2147:
2144:
2141:
2138:
2132:
2129:
2126:
2123:
2098:
2094:
2087:
2084:
2076:
2072:
2065:
2058:
2051:
2050:
2035:
2032:
2020:
2013:
2006:
1999:
1998:
1997:
1981:
1977:
1973:
1970:
1967:
1962:
1958:
1954:
1949:
1945:
1932:
1927:
1922:
1917:
1915:
1898:
1892:
1889:
1883:
1877:
1874:
1868:
1865:
1862:
1856:
1834:
1829:
1821:
1806:
1803:
1800:
1797:
1794:
1791:
1788:
1753:
1750:
1747:
1744:
1741:
1738:
1735:
1723:
1708:
1703:
1695:
1680:
1677:
1674:
1671:
1668:
1665:
1662:
1656:
1653:
1645:
1628:
1625:
1622:
1616:
1610:
1607:
1604:
1598:
1592:
1589:
1586:
1580:
1574:
1571:
1568:
1540:
1536:
1532:
1527:
1523:
1496:
1493:
1487:
1481:
1478:
1472:
1466:
1463:
1457:
1454:
1451:
1445:
1438:
1437:
1436:
1419:
1416:
1410:
1404:
1401:
1395:
1389:
1382:
1381:
1380:
1363:
1360:
1357:
1347:over the set
1346:
1342:
1338:
1330:
1328:
1306:
1301:
1285:
1282:
1258:
1253:
1237:
1221:
1218:
1215:
1193:
1188:
1163:
1154:
1137:
1134:
1131:
1128:
1125:
1122:
1119:
1113:
1110:
1085:
1081:
1074:
1071:
1065:
1059:
1037:
1033:
1029:
1026:
1023:
1018:
1014:
1010:
1005:
1001:
980:
972:
969:is called an
953:
950:
947:
944:
941:
938:
935:
908:
904:
888:
883:
867:
863:
839:
836:
809:
805:
800:
796:
793:
790:
783:
779:
774:
770:
763:
759:
754:
728:
724:
698:
694:
690:
687:
684:
679:
675:
671:
666:
662:
655:
652:
627:
623:
616:
589:
585:
580:
576:
573:
570:
563:
559:
554:
550:
543:
539:
534:
527:
503:
499:
494:
490:
487:
484:
477:
473:
468:
464:
457:
453:
448:
439:
438:joint entropy
421:
417:
413:
410:
407:
402:
398:
394:
389:
385:
361:
355:
335:
327:
323:
316:
314:
300:
297:
294:
286:
281:
277:
273:
249:
245:
238:
235:
227:
223:
216:
213:
205:
201:
197:
192:
188:
181:
174:
173:
172:
156:
152:
129:
125:
102:
98:
94:
89:
85:
62:
58:
54:
49:
45:
35:
31:
27:
23:
19:
5871:
5867:
5853:
5831:
5827:
5817:
5809:
5804:
5796:
5791:
5783:
5778:
5735:
5731:
5725:
5716:
5710:
5694:(1): 47–60.
5691:
5687:
5677:
5658:
5654:
5644:
5619:
5613:
5607:
5598:
5595:Freiling, C.
5588:
5580:
5575:
5556:
5550:
5535:
5520:
5503:
5499:
5469:
5465:
5431:
5057:
5049:
4871:of the form
4678:
4676:
4390:
3995:
3788:
3681:
3678:Inner bounds
3665:
3531:
3031:
2995:
2931:
2927:
2925:
2733:
2442:
2259:
2257:
2168:
1936:
1930:
1920:
1724:
1646:
1511:
1434:
1340:
1336:
1334:
1155:
970:
886:
884:
440:of a subset
320:
284:
269:
21:
17:
15:
5027:in a group
3996:Consider a
3792:for entropy
2211:, for any
1234:), but its
348:is denoted
5449:References
4785:(and thus
4298:such that
2264:submodular
1052:such that
317:Definition
5636:121634597
5566:1302.2994
5401:
5379:
5367:−
5346:≥
5176:⟩
5164:⟨
5002:…
4895:
4833:Υ
4810:¯
4805:∗
4796:Γ
4771:∗
4762:Γ
4739:∗
4730:Γ
4726:⊆
4717:Υ
4690:Υ
4639:⋅
4616:≥
4598:∩
4580:⋅
4517:≤
4334:
4273:…
4191:…
4179:⊆
4141:∈
4134:⋂
4053:…
3968:≥
3933:−
3917:∣
3869:∣
3769:Γ
3746:¯
3741:∗
3732:Γ
3707:¯
3702:∗
3693:Γ
3649:¯
3644:∗
3635:Γ
3609:≥
3580:Γ
3557:¯
3552:∗
3543:Γ
3334:≤
3273:≥
3244:Γ
3240:≠
3235:¯
3230:∗
3221:Γ
3192:Γ
3183:¯
3178:∗
3169:Γ
3140:Γ
3136:≠
3131:∗
3122:Γ
3095:Γ
3086:∗
3077:Γ
3050:∗
3041:Γ
3006:Γ
2979:∗
2970:Γ
2943:Γ
2906:∩
2712:≥
2690:−
2663:−
2605:∣
2587:−
2578:∣
2557:∣
2523:∣
2511:−
2502:∣
2477:∣
2419:…
2407:⊆
2370:∩
2342:∪
2325:≥
2234:…
2222:⊆
2196:≥
2145:…
2133:⊆
2127:⊆
2085:≤
2025:∅
1971:…
1875:≤
1835:∗
1826:Γ
1709:∗
1700:Γ
1696:∈
1312:¯
1307:∗
1298:Γ
1264:¯
1259:∗
1250:Γ
1219:≥
1194:∗
1185:Γ
1132:…
1114:⊆
1027:…
973:of order
948:…
885:A vector
843:∅
794:…
688:…
574:…
488:…
411:…
214:≤
5889:Category
5786:, p. 386
5770:13279358
5437:See also
4948:, where
3262:for all
1822:∉
716:. Here
645:, where
5808:Yeung.
5795:Yeung.
5782:Yeung.
5750:Bibcode
5579:Yeung.
4125:denote
1379:. Then
1331:Example
1279:, is a
1236:closure
322:Shannon
144:and of
30:Shannon
5878:
5860:
5768:
5634:
5284:given
4098:. Let
1281:convex
5766:S2CID
5740:arXiv
5632:S2CID
5561:arXiv
4460:coset
3998:group
278:, or
5876:ISBN
5858:ISBN
4168:for
2760:and
2258:The
1335:Let
1284:cone
16:The
5836:doi
5758:doi
5736:259
5696:doi
5663:doi
5624:doi
5508:doi
5474:doi
5398:log
5376:log
5304:).
5081:as
4892:log
4411:of
4331:log
4078:of
3670:in
3024:).
2930:or
2923:).
889:in
520:as
324:'s
32:'s
20:or
5891::
5832:60
5830:.
5826:.
5764:.
5756:.
5748:.
5734:.
5690:.
5686:.
5657:.
5653:.
5630:.
5618:.
5504:44
5502:.
5486:^
5470:43
5468:.
5456:^
5047:.
3794::
2993:.
2884:,
2851:,
2266::
2255:.
1914:.
1238:,
1153:.
855:,
274:,
171::
5844:.
5838::
5772:.
5760::
5752::
5742::
5704:.
5698::
5692:3
5671:.
5665::
5659:2
5638:.
5626::
5620:8
5569:.
5563::
5544:.
5529:.
5514:.
5510::
5480:.
5476::
5417:)
5413:|
5409:b
5405:|
5395:+
5391:|
5387:a
5383:|
5373:(
5370:O
5364:)
5361:b
5358:,
5355:a
5352:(
5349:K
5343:)
5340:b
5337:(
5334:K
5331:+
5328:)
5325:a
5322:(
5319:K
5292:y
5272:x
5252:)
5249:y
5245:|
5241:x
5238:(
5235:K
5211:)
5208:y
5205:,
5202:x
5199:(
5196:K
5173:y
5170:,
5167:x
5144:y
5141:,
5138:x
5118:x
5098:)
5095:x
5092:(
5089:K
5069:x
5035:G
5013:n
5009:G
5005:,
4999:,
4994:2
4990:G
4986:,
4981:1
4977:G
4956:I
4932:|
4926:I
4922:G
4917:|
4910:|
4906:G
4902:|
4889:=
4884:I
4880:h
4859:h
4837:n
4800:n
4766:n
4734:n
4721:n
4694:n
4662:.
4658:|
4652:2
4648:G
4643:|
4635:|
4629:1
4625:G
4620:|
4612:|
4606:2
4602:G
4593:1
4589:G
4584:|
4576:|
4572:G
4568:|
4544:)
4541:Y
4538:(
4535:H
4532:+
4529:)
4526:X
4523:(
4520:H
4514:)
4511:Y
4508:,
4505:X
4502:(
4499:H
4477:i
4473:G
4469:a
4444:i
4440:X
4419:G
4399:a
4387:.
4371:|
4365:I
4361:G
4356:|
4349:|
4345:G
4341:|
4328:=
4325:)
4320:I
4316:X
4312:(
4309:H
4284:n
4280:X
4276:,
4270:,
4265:1
4261:X
4240:n
4220:G
4200:}
4197:n
4194:,
4188:,
4185:1
4182:{
4176:I
4154:i
4150:G
4144:I
4138:i
4111:I
4107:G
4086:G
4064:n
4060:G
4056:,
4050:,
4045:2
4041:G
4037:,
4032:1
4028:G
4007:G
3971:0
3965:)
3960:4
3956:X
3952:;
3947:3
3943:X
3939:(
3936:I
3930:)
3925:2
3921:X
3912:4
3908:X
3904:;
3899:3
3895:X
3891:(
3888:I
3885:+
3882:)
3877:1
3873:X
3864:4
3860:X
3856:;
3851:3
3847:X
3843:(
3840:I
3837:+
3834:)
3829:2
3825:X
3821:;
3816:1
3812:X
3808:(
3805:I
3773:4
3736:4
3697:n
3639:4
3612:4
3606:n
3584:n
3547:n
3517:)
3512:2
3508:X
3503:|
3497:4
3493:X
3489:;
3484:3
3480:X
3476:(
3473:I
3470:+
3467:)
3462:1
3458:X
3453:|
3447:4
3443:X
3439:;
3434:3
3430:X
3426:(
3423:I
3420:3
3417:+
3414:)
3409:4
3405:X
3401:,
3396:3
3392:X
3388:;
3383:1
3379:X
3375:(
3372:I
3369:+
3366:)
3361:2
3357:X
3353:;
3348:1
3344:X
3340:(
3337:I
3331:)
3326:4
3322:X
3318:;
3313:3
3309:X
3305:(
3302:I
3299:2
3276:4
3270:n
3248:n
3225:n
3196:3
3188:=
3173:3
3144:3
3126:3
3099:2
3091:=
3081:2
3045:n
3010:n
2974:n
2947:n
2909:J
2903:I
2899:X
2895:=
2892:Z
2870:J
2866:X
2862:=
2859:Y
2837:I
2833:X
2829:=
2826:X
2806:Z
2803:,
2800:Y
2797:,
2794:X
2774:Z
2771:,
2768:Y
2748:Z
2745:,
2742:X
2715:0
2702:)
2699:Z
2696:(
2693:H
2687:)
2684:Z
2681:,
2678:Y
2675:,
2672:X
2669:(
2666:H
2660:)
2657:Z
2654:,
2651:Y
2648:(
2645:H
2642:+
2639:)
2636:Z
2633:,
2630:X
2627:(
2624:H
2621:=
2611:)
2608:Z
2602:Y
2599:,
2596:X
2593:(
2590:H
2584:)
2581:Z
2575:Y
2572:(
2569:H
2566:+
2563:)
2560:Z
2554:X
2551:(
2548:H
2545:=
2535:)
2532:Z
2529:,
2526:Y
2520:X
2517:(
2514:H
2508:)
2505:Z
2499:X
2496:(
2493:H
2490:=
2483:)
2480:Z
2474:Y
2471:;
2468:X
2465:(
2462:I
2428:}
2425:n
2422:,
2416:,
2413:1
2410:{
2404:J
2401:,
2398:I
2378:)
2373:J
2367:I
2363:X
2359:(
2356:H
2353:+
2350:)
2345:J
2339:I
2335:X
2331:(
2328:H
2322:)
2317:J
2313:X
2309:(
2306:H
2303:+
2300:)
2295:I
2291:X
2287:(
2284:H
2280:)
2277:3
2243:}
2240:n
2237:,
2231:,
2228:1
2225:{
2219:I
2199:0
2193:)
2188:I
2184:X
2180:(
2177:H
2154:}
2151:n
2148:,
2142:,
2139:1
2136:{
2130:J
2124:I
2104:)
2099:J
2095:X
2091:(
2088:H
2082:)
2077:I
2073:X
2069:(
2066:H
2062:)
2059:2
2036:0
2033:=
2030:)
2021:X
2017:(
2014:H
2010:)
2007:1
1982:n
1978:X
1974:,
1968:,
1963:2
1959:X
1955:,
1950:1
1946:X
1931:n
1921:n
1902:)
1899:Y
1896:(
1893:H
1890:+
1887:)
1884:X
1881:(
1878:H
1872:)
1869:Y
1866:,
1863:X
1860:(
1857:H
1830:2
1816:T
1811:)
1807:3
1804:,
1801:1
1798:,
1795:1
1792:,
1789:0
1786:(
1763:T
1758:)
1754:3
1751:,
1748:1
1745:,
1742:1
1739:,
1736:0
1733:(
1704:2
1690:T
1685:)
1681:2
1678:,
1675:1
1672:,
1669:1
1666:,
1663:0
1660:(
1657:=
1654:v
1632:)
1629:1
1626:,
1623:1
1620:(
1617:,
1614:)
1611:0
1608:,
1605:1
1602:(
1599:,
1596:)
1593:1
1590:,
1587:0
1584:(
1581:,
1578:)
1575:0
1572:,
1569:0
1566:(
1546:)
1541:2
1537:X
1533:,
1528:1
1524:X
1520:(
1497:2
1494:=
1491:)
1488:Y
1485:(
1482:H
1479:+
1476:)
1473:X
1470:(
1467:H
1464:=
1461:)
1458:Y
1455:,
1452:X
1449:(
1446:H
1420:1
1417:=
1414:)
1411:Y
1408:(
1405:H
1402:=
1399:)
1396:X
1393:(
1390:H
1367:}
1364:1
1361:,
1358:0
1355:{
1341:Y
1339:,
1337:X
1302:n
1254:n
1222:3
1216:n
1189:n
1164:n
1141:}
1138:n
1135:,
1129:,
1126:2
1123:,
1120:1
1117:{
1111:I
1091:)
1086:I
1082:X
1078:(
1075:H
1072:=
1069:)
1066:I
1063:(
1060:h
1038:n
1034:X
1030:,
1024:,
1019:2
1015:X
1011:,
1006:1
1002:X
981:n
957:}
954:n
951:,
945:,
942:2
939:,
936:1
933:{
909:n
905:2
899:R
887:h
868:I
864:X
840:=
837:I
817:)
810:k
806:i
801:X
797:,
791:,
784:2
780:i
775:X
771:,
764:1
760:i
755:X
751:(
729:I
725:X
704:}
699:k
695:i
691:,
685:,
680:2
676:i
672:,
667:1
663:i
659:{
656:=
653:I
633:)
628:I
624:X
620:(
617:H
597:)
590:k
586:i
581:X
577:,
571:,
564:2
560:i
555:X
551:,
544:1
540:i
535:X
531:(
528:H
504:k
500:i
495:X
491:,
485:,
478:2
474:i
469:X
465:,
458:1
454:i
449:X
422:n
418:X
414:,
408:,
403:2
399:X
395:,
390:1
386:X
365:)
362:X
359:(
356:H
336:X
301:4
298:=
295:n
255:)
250:2
246:X
242:(
239:H
236:+
233:)
228:1
224:X
220:(
217:H
211:)
206:2
202:X
198:,
193:1
189:X
185:(
182:H
157:2
153:X
130:1
126:X
103:2
99:X
95:,
90:1
86:X
63:2
59:X
55:,
50:1
46:X
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.