4331:
3535:
9087:
9067:
6799:
5950:
1667:
2234:
5653:
6489:
2545:
1444:
963:
Compared with the original GAN discriminator, the
Wasserstein GAN discriminator provides a better learning signal to the generator. This allows the training to be more stable when generator is learning distributions in very high dimensional spaces.
5678:
3025:
2013:
8108:
In practice, the generator would never be able to reach perfect imitation, and so the discriminator would have motivation for perceiving the difference, which allows it to be used for other tasks, such as performing ImageNet classification
1318:
6225:
4321:
4129:
5396:
3294:
1845:
5387:
2391:
4984:, the same as in GAN (or most deep learning methods), but training the discriminator is different, as the discriminator is now restricted to have bounded Lipschitz norm. There are several methods for this.
7217:
3115:
7769:
is a fixed distribution used to estimate how much the discriminator has violated the
Lipschitz norm requirement. The discriminator, in attempting to minimize the new loss function, would naturally bring
5085:
6305:
2309:
Thus, we see that the point of the discriminator is mainly as a critic to provide feedback for the generator, about "how far it is from perfection", where "far" is defined as Jensen–Shannon divergence.
6794:{\displaystyle \|W\|_{s}^{2}=\sup _{\|x\|_{2}=1}\|Wx\|_{2}^{2}=\sup _{\|x\|_{2}=1}\sum _{i}\left(\sum _{j}W_{i,j}x_{j}\right)^{2}=\sup _{\|x\|_{2}=1}\sum _{i,j,k}W_{ij}W_{ik}x_{j}x_{k}\leq c^{2}ml^{2}}
1900:
is by itself rather uninteresting. It merely keeps track of the likelihood ratio between the generator distribution and the reference distribution. At equilibrium, the discriminator is just outputting
8179:
4967:
4785:
960:
proposed in 2017 that aims to "improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches".
2660:
1449:
1037:
7738:
7004:
8961:
1437:
5182:
4547:
has flat gradient in the middle, and steep gradient elsewhere. As a result, the variance for the estimator in GAN is usually much larger than that in
Wasserstein GAN. See also Figure 3 of.
3873:
3794:
866:
2299:
6062:
5242:
2871:
3356:
904:
2820:
2783:
1104:
6484:
4618:
7145:
1156:
7263:
4133:
3937:
3402:
7859:
5146:
861:
2859:
851:
7597:
5983:
4875:
2578:
1925:
8803:
7767:
6345:
1148:
692:
8209:
7550:
7431:
7364:
7800:
4468:
7473:
4818:
4711:
4651:
3625:
3473:
1988:
1878:
7641:
7296:
7084:
6887:
6399:
7509:
5271:
4902:
4845:
4678:
4545:
4507:
4421:
4390:
3904:
3688:
3652:
3572:
3509:
3440:
3145:
2747:
1955:
1738:
1366:
1068:
3924:
2680:
2360:
1662:{\displaystyle {\begin{aligned}D^{*}(x)&={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}\\L(\mu _{G},D^{*})&=2D_{JS}(\mu _{ref};\mu _{G})-2\ln 2,\end{aligned}}}
4578:
2710:
2386:
1703:
7031:
3172:
7390:
899:
3177:
7820:
7323:
7051:
6945:
6925:
6819:
6419:
6365:
5673:
5294:
5010:
4352:
3708:
3592:
3529:
3029:
The generator goes first, and the discriminator goes second. The generator aims to minimize the objective, and the discriminator aims to maximize the objective:
2008:
1898:
6854:
5945:{\displaystyle \|D\|_{L}\leq \sup _{x}\|diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\|_{F}}
1743:
856:
707:
2229:{\displaystyle L(\mu _{G},\mu _{D,1})\leq L(\mu _{G},\mu _{D,2})\leq \cdots \leq \max _{\mu _{D}}L(\mu _{G},\mu _{D})=2D_{JS}(\mu _{ref}\|\mu _{G})-2\ln 2,}
438:
939:
742:
6067:
3032:
8319:
5019:
818:
6230:
367:
8054:
Miyato, Takeru; Kataoka, Toshiki; Koyama, Masanori; Yoshida, Yuichi (2018-02-16). "Spectral
Normalization for Generative Adversarial Networks".
8202:
9121:
5648:{\displaystyle dD(x)=diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\cdot dx}
8992:
5299:
876:
639:
174:
9093:
8644:
8381:
7910:
7646:
1713:
Repeat the GAN game many times, each time with the generator moving first, and the discriminator moving second. Each time the generator
894:
727:
702:
651:
8905:
8532:
8339:
8195:
7153:
775:
770:
423:
8860:
433:
71:
8076:
7976:
4330:
8125:
4907:
828:
9131:
9047:
8987:
8585:
7895:
1324:
957:
932:
592:
413:
1706:
4716:
8580:
8269:
803:
505:
281:
2610:
2540:{\displaystyle W_{1}(\mu ,\nu )={\frac {1}{K}}\sup _{\|f\|_{L}\leq K}\mathbb {E} _{x\sim \mu }-\mathbb {E} _{y\sim \nu }}
1672:
987:
9022:
8376:
8329:
8324:
6952:
760:
697:
607:
585:
428:
418:
1371:
9073:
8369:
8295:
5245:
3927:
911:
823:
808:
269:
91:
798:
5151:
9126:
8697:
8632:
8233:
3802:
3721:
3534:
871:
548:
443:
231:
164:
124:
2239:
9098:
8956:
8595:
8426:
8249:
7905:
925:
531:
299:
169:
3299:
8997:
8254:
2791:
553:
473:
396:
314:
144:
106:
101:
61:
56:
2752:
1073:
4324:
9042:
9027:
8680:
8675:
8575:
8443:
8224:
6424:
6007:
5187:
4587:
2314:
500:
349:
249:
76:
9002:
8762:
8481:
8476:
7094:
2719:
1040:
680:
656:
558:
319:
294:
254:
66:
7222:
3361:
2313:
Naturally, this brings the possibility of using a different criteria of farness. There are many possible
9032:
9017:
8982:
8670:
8570:
8438:
8110:
8027:
7825:
5090:
5013:
634:
456:
408:
264:
179:
51:
8900:
9052:
9007:
8453:
8398:
8244:
8239:
2825:
563:
513:
7555:
5955:
3020:{\displaystyle L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}-\mathbb {E} _{x\sim \mu _{ref}}.}
2550:
1903:
8627:
8605:
8354:
8349:
8307:
8259:
7743:
6310:
1109:
666:
602:
573:
478:
304:
237:
223:
209:
184:
134:
86:
46:
9066:
7514:
7395:
7328:
9012:
8590:
8419:
8075:
Gulrajani, Ishaan; Ahmed, Faruk; Arjovsky, Martin; Dumoulin, Vincent; Courville, Aaron C (2017).
8055:
8013:
7988:
7955:
7900:
7773:
4653:, concentrates on a manifold of much lower dimension in it. Consequently, any generator strategy
4426:
3931:
3296:
Consequently, if the discriminator is good, the generator would be constantly pushed to minimize
2589:
2325:
644:
568:
354:
149:
7436:
4790:
4683:
4623:
3597:
3445:
3412:
In the
Wasserstein GAN game, the discriminator provides a better gradient than in the GAN game.
1960:
1850:
7613:
7268:
7056:
6859:
6378:
4850:
4580:
is much more severe in actual machine learning situations. Consider training a GAN to generate
2328:, which satisfies a "dual representation theorem" that renders it highly efficient to compute:
9078:
8870:
8522:
8393:
8386:
7478:
5250:
4880:
4823:
4656:
4512:
4476:
4399:
4357:
3882:
3657:
3630:
3541:
3478:
3418:
3123:
2725:
2605:
1933:
1716:
1344:
1046:
982:
737:
580:
493:
289:
259:
204:
199:
154:
96:
3909:
2665:
2345:
1313:{\displaystyle L(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{ref}}+\mathbb {E} _{x\sim \mu _{G}}.}
8823:
8813:
8620:
8414:
8364:
8359:
8302:
8290:
5998:
4981:
4553:
4316:{\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}=\mathbb {E} _{x\sim \mu _{G}}}
4124:{\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}=\mathbb {E} _{x\sim \mu _{G}}}
2689:
2365:
1678:
765:
518:
468:
378:
362:
332:
194:
189:
139:
129:
27:
7009:
3150:
8936:
8880:
8702:
8344:
8264:
8040:
5994:
793:
597:
463:
403:
7883:
7369:
8009:
8910:
8875:
8865:
8690:
8448:
8274:
7805:
7308:
7036:
6930:
6910:
6804:
6404:
6350:
5990:
5658:
5279:
4995:
4337:
3693:
3577:
3514:
2581:
1993:
1883:
813:
344:
81:
7977:"f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization"
7878:
6824:
9115:
8855:
8835:
8752:
8431:
7936:
7873:
5986:
2865:
978:
732:
661:
543:
274:
159:
8941:
8772:
5997:
of the matrix (these concepts are the same for matrices, but different for general
3714:
For fixed discriminator, the generator needs to minimize the following objectives:
2683:
2318:
6220:{\displaystyle \|diag(h'(W_{i}x_{i-1}))\|_{s}=\max _{j}|h'(W_{i}x_{i-1,j})|\leq 1}
2600:
By the
Kantorovich-Rubenstein duality, the definition of Wasserstein GAN is clear:
9037:
8808:
8717:
8712:
8334:
8312:
7302:
538:
32:
8931:
8890:
8885:
8798:
8707:
8615:
8527:
8507:
5390:
1320:
The generator aims to minimize it, and the discriminator aims to maximize it.
687:
383:
309:
4584:, a collection of photos of size 256-by-256. The space of all such photos is
8926:
8895:
8793:
8637:
8600:
8537:
8491:
8486:
8471:
7643:, we can simply add a "gradient penalty" term for the discriminator, of form
2788:
The discriminator's strategy set is the set of measurable functions of type
846:
627:
8187:
6900:
The spectral radius can be efficiently computed by the following algorithm:
3289:{\displaystyle L_{WGAN}(\mu _{G},D^{*})=K\cdot W_{1}(\mu _{G},\mu _{ref}).}
1106:, and the discriminator's strategy set is the set of measurable functions
8828:
8660:
8010:"Towards Principled Methods for Training Generative Adversarial Networks"
4581:
2715:
There are 2 players: generator and discriminator (also called "critic").
981:
with 2 players: generator and discriminator. The game is defined over a
8951:
8788:
8742:
8665:
8565:
8560:
8512:
1840:{\displaystyle D^{*}(x)={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}.}
622:
8966:
8946:
8818:
8610:
5382:{\displaystyle x_{i}=(D_{i}\circ D_{i-1}\circ \cdots \circ D_{1})(x)}
373:
6892:
This is the weight clipping method, proposed by the original paper.
8060:
8018:
7993:
7960:
8767:
8747:
8737:
8732:
8727:
8722:
8685:
8517:
4329:
3533:
3120:
By the
Kantorovich-Rubenstein duality, for any generator strategy
1336:(the optimal discriminator computes the Jensen–Shannon divergence)
617:
612:
339:
8757:
8181:
is in general intractable, but it is theoretically illuminating.
7935:
Arjovsky, Martin; Chintala, Soumith; Bottou, LĂ©on (2017-07-17).
8191:
1927:
constantly, having given up trying to perceive any difference.
7212:{\displaystyle W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}}
4787:. Thus, a good discriminator can almost perfectly distinguish
3110:{\displaystyle \min _{\mu _{G}}\max _{D}L_{WGAN}(\mu _{G},D).}
1740:
changes, the discriminator must adapt by approaching the ideal
5080:{\displaystyle D=D_{n}\circ D_{n-1}\circ \cdots \circ D_{1}}
2767:
2625:
2236:
so we see that the discriminator is actually lower-bounding
1088:
1002:
7219:
after each update of the discriminator, we can upper bound
6300:{\displaystyle \|D\|_{L}\leq \prod _{i=1}^{n}\|W_{i}\|_{s}}
7975:
Nowozin, Sebastian; Cseke, Botond; Tomioka, Ryota (2016).
6347:
of each matrix, we can upper-bound the
Lipschitz norm of
8174:{\displaystyle \nabla _{\theta }\ln \rho _{\mu _{G}}(x)}
4962:{\displaystyle \nabla _{\mu _{G}}L(\mu _{G},D)\approx 0}
3415:
Consider for example a game on the real line where both
905:
List of datasets in computer vision and image processing
4396:
As shown, the generator in GAN is motivated to let its
8122:
This is not how it is really done in practice, since
7879:
8128:
7828:
7808:
7776:
7746:
7649:
7616:
7558:
7517:
7481:
7439:
7398:
7372:
7331:
7311:
7271:
7225:
7156:
7097:
7059:
7039:
7012:
6955:
6933:
6913:
6862:
6827:
6807:
6492:
6427:
6407:
6381:
6353:
6313:
6233:
6070:
6010:
5958:
5681:
5661:
5399:
5302:
5282:
5253:
5190:
5154:
5093:
5022:
4998:
4910:
4883:
4853:
4826:
4793:
4780:{\displaystyle D_{JS}(\mu _{G}\|\mu _{ref})=+\infty }
4719:
4686:
4659:
4626:
4590:
4556:
4515:
4479:
4429:
4402:
4360:
4340:
4136:
3940:
3912:
3885:
3805:
3724:
3696:
3660:
3633:
3600:
3580:
3544:
3517:
3481:
3448:
3421:
3364:
3358:, and the optimal strategy for the generator is just
3302:
3180:
3153:
3126:
3035:
2874:
2828:
2794:
2755:
2728:
2692:
2668:
2613:
2553:
2394:
2368:
2348:
2242:
2016:
1996:
1963:
1936:
1906:
1886:
1853:
1746:
1719:
1681:
1447:
1374:
1347:
1159:
1112:
1076:
1049:
990:
1930:
Concretely, in the GAN game, let us fix a generator
977:
The original GAN method is based on the GAN game, a
8975:
8919:
8848:
8781:
8653:
8553:
8546:
8500:
8464:
8407:
8283:
8223:
2655:{\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}
1957:, and improve the discriminator step-by-step, with
1032:{\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}
8173:
7853:
7814:
7794:
7761:
7733:{\displaystyle \mathbb {E} _{x\sim {\hat {\mu }}}}
7732:
7635:
7591:
7544:
7503:
7467:
7425:
7384:
7358:
7317:
7290:
7257:
7211:
7139:
7078:
7045:
7025:
6999:{\displaystyle x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx}
6998:
6939:
6919:
6881:
6848:
6813:
6793:
6478:
6413:
6393:
6359:
6339:
6299:
6219:
6056:
5977:
5944:
5667:
5647:
5381:
5288:
5265:
5236:
5176:
5140:
5079:
5004:
4980:Training the generator in Wasserstein GAN is just
4961:
4896:
4869:
4839:
4812:
4779:
4705:
4672:
4645:
4612:
4572:
4539:
4501:
4470:. Similarly for the generator in Wasserstein GAN.
4462:
4415:
4384:
4346:
4315:
4123:
3918:
3898:
3867:
3788:
3702:
3682:
3646:
3619:
3586:
3566:
3523:
3503:
3475:are Gaussian. Then the optimal Wasserstein critic
3467:
3434:
3396:
3350:
3288:
3166:
3139:
3109:
3019:
2853:
2814:
2777:
2741:
2704:
2674:
2654:
2572:
2539:
2380:
2354:
2293:
2228:
2002:
1982:
1949:
1919:
1892:
1872:
1839:
1732:
1697:
1661:
1431:
1360:
1312:
1142:
1098:
1062:
1031:
8081:Advances in Neural Information Processing Systems
7981:Advances in Neural Information Processing Systems
4969:, creating no learning signal for the generator.
4509:has gradient 1 almost everywhere, while for GAN,
1432:{\displaystyle D^{*}=\arg \max _{D}L(\mu _{G},D)}
954:Wasserstein Generative Adversarial Network (WGAN)
6669:
6574:
6518:
6435:
6146:
6012:
5702:
5192:
3054:
3037:
2434:
2106:
1395:
7954:Weng, Lilian (2019-04-18). "From GAN to WGAN".
6902:
2602:
16:Proposed generative adversarial network variant
7433:as the initial guess for the algorithm. Since
5177:{\displaystyle h:\mathbb {R} \to \mathbb {R} }
4680:would almost surely be entirely disjoint from
4334:The same plot, but with the GAN discriminator
900:List of datasets for machine-learning research
8203:
8008:Arjovsky, Martin; Bottou, LĂ©on (2017-01-01).
7937:"Wasserstein Generative Adversarial Networks"
4620:, and the distribution of ImageNet pictures,
3868:{\displaystyle \mathbb {E} _{x\sim \mu _{G}}}
3789:{\displaystyle \mathbb {E} _{x\sim \mu _{G}}}
2324:The Wasserstein GAN is obtained by using the
933:
8:
7941:International Conference on Machine Learning
7836:
7829:
7702:
7683:
7624:
7617:
7301:The algorithm can be further accelerated by
7279:
7272:
7240:
7226:
7197:
7183:
7128:
7111:
7067:
7060:
6978:
6968:
6870:
6863:
6680:
6673:
6585:
6578:
6556:
6546:
6529:
6522:
6500:
6493:
6328:
6314:
6288:
6274:
6241:
6234:
6133:
6071:
5966:
5959:
5933:
5711:
5689:
5682:
4746:
3147:, the optimal reply by the discriminator is
2836:
2829:
2561:
2554:
2445:
2438:
2294:{\displaystyle D_{JS}(\mu _{ref}\|\mu _{G})}
2275:
2192:
7602:This is the spectral normalization method.
6307:Thus, if we can upper-bound operator norms
2332:
1331:
8550:
8210:
8196:
8188:
3351:{\displaystyle W_{1}(\mu _{G},\mu _{ref})}
940:
926:
18:
8154:
8149:
8133:
8127:
8059:
8017:
7992:
7959:
7839:
7827:
7807:
7775:
7748:
7747:
7745:
7721:
7705:
7664:
7663:
7656:
7652:
7651:
7648:
7627:
7615:
7568:
7563:
7557:
7527:
7522:
7516:
7486:
7480:
7444:
7438:
7408:
7403:
7397:
7371:
7341:
7336:
7330:
7310:
7282:
7270:
7243:
7233:
7224:
7200:
7190:
7176:
7170:
7161:
7155:
7131:
7121:
7102:
7096:
7070:
7058:
7038:
7017:
7011:
6981:
6962:
6954:
6932:
6912:
6873:
6861:
6826:
6806:
6785:
6772:
6759:
6749:
6736:
6723:
6701:
6683:
6672:
6659:
6648:
6632:
6622:
6606:
6588:
6577:
6564:
6559:
6532:
6521:
6508:
6503:
6491:
6471:
6459:
6450:
6438:
6426:
6406:
6380:
6352:
6331:
6321:
6312:
6291:
6281:
6268:
6257:
6244:
6232:
6206:
6185:
6175:
6155:
6149:
6136:
6114:
6104:
6069:
6043:
6021:
6015:
6009:
5969:
5957:
5936:
5926:
5904:
5859:
5834:
5818:
5779:
5754:
5744:
5705:
5692:
5680:
5660:
5630:
5608:
5563:
5538:
5522:
5483:
5458:
5448:
5398:
5361:
5336:
5323:
5307:
5301:
5281:
5252:
5223:
5201:
5195:
5189:
5170:
5169:
5162:
5161:
5153:
5126:
5098:
5092:
5071:
5046:
5033:
5021:
4997:
4938:
4920:
4915:
4909:
4888:
4882:
4858:
4852:
4831:
4825:
4798:
4792:
4753:
4740:
4724:
4718:
4691:
4685:
4664:
4658:
4631:
4625:
4602:
4597:
4593:
4592:
4589:
4561:
4555:
4514:
4484:
4478:
4428:
4407:
4401:
4359:
4339:
4293:
4288:
4272:
4241:
4226:
4215:
4211:
4210:
4179:
4164:
4153:
4149:
4148:
4141:
4135:
4101:
4096:
4080:
4032:
4021:
4017:
4016:
3968:
3957:
3953:
3952:
3945:
3939:
3911:
3890:
3884:
3838:
3823:
3812:
3808:
3807:
3804:
3742:
3731:
3727:
3726:
3723:
3695:
3665:
3659:
3638:
3632:
3605:
3599:
3579:
3549:
3543:
3516:
3486:
3480:
3453:
3447:
3426:
3420:
3382:
3369:
3363:
3333:
3320:
3307:
3301:
3268:
3255:
3242:
3220:
3207:
3185:
3179:
3158:
3152:
3131:
3125:
3089:
3067:
3057:
3045:
3040:
3034:
2982:
2971:
2967:
2966:
2936:
2925:
2921:
2920:
2901:
2879:
2873:
2839:
2827:
2815:{\displaystyle D:\Omega \to \mathbb {R} }
2808:
2807:
2793:
2766:
2765:
2754:
2733:
2727:
2691:
2667:
2637:
2624:
2623:
2612:
2564:
2552:
2507:
2503:
2502:
2468:
2464:
2463:
2448:
2437:
2423:
2399:
2393:
2367:
2347:
2282:
2263:
2247:
2241:
2199:
2180:
2164:
2145:
2132:
2114:
2109:
2081:
2068:
2040:
2027:
2015:
1995:
1968:
1962:
1941:
1935:
1907:
1905:
1885:
1858:
1852:
1822:
1803:
1779:
1769:
1751:
1745:
1724:
1718:
1686:
1680:
1628:
1609:
1593:
1570:
1557:
1531:
1512:
1488:
1478:
1456:
1448:
1446:
1414:
1398:
1379:
1373:
1352:
1346:
1263:
1252:
1248:
1247:
1205:
1194:
1190:
1189:
1170:
1158:
1111:
1087:
1086:
1075:
1054:
1048:
1014:
1001:
1000:
989:
2778:{\displaystyle (\Omega ,{\mathcal {B}})}
2362:is a metric space, then for any fixed
1099:{\displaystyle (\Omega ,{\mathcal {B}})}
8101:
8077:"Improved Training of Wasserstein GANs"
7922:
2722:is the set of all probability measures
2604:A Wasserstein GAN game is defined by a
1043:is the set of all probability measures
26:
8036:
8025:
6479:{\displaystyle c=\max _{i,j}|W_{i,j}|}
6057:{\displaystyle \sup _{x}|h'(x)|\leq 1}
5237:{\displaystyle \sup _{x}|h'(x)|\leq 1}
4613:{\displaystyle \mathbb {R} ^{256^{2}}}
2590:in the main page on Wasserstein metric
7884:Depth First Learning: Wasserstein GAN
7864:This is the gradient penalty method.
7:
9048:Generative adversarial network (GAN)
7930:
7928:
7926:
7599:, so this allows rapid convergence.
7140:{\displaystyle x^{*},\|Wx^{*}\|_{2}}
5989:of the matrix, that is, the largest
5184:is a fixed activation function with
2321:family, which would give the f-GAN.
958:generative adversarial network (GAN)
7258:{\displaystyle \|W_{i}\|_{s}\leq 1}
6227:, and consequently the upper bound:
4972:Detailed theorems can be found in.
3594:for a fixed reference distribution
3397:{\displaystyle \mu _{G}=\mu _{ref}}
895:Glossary of artificial intelligence
8130:
7854:{\displaystyle \|D\|_{L}\approx a}
7777:
7686:
5141:{\displaystyle D_{i}(x)=h(W_{i}x)}
4912:
4774:
4269:
4138:
4077:
3942:
3574:and the optimal GAN discriminator
3511:and the optimal GAN discriminator
2801:
2759:
2669:
2617:
2349:
1847:Since we are really interested in
1119:
1080:
994:
14:
4988:Upper-bounding the Lipschitz norm
4392:(and scaled down to fit the plot)
1341:For any fixed generator strategy
9086:
9085:
9065:
3710:are scaled down to fit the plot.
2337:(Kantorovich-Rubenstein duality)
1990:being the discriminator at step
4992:Let the discriminator function
3538:The optimal Wasserstein critic
2854:{\displaystyle \|D\|_{L}\leq K}
8998:Recurrent neural network (RNN)
8988:Differentiable neural computer
8168:
8162:
7896:Generative adversarial network
7789:
7783:
7753:
7727:
7718:
7698:
7692:
7680:
7677:
7669:
7592:{\displaystyle x_{i}^{*}(t+1)}
7586:
7574:
7539:
7533:
7498:
7492:
7462:
7450:
7420:
7414:
7353:
7347:
7167:
6959:
6843:
6828:
6472:
6451:
6207:
6203:
6168:
6156:
6129:
6126:
6097:
6086:
6044:
6040:
6034:
6022:
5978:{\displaystyle \|\cdot \|_{s}}
5916:
5913:
5897:
5886:
5849:
5846:
5811:
5800:
5769:
5766:
5737:
5726:
5620:
5617:
5601:
5590:
5553:
5550:
5515:
5504:
5473:
5470:
5441:
5430:
5412:
5406:
5376:
5370:
5367:
5316:
5224:
5220:
5214:
5202:
5166:
5135:
5119:
5110:
5104:
4950:
4931:
4765:
4733:
4534:
4522:
4457:
4454:
4448:
4436:
4379:
4367:
4310:
4307:
4301:
4262:
4256:
4234:
4203:
4200:
4194:
4172:
4118:
4115:
4109:
4070:
4067:
4061:
4049:
4040:
4009:
4006:
4003:
3997:
3985:
3976:
3862:
3859:
3853:
3831:
3783:
3780:
3777:
3771:
3759:
3750:
3654:. Both the Wasserstein critic
3345:
3313:
3280:
3248:
3226:
3200:
3101:
3082:
3011:
3008:
3002:
2996:
2959:
2956:
2950:
2944:
2913:
2894:
2864:The Wasserstein GAN game is a
2804:
2772:
2756:
2649:
2614:
2573:{\displaystyle \|\cdot \|_{L}}
2534:
2531:
2525:
2519:
2495:
2492:
2486:
2480:
2417:
2405:
2288:
2256:
2205:
2173:
2151:
2125:
2093:
2061:
2052:
2020:
1920:{\displaystyle {\frac {1}{2}}}
1828:
1796:
1763:
1757:
1634:
1602:
1576:
1550:
1537:
1505:
1468:
1462:
1426:
1407:
1304:
1301:
1298:
1292:
1280:
1271:
1240:
1237:
1231:
1219:
1182:
1163:
1137:
1125:
1122:
1093:
1077:
1026:
991:
315:Relevance vector machine (RVM)
1:
9043:Variational autoencoder (VAE)
9003:Long short-term memory (LSTM)
8270:Computational learning theory
7762:{\displaystyle {\hat {\mu }}}
7610:Instead of strictly bounding
7033:. This is the eigenvector of
6340:{\displaystyle \|W_{i}\|_{s}}
2822:with bounded Lipschitz-norm:
1880:, the discriminator function
1325:basic theorem of the GAN game
1143:{\displaystyle D:\Omega \to }
804:Computational learning theory
368:Expectation–maximization (EM)
9122:Neural network architectures
9023:Convolutional neural network
7545:{\displaystyle x_{i}^{*}(t)}
7426:{\displaystyle x_{i}^{*}(t)}
7359:{\displaystyle x_{i}^{*}(t)}
5993:of the matrix, that is, the
5655:Thus, the Lipschitz norm of
2317:to choose from, such as the
1671:where the derivative is the
1153:The objective of the game is
761:Coefficient of determination
608:Convolutional neural network
320:Support vector machine (SVM)
9018:Multilayer perceptron (MLP)
7795:{\displaystyle \nabla D(x)}
6801:by clipping all entries of
5273:satisfies the requirement.
5246:hyperbolic tangent function
4463:{\displaystyle \ln(1-D(x))}
3928:stochastic gradient descent
3627:and generator distribution
2342:When the probability space
1368:, let the optimal reply be
912:Outline of machine learning
809:Empirical risk minimization
9148:
9094:Artificial neural networks
9008:Gated recurrent unit (GRU)
8234:Differentiable programming
7987:. Curran Associates, Inc.
7468:{\displaystyle W_{i}(t+1)}
4813:{\displaystyle \mu _{ref}}
4706:{\displaystyle \mu _{ref}}
4646:{\displaystyle \mu _{ref}}
3690:and the GAN discriminator
3620:{\displaystyle \mu _{ref}}
3468:{\displaystyle \mu _{ref}}
1983:{\displaystyle \mu _{D,t}}
1873:{\displaystyle \mu _{ref}}
549:Feedforward neural network
300:Artificial neural networks
9061:
8427:Artificial neural network
8250:Automatic differentiation
8087:. Curran Associates, Inc.
7636:{\displaystyle \|D\|_{L}}
7291:{\displaystyle \|D\|_{L}}
7079:{\displaystyle \|W\|_{s}}
6882:{\displaystyle \|W\|_{s}}
6394:{\displaystyle m\times l}
4976:Training Wasserstein GANs
4870:{\displaystyle \mu _{G}'}
4423:"slide down the peak" of
2868:, with objective function
1707:Jensen–Shannon divergence
532:Artificial neural network
8255:Neuromorphic engineering
8218:Differentiable computing
7822:everywhere, thus making
7504:{\displaystyle W_{i}(t)}
6821:to within some interval
5266:{\displaystyle h=\tanh }
4897:{\displaystyle \mu _{G}}
4840:{\displaystyle \mu _{G}}
4673:{\displaystyle \mu _{G}}
4540:{\displaystyle \ln(1-D)}
4502:{\displaystyle D_{WGAN}}
4416:{\displaystyle \mu _{G}}
4385:{\displaystyle \ln(1-D)}
3899:{\displaystyle \mu _{G}}
3683:{\displaystyle D_{WGAN}}
3647:{\displaystyle \mu _{G}}
3567:{\displaystyle D_{WGAN}}
3504:{\displaystyle D_{WGAN}}
3435:{\displaystyle \mu _{G}}
3140:{\displaystyle \mu _{G}}
2742:{\displaystyle \mu _{G}}
2010:. Then we (ideally) have
1950:{\displaystyle \mu _{G}}
1733:{\displaystyle \mu _{G}}
1673:Radon–Nikodym derivative
1361:{\displaystyle \mu _{G}}
1063:{\displaystyle \mu _{G}}
841:Journals and conferences
788:Mathematical foundations
698:Temporal difference (TD)
554:Recurrent neural network
474:Conditional random field
397:Dimensionality reduction
145:Dimensionality reduction
107:Quantum machine learning
102:Neuromorphic engineering
62:Self-supervised learning
57:Semi-supervised learning
9028:Residual neural network
8444:Artificial Intelligence
7265:, and thus upper bound
5012:to be implemented by a
4325:reparametrization trick
3919:{\displaystyle \theta }
2675:{\displaystyle \Omega }
2355:{\displaystyle \Omega }
250:Apprenticeship learning
8175:
8035:Cite journal requires
7906:Earth mover's distance
7855:
7816:
7796:
7763:
7734:
7637:
7593:
7546:
7505:
7469:
7427:
7386:
7360:
7319:
7292:
7259:
7213:
7148:
7141:
7080:
7047:
7027:
7000:
6941:
6921:
6896:Spectral normalization
6883:
6850:
6815:
6795:
6480:
6415:
6395:
6361:
6341:
6301:
6273:
6221:
6058:
5979:
5946:
5669:
5649:
5383:
5290:
5267:
5238:
5178:
5142:
5081:
5006:
4963:
4898:
4871:
4841:
4814:
4781:
4707:
4674:
4647:
4614:
4574:
4573:{\displaystyle D_{JS}}
4541:
4503:
4464:
4417:
4393:
4386:
4348:
4317:
4125:
3926:, then we can perform
3920:
3900:
3869:
3790:
3711:
3704:
3684:
3648:
3621:
3588:
3568:
3531:are plotted as below:
3525:
3505:
3469:
3436:
3398:
3352:
3290:
3168:
3141:
3118:
3111:
3021:
2855:
2816:
2779:
2743:
2706:
2705:{\displaystyle K>0}
2676:
2656:
2574:
2541:
2382:
2381:{\displaystyle K>0}
2356:
2295:
2230:
2004:
1984:
1951:
1921:
1894:
1874:
1841:
1734:
1699:
1698:{\displaystyle D_{JS}}
1663:
1433:
1362:
1314:
1144:
1100:
1064:
1033:
799:Bias–variance tradeoff
681:Reinforcement learning
657:Spiking neural network
67:Reinforcement learning
9132:Unsupervised learning
8983:Neural Turing machine
8571:Human image synthesis
8176:
7911:Transportation theory
7856:
7817:
7797:
7764:
7735:
7638:
7594:
7547:
7506:
7470:
7428:
7387:
7361:
7320:
7293:
7260:
7214:
7142:
7081:
7048:
7028:
7026:{\displaystyle x^{*}}
7001:
6942:
6922:
6884:
6851:
6816:
6796:
6481:
6416:
6396:
6362:
6342:
6302:
6253:
6222:
6059:
5980:
5947:
5670:
5650:
5384:
5291:
5268:
5239:
5179:
5143:
5082:
5014:multilayer perceptron
5007:
4964:
4904:. Thus, the gradient
4899:
4872:
4842:
4815:
4782:
4708:
4675:
4648:
4615:
4575:
4542:
4504:
4473:For Wasserstein GAN,
4465:
4418:
4387:
4349:
4333:
4318:
4126:
3921:
3901:
3870:
3799:For Wasserstein GAN,
3791:
3705:
3685:
3649:
3622:
3589:
3569:
3537:
3526:
3506:
3470:
3437:
3399:
3353:
3291:
3169:
3167:{\displaystyle D^{*}}
3142:
3112:
3022:
2856:
2817:
2780:
2744:
2707:
2677:
2657:
2588:A proof can be found
2575:
2542:
2383:
2357:
2296:
2231:
2005:
1985:
1952:
1922:
1895:
1875:
1842:
1735:
1700:
1664:
1434:
1363:
1315:
1145:
1101:
1065:
1034:
635:Neural radiance field
457:Structured prediction
180:Structured prediction
52:Unsupervised learning
9074:Computer programming
9053:Graph neural network
8628:Text-to-video models
8606:Text-to-image models
8454:Large language model
8439:Scientific computing
8245:Statistical manifold
8240:Information geometry
8126:
7826:
7806:
7774:
7744:
7647:
7614:
7556:
7515:
7479:
7437:
7396:
7370:
7329:
7309:
7269:
7223:
7154:
7095:
7057:
7037:
7010:
6953:
6931:
6911:
6860:
6856:, we have can bound
6825:
6805:
6490:
6425:
6405:
6379:
6351:
6311:
6231:
6068:
6008:
5956:
5679:
5659:
5397:
5300:
5280:
5251:
5188:
5152:
5091:
5020:
4996:
4908:
4881:
4851:
4824:
4791:
4717:
4684:
4657:
4624:
4588:
4554:
4513:
4477:
4427:
4400:
4358:
4338:
4134:
3938:
3910:
3883:
3803:
3722:
3694:
3658:
3631:
3598:
3578:
3542:
3515:
3479:
3446:
3419:
3362:
3300:
3178:
3151:
3124:
3033:
2872:
2826:
2792:
2753:
2726:
2690:
2666:
2611:
2551:
2392:
2366:
2346:
2305:Wasserstein distance
2240:
2014:
1994:
1961:
1934:
1904:
1884:
1851:
1744:
1717:
1679:
1445:
1372:
1345:
1157:
1110:
1074:
1047:
988:
824:Statistical learning
722:Learning with humans
514:Local outlier factor
8420:In-context learning
8260:Pattern recognition
8111:without supervision
7573:
7532:
7413:
7385:{\displaystyle t+1}
7346:
6569:
6513:
5675:is upper-bounded by
5244:. For example, the
4866:
3932:unbiased estimators
3906:be parametrized by
3408:Comparison with GAN
2340: —
1339: —
667:Electrochemical RAM
574:reservoir computing
305:Logistic regression
224:Supervised learning
210:Multimodal learning
185:Feature engineering
130:Generative modeling
92:Rule-based learning
87:Curriculum learning
47:Supervised learning
22:Part of a series on
9013:Echo state network
8901:JĂĽrgen Schmidhuber
8596:Facial recognition
8591:Speech recognition
8501:Software libraries
8171:
7901:Wasserstein metric
7851:
7812:
7792:
7759:
7730:
7633:
7589:
7559:
7542:
7518:
7501:
7465:
7423:
7399:
7382:
7356:
7332:
7315:
7288:
7255:
7209:
7137:
7076:
7043:
7023:
6996:
6937:
6927:and initial guess
6917:
6879:
6846:
6811:
6791:
6718:
6696:
6627:
6611:
6601:
6555:
6545:
6499:
6476:
6449:
6411:
6391:
6357:
6337:
6297:
6217:
6154:
6054:
6020:
5975:
5942:
5710:
5665:
5645:
5379:
5286:
5263:
5234:
5200:
5174:
5138:
5077:
5002:
4959:
4894:
4867:
4854:
4837:
4810:
4777:
4703:
4670:
4643:
4610:
4570:
4537:
4499:
4460:
4413:
4394:
4382:
4344:
4323:where we used the
4313:
4121:
3916:
3896:
3865:
3786:
3712:
3700:
3680:
3644:
3617:
3584:
3564:
3521:
3501:
3465:
3432:
3394:
3348:
3286:
3164:
3137:
3107:
3062:
3052:
3017:
2851:
2812:
2775:
2739:
2702:
2672:
2652:
2570:
2537:
2461:
2378:
2352:
2334:
2326:Wasserstein metric
2291:
2226:
2121:
2000:
1980:
1947:
1917:
1890:
1870:
1837:
1730:
1695:
1659:
1657:
1429:
1403:
1358:
1333:
1310:
1140:
1096:
1060:
1039:, The generator's
1029:
235: •
150:Density estimation
9127:Cognitive science
9109:
9108:
8871:Stephen Grossberg
8844:
8843:
7815:{\displaystyle a}
7756:
7672:
7475:is very close to
7318:{\displaystyle t}
7207:
7046:{\displaystyle W}
6988:
6940:{\displaystyle x}
6920:{\displaystyle W}
6814:{\displaystyle W}
6697:
6668:
6618:
6602:
6573:
6517:
6434:
6414:{\displaystyle W}
6360:{\displaystyle D}
6145:
6011:
5701:
5668:{\displaystyle D}
5389:, we have by the
5289:{\displaystyle x}
5191:
5005:{\displaystyle D}
4847:, as well as any
4550:The problem with
4347:{\displaystyle D}
3703:{\displaystyle D}
3587:{\displaystyle D}
3524:{\displaystyle D}
3053:
3036:
2686:, and a constant
2606:probability space
2433:
2431:
2105:
2003:{\displaystyle t}
1915:
1893:{\displaystyle D}
1832:
1541:
1394:
983:probability space
950:
949:
755:Model diagnostics
738:Human-in-the-loop
581:Boltzmann machine
494:Anomaly detection
290:Linear regression
205:Ontology learning
200:Grammar induction
175:Semantic analysis
170:Association rules
155:Anomaly detection
97:Neuro-symbolic AI
9139:
9099:Machine learning
9089:
9088:
9069:
8824:Action selection
8814:Self-driving car
8621:Stable Diffusion
8586:Speech synthesis
8551:
8415:Machine learning
8291:Gradient descent
8212:
8205:
8198:
8189:
8182:
8180:
8178:
8177:
8172:
8161:
8160:
8159:
8158:
8138:
8137:
8120:
8114:
8106:
8089:
8088:
8072:
8066:
8065:
8063:
8051:
8045:
8044:
8038:
8033:
8031:
8023:
8021:
8005:
7999:
7998:
7996:
7972:
7966:
7965:
7963:
7951:
7945:
7944:
7943:. PMLR: 214–223.
7932:
7874:From GAN to WGAN
7860:
7858:
7857:
7852:
7844:
7843:
7821:
7819:
7818:
7813:
7801:
7799:
7798:
7793:
7768:
7766:
7765:
7760:
7758:
7757:
7749:
7739:
7737:
7736:
7731:
7726:
7725:
7710:
7709:
7676:
7675:
7674:
7673:
7665:
7655:
7642:
7640:
7639:
7634:
7632:
7631:
7606:Gradient penalty
7598:
7596:
7595:
7590:
7572:
7567:
7551:
7549:
7548:
7543:
7531:
7526:
7510:
7508:
7507:
7502:
7491:
7490:
7474:
7472:
7471:
7466:
7449:
7448:
7432:
7430:
7429:
7424:
7412:
7407:
7391:
7389:
7388:
7383:
7365:
7363:
7362:
7357:
7345:
7340:
7324:
7322:
7321:
7316:
7297:
7295:
7294:
7289:
7287:
7286:
7264:
7262:
7261:
7256:
7248:
7247:
7238:
7237:
7218:
7216:
7215:
7210:
7208:
7206:
7205:
7204:
7195:
7194:
7181:
7180:
7171:
7166:
7165:
7146:
7144:
7143:
7138:
7136:
7135:
7126:
7125:
7107:
7106:
7085:
7083:
7082:
7077:
7075:
7074:
7053:with eigenvalue
7052:
7050:
7049:
7044:
7032:
7030:
7029:
7024:
7022:
7021:
7005:
7003:
7002:
6997:
6989:
6987:
6986:
6985:
6963:
6946:
6944:
6943:
6938:
6926:
6924:
6923:
6918:
6888:
6886:
6885:
6880:
6878:
6877:
6855:
6853:
6852:
6849:{\displaystyle }
6847:
6820:
6818:
6817:
6812:
6800:
6798:
6797:
6792:
6790:
6789:
6777:
6776:
6764:
6763:
6754:
6753:
6744:
6743:
6731:
6730:
6717:
6695:
6688:
6687:
6664:
6663:
6658:
6654:
6653:
6652:
6643:
6642:
6626:
6610:
6600:
6593:
6592:
6568:
6563:
6544:
6537:
6536:
6512:
6507:
6485:
6483:
6482:
6477:
6475:
6470:
6469:
6454:
6448:
6420:
6418:
6417:
6412:
6400:
6398:
6397:
6392:
6366:
6364:
6363:
6358:
6346:
6344:
6343:
6338:
6336:
6335:
6326:
6325:
6306:
6304:
6303:
6298:
6296:
6295:
6286:
6285:
6272:
6267:
6249:
6248:
6226:
6224:
6223:
6218:
6210:
6202:
6201:
6180:
6179:
6167:
6159:
6153:
6141:
6140:
6125:
6124:
6109:
6108:
6096:
6063:
6061:
6060:
6055:
6047:
6033:
6025:
6019:
5999:linear operators
5984:
5982:
5981:
5976:
5974:
5973:
5951:
5949:
5948:
5943:
5941:
5940:
5931:
5930:
5909:
5908:
5896:
5870:
5869:
5845:
5844:
5829:
5828:
5810:
5784:
5783:
5765:
5764:
5749:
5748:
5736:
5709:
5697:
5696:
5674:
5672:
5671:
5666:
5654:
5652:
5651:
5646:
5635:
5634:
5613:
5612:
5600:
5574:
5573:
5549:
5548:
5533:
5532:
5514:
5488:
5487:
5469:
5468:
5453:
5452:
5440:
5388:
5386:
5385:
5380:
5366:
5365:
5347:
5346:
5328:
5327:
5312:
5311:
5295:
5293:
5292:
5287:
5272:
5270:
5269:
5264:
5243:
5241:
5240:
5235:
5227:
5213:
5205:
5199:
5183:
5181:
5180:
5175:
5173:
5165:
5147:
5145:
5144:
5139:
5131:
5130:
5103:
5102:
5086:
5084:
5083:
5078:
5076:
5075:
5057:
5056:
5038:
5037:
5011:
5009:
5008:
5003:
4982:gradient descent
4968:
4966:
4965:
4960:
4943:
4942:
4927:
4926:
4925:
4924:
4903:
4901:
4900:
4895:
4893:
4892:
4876:
4874:
4873:
4868:
4862:
4846:
4844:
4843:
4838:
4836:
4835:
4819:
4817:
4816:
4811:
4809:
4808:
4786:
4784:
4783:
4778:
4764:
4763:
4745:
4744:
4732:
4731:
4712:
4710:
4709:
4704:
4702:
4701:
4679:
4677:
4676:
4671:
4669:
4668:
4652:
4650:
4649:
4644:
4642:
4641:
4619:
4617:
4616:
4611:
4609:
4608:
4607:
4606:
4596:
4579:
4577:
4576:
4571:
4569:
4568:
4546:
4544:
4543:
4538:
4508:
4506:
4505:
4500:
4498:
4497:
4469:
4467:
4466:
4461:
4422:
4420:
4419:
4414:
4412:
4411:
4391:
4389:
4388:
4383:
4353:
4351:
4350:
4345:
4322:
4320:
4319:
4314:
4300:
4299:
4298:
4297:
4277:
4276:
4255:
4254:
4233:
4232:
4231:
4230:
4214:
4193:
4192:
4171:
4170:
4169:
4168:
4152:
4146:
4145:
4130:
4128:
4127:
4122:
4108:
4107:
4106:
4105:
4085:
4084:
4039:
4038:
4037:
4036:
4020:
3975:
3974:
3973:
3972:
3956:
3950:
3949:
3934:of the gradient:
3925:
3923:
3922:
3917:
3905:
3903:
3902:
3897:
3895:
3894:
3874:
3872:
3871:
3866:
3852:
3851:
3830:
3829:
3828:
3827:
3811:
3795:
3793:
3792:
3787:
3749:
3748:
3747:
3746:
3730:
3709:
3707:
3706:
3701:
3689:
3687:
3686:
3681:
3679:
3678:
3653:
3651:
3650:
3645:
3643:
3642:
3626:
3624:
3623:
3618:
3616:
3615:
3593:
3591:
3590:
3585:
3573:
3571:
3570:
3565:
3563:
3562:
3530:
3528:
3527:
3522:
3510:
3508:
3507:
3502:
3500:
3499:
3474:
3472:
3471:
3466:
3464:
3463:
3441:
3439:
3438:
3433:
3431:
3430:
3404:, as it should.
3403:
3401:
3400:
3395:
3393:
3392:
3374:
3373:
3357:
3355:
3354:
3349:
3344:
3343:
3325:
3324:
3312:
3311:
3295:
3293:
3292:
3287:
3279:
3278:
3260:
3259:
3247:
3246:
3225:
3224:
3212:
3211:
3199:
3198:
3173:
3171:
3170:
3165:
3163:
3162:
3146:
3144:
3143:
3138:
3136:
3135:
3116:
3114:
3113:
3108:
3094:
3093:
3081:
3080:
3061:
3051:
3050:
3049:
3026:
3024:
3023:
3018:
2995:
2994:
2993:
2992:
2970:
2943:
2942:
2941:
2940:
2924:
2906:
2905:
2893:
2892:
2860:
2858:
2857:
2852:
2844:
2843:
2821:
2819:
2818:
2813:
2811:
2784:
2782:
2781:
2776:
2771:
2770:
2748:
2746:
2745:
2740:
2738:
2737:
2718:The generator's
2711:
2709:
2708:
2703:
2681:
2679:
2678:
2673:
2661:
2659:
2658:
2653:
2648:
2647:
2629:
2628:
2579:
2577:
2576:
2571:
2569:
2568:
2546:
2544:
2543:
2538:
2518:
2517:
2506:
2479:
2478:
2467:
2460:
2453:
2452:
2432:
2424:
2404:
2403:
2387:
2385:
2384:
2379:
2361:
2359:
2358:
2353:
2341:
2338:
2300:
2298:
2297:
2292:
2287:
2286:
2274:
2273:
2255:
2254:
2235:
2233:
2232:
2227:
2204:
2203:
2191:
2190:
2172:
2171:
2150:
2149:
2137:
2136:
2120:
2119:
2118:
2092:
2091:
2073:
2072:
2051:
2050:
2032:
2031:
2009:
2007:
2006:
2001:
1989:
1987:
1986:
1981:
1979:
1978:
1956:
1954:
1953:
1948:
1946:
1945:
1926:
1924:
1923:
1918:
1916:
1908:
1899:
1897:
1896:
1891:
1879:
1877:
1876:
1871:
1869:
1868:
1846:
1844:
1843:
1838:
1833:
1831:
1827:
1826:
1814:
1813:
1791:
1790:
1789:
1770:
1756:
1755:
1739:
1737:
1736:
1731:
1729:
1728:
1704:
1702:
1701:
1696:
1694:
1693:
1668:
1666:
1665:
1660:
1658:
1633:
1632:
1620:
1619:
1601:
1600:
1575:
1574:
1562:
1561:
1542:
1540:
1536:
1535:
1523:
1522:
1500:
1499:
1498:
1479:
1461:
1460:
1438:
1436:
1435:
1430:
1419:
1418:
1402:
1384:
1383:
1367:
1365:
1364:
1359:
1357:
1356:
1340:
1337:
1319:
1317:
1316:
1311:
1270:
1269:
1268:
1267:
1251:
1218:
1217:
1216:
1215:
1193:
1175:
1174:
1149:
1147:
1146:
1141:
1105:
1103:
1102:
1097:
1092:
1091:
1069:
1067:
1066:
1061:
1059:
1058:
1038:
1036:
1035:
1030:
1025:
1024:
1006:
1005:
956:is a variant of
942:
935:
928:
889:Related articles
766:Confusion matrix
519:Isolation forest
464:Graphical models
243:
242:
195:Learning to rank
190:Feature learning
28:Machine learning
19:
9147:
9146:
9142:
9141:
9140:
9138:
9137:
9136:
9112:
9111:
9110:
9105:
9057:
8971:
8937:Google DeepMind
8915:
8881:Geoffrey Hinton
8840:
8777:
8703:Project Debater
8649:
8547:Implementations
8542:
8496:
8460:
8403:
8345:Backpropagation
8279:
8265:Tensor calculus
8219:
8216:
8186:
8185:
8150:
8145:
8129:
8124:
8123:
8121:
8117:
8107:
8103:
8098:
8093:
8092:
8074:
8073:
8069:
8053:
8052:
8048:
8034:
8024:
8007:
8006:
8002:
7974:
7973:
7969:
7953:
7952:
7948:
7934:
7933:
7924:
7919:
7892:
7870:
7868:Further reading
7835:
7824:
7823:
7804:
7803:
7772:
7771:
7742:
7741:
7717:
7701:
7650:
7645:
7644:
7623:
7612:
7611:
7608:
7554:
7553:
7513:
7512:
7482:
7477:
7476:
7440:
7435:
7434:
7394:
7393:
7368:
7367:
7366:. Then at step
7327:
7326:
7307:
7306:
7278:
7267:
7266:
7239:
7229:
7221:
7220:
7196:
7186:
7182:
7172:
7157:
7152:
7151:
7150:By reassigning
7127:
7117:
7098:
7093:
7092:
7066:
7055:
7054:
7035:
7034:
7013:
7008:
7007:
7006:to convergence
6977:
6967:
6951:
6950:
6929:
6928:
6909:
6908:
6898:
6869:
6858:
6857:
6823:
6822:
6803:
6802:
6781:
6768:
6755:
6745:
6732:
6719:
6679:
6644:
6628:
6617:
6613:
6612:
6584:
6528:
6488:
6487:
6455:
6423:
6422:
6403:
6402:
6377:
6376:
6373:
6371:Weight clipping
6349:
6348:
6327:
6317:
6309:
6308:
6287:
6277:
6240:
6229:
6228:
6181:
6171:
6160:
6132:
6110:
6100:
6089:
6066:
6065:
6026:
6006:
6005:
5995:spectral radius
5965:
5954:
5953:
5932:
5922:
5900:
5889:
5855:
5830:
5814:
5803:
5775:
5750:
5740:
5729:
5688:
5677:
5676:
5657:
5656:
5626:
5604:
5593:
5559:
5534:
5518:
5507:
5479:
5454:
5444:
5433:
5395:
5394:
5357:
5332:
5319:
5303:
5298:
5297:
5278:
5277:
5249:
5248:
5206:
5186:
5185:
5150:
5149:
5122:
5094:
5089:
5088:
5067:
5042:
5029:
5018:
5017:
4994:
4993:
4990:
4978:
4934:
4916:
4911:
4906:
4905:
4884:
4879:
4878:
4849:
4848:
4827:
4822:
4821:
4794:
4789:
4788:
4749:
4736:
4720:
4715:
4714:
4687:
4682:
4681:
4660:
4655:
4654:
4627:
4622:
4621:
4598:
4591:
4586:
4585:
4557:
4552:
4551:
4511:
4510:
4480:
4475:
4474:
4425:
4424:
4403:
4398:
4397:
4356:
4355:
4336:
4335:
4289:
4284:
4268:
4237:
4222:
4209:
4175:
4160:
4147:
4137:
4132:
4131:
4097:
4092:
4076:
4028:
4015:
3964:
3951:
3941:
3936:
3935:
3908:
3907:
3886:
3881:
3880:
3834:
3819:
3806:
3801:
3800:
3738:
3725:
3720:
3719:
3692:
3691:
3661:
3656:
3655:
3634:
3629:
3628:
3601:
3596:
3595:
3576:
3575:
3545:
3540:
3539:
3513:
3512:
3482:
3477:
3476:
3449:
3444:
3443:
3422:
3417:
3416:
3410:
3378:
3365:
3360:
3359:
3329:
3316:
3303:
3298:
3297:
3264:
3251:
3238:
3216:
3203:
3181:
3176:
3175:
3154:
3149:
3148:
3127:
3122:
3121:
3085:
3063:
3041:
3031:
3030:
2978:
2965:
2932:
2919:
2897:
2875:
2870:
2869:
2835:
2824:
2823:
2790:
2789:
2751:
2750:
2729:
2724:
2723:
2688:
2687:
2664:
2663:
2633:
2609:
2608:
2598:
2586:
2560:
2549:
2548:
2501:
2462:
2444:
2395:
2390:
2389:
2364:
2363:
2344:
2343:
2339:
2336:
2307:
2278:
2259:
2243:
2238:
2237:
2195:
2176:
2160:
2141:
2128:
2110:
2077:
2064:
2036:
2023:
2012:
2011:
1992:
1991:
1964:
1959:
1958:
1937:
1932:
1931:
1902:
1901:
1882:
1881:
1854:
1849:
1848:
1818:
1799:
1792:
1775:
1771:
1747:
1742:
1741:
1720:
1715:
1714:
1711:
1682:
1677:
1676:
1656:
1655:
1624:
1605:
1589:
1579:
1566:
1553:
1544:
1543:
1527:
1508:
1501:
1484:
1480:
1471:
1452:
1443:
1442:
1410:
1375:
1370:
1369:
1348:
1343:
1342:
1338:
1335:
1259:
1246:
1201:
1188:
1166:
1155:
1154:
1108:
1107:
1072:
1071:
1050:
1045:
1044:
1010:
986:
985:
975:
970:
946:
917:
916:
890:
882:
881:
842:
834:
833:
794:Kernel machines
789:
781:
780:
756:
748:
747:
728:Active learning
723:
715:
714:
683:
673:
672:
598:Diffusion model
534:
524:
523:
496:
486:
485:
459:
449:
448:
404:Factor analysis
399:
389:
388:
372:
335:
325:
324:
245:
244:
228:
227:
226:
215:
214:
120:
112:
111:
77:Online learning
42:
30:
17:
12:
11:
5:
9145:
9143:
9135:
9134:
9129:
9124:
9114:
9113:
9107:
9106:
9104:
9103:
9102:
9101:
9096:
9083:
9082:
9081:
9076:
9062:
9059:
9058:
9056:
9055:
9050:
9045:
9040:
9035:
9030:
9025:
9020:
9015:
9010:
9005:
9000:
8995:
8990:
8985:
8979:
8977:
8973:
8972:
8970:
8969:
8964:
8959:
8954:
8949:
8944:
8939:
8934:
8929:
8923:
8921:
8917:
8916:
8914:
8913:
8911:Ilya Sutskever
8908:
8903:
8898:
8893:
8888:
8883:
8878:
8876:Demis Hassabis
8873:
8868:
8866:Ian Goodfellow
8863:
8858:
8852:
8850:
8846:
8845:
8842:
8841:
8839:
8838:
8833:
8832:
8831:
8821:
8816:
8811:
8806:
8801:
8796:
8791:
8785:
8783:
8779:
8778:
8776:
8775:
8770:
8765:
8760:
8755:
8750:
8745:
8740:
8735:
8730:
8725:
8720:
8715:
8710:
8705:
8700:
8695:
8694:
8693:
8683:
8678:
8673:
8668:
8663:
8657:
8655:
8651:
8650:
8648:
8647:
8642:
8641:
8640:
8635:
8625:
8624:
8623:
8618:
8613:
8603:
8598:
8593:
8588:
8583:
8578:
8573:
8568:
8563:
8557:
8555:
8548:
8544:
8543:
8541:
8540:
8535:
8530:
8525:
8520:
8515:
8510:
8504:
8502:
8498:
8497:
8495:
8494:
8489:
8484:
8479:
8474:
8468:
8466:
8462:
8461:
8459:
8458:
8457:
8456:
8449:Language model
8446:
8441:
8436:
8435:
8434:
8424:
8423:
8422:
8411:
8409:
8405:
8404:
8402:
8401:
8399:Autoregression
8396:
8391:
8390:
8389:
8379:
8377:Regularization
8374:
8373:
8372:
8367:
8362:
8352:
8347:
8342:
8340:Loss functions
8337:
8332:
8327:
8322:
8317:
8316:
8315:
8305:
8300:
8299:
8298:
8287:
8285:
8281:
8280:
8278:
8277:
8275:Inductive bias
8272:
8267:
8262:
8257:
8252:
8247:
8242:
8237:
8229:
8227:
8221:
8220:
8217:
8215:
8214:
8207:
8200:
8192:
8184:
8183:
8170:
8167:
8164:
8157:
8153:
8148:
8144:
8141:
8136:
8132:
8115:
8100:
8099:
8097:
8094:
8091:
8090:
8067:
8046:
8037:|journal=
8000:
7967:
7946:
7921:
7920:
7918:
7915:
7914:
7913:
7908:
7903:
7898:
7891:
7888:
7887:
7886:
7881:
7876:
7869:
7866:
7850:
7847:
7842:
7838:
7834:
7831:
7811:
7791:
7788:
7785:
7782:
7779:
7755:
7752:
7729:
7724:
7720:
7716:
7713:
7708:
7704:
7700:
7697:
7694:
7691:
7688:
7685:
7682:
7679:
7671:
7668:
7662:
7659:
7654:
7630:
7626:
7622:
7619:
7607:
7604:
7588:
7585:
7582:
7579:
7576:
7571:
7566:
7562:
7541:
7538:
7535:
7530:
7525:
7521:
7500:
7497:
7494:
7489:
7485:
7464:
7461:
7458:
7455:
7452:
7447:
7443:
7422:
7419:
7416:
7411:
7406:
7402:
7381:
7378:
7375:
7355:
7352:
7349:
7344:
7339:
7335:
7314:
7285:
7281:
7277:
7274:
7254:
7251:
7246:
7242:
7236:
7232:
7228:
7203:
7199:
7193:
7189:
7185:
7179:
7175:
7169:
7164:
7160:
7134:
7130:
7124:
7120:
7116:
7113:
7110:
7105:
7101:
7073:
7069:
7065:
7062:
7042:
7020:
7016:
6995:
6992:
6984:
6980:
6976:
6973:
6970:
6966:
6961:
6958:
6936:
6916:
6897:
6894:
6876:
6872:
6868:
6865:
6845:
6842:
6839:
6836:
6833:
6830:
6810:
6788:
6784:
6780:
6775:
6771:
6767:
6762:
6758:
6752:
6748:
6742:
6739:
6735:
6729:
6726:
6722:
6716:
6713:
6710:
6707:
6704:
6700:
6694:
6691:
6686:
6682:
6678:
6675:
6671:
6667:
6662:
6657:
6651:
6647:
6641:
6638:
6635:
6631:
6625:
6621:
6616:
6609:
6605:
6599:
6596:
6591:
6587:
6583:
6580:
6576:
6572:
6567:
6562:
6558:
6554:
6551:
6548:
6543:
6540:
6535:
6531:
6527:
6524:
6520:
6516:
6511:
6506:
6502:
6498:
6495:
6474:
6468:
6465:
6462:
6458:
6453:
6447:
6444:
6441:
6437:
6433:
6430:
6410:
6390:
6387:
6384:
6375:Since for any
6372:
6369:
6356:
6334:
6330:
6324:
6320:
6316:
6294:
6290:
6284:
6280:
6276:
6271:
6266:
6263:
6260:
6256:
6252:
6247:
6243:
6239:
6236:
6216:
6213:
6209:
6205:
6200:
6197:
6194:
6191:
6188:
6184:
6178:
6174:
6170:
6166:
6163:
6158:
6152:
6148:
6144:
6139:
6135:
6131:
6128:
6123:
6120:
6117:
6113:
6107:
6103:
6099:
6095:
6092:
6088:
6085:
6082:
6079:
6076:
6073:
6053:
6050:
6046:
6042:
6039:
6036:
6032:
6029:
6024:
6018:
6014:
5991:singular value
5972:
5968:
5964:
5961:
5939:
5935:
5929:
5925:
5921:
5918:
5915:
5912:
5907:
5903:
5899:
5895:
5892:
5888:
5885:
5882:
5879:
5876:
5873:
5868:
5865:
5862:
5858:
5854:
5851:
5848:
5843:
5840:
5837:
5833:
5827:
5824:
5821:
5817:
5813:
5809:
5806:
5802:
5799:
5796:
5793:
5790:
5787:
5782:
5778:
5774:
5771:
5768:
5763:
5760:
5757:
5753:
5747:
5743:
5739:
5735:
5732:
5728:
5725:
5722:
5719:
5716:
5713:
5708:
5704:
5700:
5695:
5691:
5687:
5684:
5664:
5644:
5641:
5638:
5633:
5629:
5625:
5622:
5619:
5616:
5611:
5607:
5603:
5599:
5596:
5592:
5589:
5586:
5583:
5580:
5577:
5572:
5569:
5566:
5562:
5558:
5555:
5552:
5547:
5544:
5541:
5537:
5531:
5528:
5525:
5521:
5517:
5513:
5510:
5506:
5503:
5500:
5497:
5494:
5491:
5486:
5482:
5478:
5475:
5472:
5467:
5464:
5461:
5457:
5451:
5447:
5443:
5439:
5436:
5432:
5429:
5426:
5423:
5420:
5417:
5414:
5411:
5408:
5405:
5402:
5378:
5375:
5372:
5369:
5364:
5360:
5356:
5353:
5350:
5345:
5342:
5339:
5335:
5331:
5326:
5322:
5318:
5315:
5310:
5306:
5285:
5276:Then, for any
5262:
5259:
5256:
5233:
5230:
5226:
5222:
5219:
5216:
5212:
5209:
5204:
5198:
5194:
5172:
5168:
5164:
5160:
5157:
5137:
5134:
5129:
5125:
5121:
5118:
5115:
5112:
5109:
5106:
5101:
5097:
5074:
5070:
5066:
5063:
5060:
5055:
5052:
5049:
5045:
5041:
5036:
5032:
5028:
5025:
5001:
4989:
4986:
4977:
4974:
4958:
4955:
4952:
4949:
4946:
4941:
4937:
4933:
4930:
4923:
4919:
4914:
4891:
4887:
4865:
4861:
4857:
4834:
4830:
4807:
4804:
4801:
4797:
4776:
4773:
4770:
4767:
4762:
4759:
4756:
4752:
4748:
4743:
4739:
4735:
4730:
4727:
4723:
4700:
4697:
4694:
4690:
4667:
4663:
4640:
4637:
4634:
4630:
4605:
4601:
4595:
4567:
4564:
4560:
4536:
4533:
4530:
4527:
4524:
4521:
4518:
4496:
4493:
4490:
4487:
4483:
4459:
4456:
4453:
4450:
4447:
4444:
4441:
4438:
4435:
4432:
4410:
4406:
4381:
4378:
4375:
4372:
4369:
4366:
4363:
4343:
4312:
4309:
4306:
4303:
4296:
4292:
4287:
4283:
4280:
4275:
4271:
4267:
4264:
4261:
4258:
4253:
4250:
4247:
4244:
4240:
4236:
4229:
4225:
4221:
4218:
4213:
4208:
4205:
4202:
4199:
4196:
4191:
4188:
4185:
4182:
4178:
4174:
4167:
4163:
4159:
4156:
4151:
4144:
4140:
4120:
4117:
4114:
4111:
4104:
4100:
4095:
4091:
4088:
4083:
4079:
4075:
4072:
4069:
4066:
4063:
4060:
4057:
4054:
4051:
4048:
4045:
4042:
4035:
4031:
4027:
4024:
4019:
4014:
4011:
4008:
4005:
4002:
3999:
3996:
3993:
3990:
3987:
3984:
3981:
3978:
3971:
3967:
3963:
3960:
3955:
3948:
3944:
3915:
3893:
3889:
3877:
3876:
3864:
3861:
3858:
3855:
3850:
3847:
3844:
3841:
3837:
3833:
3826:
3822:
3818:
3815:
3810:
3797:
3785:
3782:
3779:
3776:
3773:
3770:
3767:
3764:
3761:
3758:
3755:
3752:
3745:
3741:
3737:
3734:
3729:
3699:
3677:
3674:
3671:
3668:
3664:
3641:
3637:
3614:
3611:
3608:
3604:
3583:
3561:
3558:
3555:
3552:
3548:
3520:
3498:
3495:
3492:
3489:
3485:
3462:
3459:
3456:
3452:
3429:
3425:
3409:
3406:
3391:
3388:
3385:
3381:
3377:
3372:
3368:
3347:
3342:
3339:
3336:
3332:
3328:
3323:
3319:
3315:
3310:
3306:
3285:
3282:
3277:
3274:
3271:
3267:
3263:
3258:
3254:
3250:
3245:
3241:
3237:
3234:
3231:
3228:
3223:
3219:
3215:
3210:
3206:
3202:
3197:
3194:
3191:
3188:
3184:
3161:
3157:
3134:
3130:
3106:
3103:
3100:
3097:
3092:
3088:
3084:
3079:
3076:
3073:
3070:
3066:
3060:
3056:
3048:
3044:
3039:
3016:
3013:
3010:
3007:
3004:
3001:
2998:
2991:
2988:
2985:
2981:
2977:
2974:
2969:
2964:
2961:
2958:
2955:
2952:
2949:
2946:
2939:
2935:
2931:
2928:
2923:
2918:
2915:
2912:
2909:
2904:
2900:
2896:
2891:
2888:
2885:
2882:
2878:
2850:
2847:
2842:
2838:
2834:
2831:
2810:
2806:
2803:
2800:
2797:
2774:
2769:
2764:
2761:
2758:
2736:
2732:
2701:
2698:
2695:
2671:
2651:
2646:
2643:
2640:
2636:
2632:
2627:
2622:
2619:
2616:
2597:
2594:
2582:Lipschitz norm
2567:
2563:
2559:
2556:
2536:
2533:
2530:
2527:
2524:
2521:
2516:
2513:
2510:
2505:
2500:
2497:
2494:
2491:
2488:
2485:
2482:
2477:
2474:
2471:
2466:
2459:
2456:
2451:
2447:
2443:
2440:
2436:
2430:
2427:
2422:
2419:
2416:
2413:
2410:
2407:
2402:
2398:
2377:
2374:
2371:
2351:
2330:
2306:
2303:
2290:
2285:
2281:
2277:
2272:
2269:
2266:
2262:
2258:
2253:
2250:
2246:
2225:
2222:
2219:
2216:
2213:
2210:
2207:
2202:
2198:
2194:
2189:
2186:
2183:
2179:
2175:
2170:
2167:
2163:
2159:
2156:
2153:
2148:
2144:
2140:
2135:
2131:
2127:
2124:
2117:
2113:
2108:
2104:
2101:
2098:
2095:
2090:
2087:
2084:
2080:
2076:
2071:
2067:
2063:
2060:
2057:
2054:
2049:
2046:
2043:
2039:
2035:
2030:
2026:
2022:
2019:
1999:
1977:
1974:
1971:
1967:
1944:
1940:
1914:
1911:
1889:
1867:
1864:
1861:
1857:
1836:
1830:
1825:
1821:
1817:
1812:
1809:
1806:
1802:
1798:
1795:
1788:
1785:
1782:
1778:
1774:
1768:
1765:
1762:
1759:
1754:
1750:
1727:
1723:
1692:
1689:
1685:
1654:
1651:
1648:
1645:
1642:
1639:
1636:
1631:
1627:
1623:
1618:
1615:
1612:
1608:
1604:
1599:
1596:
1592:
1588:
1585:
1582:
1580:
1578:
1573:
1569:
1565:
1560:
1556:
1552:
1549:
1546:
1545:
1539:
1534:
1530:
1526:
1521:
1518:
1515:
1511:
1507:
1504:
1497:
1494:
1491:
1487:
1483:
1477:
1474:
1472:
1470:
1467:
1464:
1459:
1455:
1451:
1450:
1428:
1425:
1422:
1417:
1413:
1409:
1406:
1401:
1397:
1393:
1390:
1387:
1382:
1378:
1355:
1351:
1329:
1309:
1306:
1303:
1300:
1297:
1294:
1291:
1288:
1285:
1282:
1279:
1276:
1273:
1266:
1262:
1258:
1255:
1250:
1245:
1242:
1239:
1236:
1233:
1230:
1227:
1224:
1221:
1214:
1211:
1208:
1204:
1200:
1197:
1192:
1187:
1184:
1181:
1178:
1173:
1169:
1165:
1162:
1139:
1136:
1133:
1130:
1127:
1124:
1121:
1118:
1115:
1095:
1090:
1085:
1082:
1079:
1057:
1053:
1028:
1023:
1020:
1017:
1013:
1009:
1004:
999:
996:
993:
974:
971:
969:
966:
948:
947:
945:
944:
937:
930:
922:
919:
918:
915:
914:
909:
908:
907:
897:
891:
888:
887:
884:
883:
880:
879:
874:
869:
864:
859:
854:
849:
843:
840:
839:
836:
835:
832:
831:
826:
821:
816:
814:Occam learning
811:
806:
801:
796:
790:
787:
786:
783:
782:
779:
778:
773:
771:Learning curve
768:
763:
757:
754:
753:
750:
749:
746:
745:
740:
735:
730:
724:
721:
720:
717:
716:
713:
712:
711:
710:
700:
695:
690:
684:
679:
678:
675:
674:
671:
670:
664:
659:
654:
649:
648:
647:
637:
632:
631:
630:
625:
620:
615:
605:
600:
595:
590:
589:
588:
578:
577:
576:
571:
566:
561:
551:
546:
541:
535:
530:
529:
526:
525:
522:
521:
516:
511:
503:
497:
492:
491:
488:
487:
484:
483:
482:
481:
476:
471:
460:
455:
454:
451:
450:
447:
446:
441:
436:
431:
426:
421:
416:
411:
406:
400:
395:
394:
391:
390:
387:
386:
381:
376:
370:
365:
360:
352:
347:
342:
336:
331:
330:
327:
326:
323:
322:
317:
312:
307:
302:
297:
292:
287:
279:
278:
277:
272:
267:
257:
255:Decision trees
252:
246:
232:classification
222:
221:
220:
217:
216:
213:
212:
207:
202:
197:
192:
187:
182:
177:
172:
167:
162:
157:
152:
147:
142:
137:
132:
127:
125:Classification
121:
118:
117:
114:
113:
110:
109:
104:
99:
94:
89:
84:
82:Batch learning
79:
74:
69:
64:
59:
54:
49:
43:
40:
39:
36:
35:
24:
23:
15:
13:
10:
9:
6:
4:
3:
2:
9144:
9133:
9130:
9128:
9125:
9123:
9120:
9119:
9117:
9100:
9097:
9095:
9092:
9091:
9084:
9080:
9077:
9075:
9072:
9071:
9068:
9064:
9063:
9060:
9054:
9051:
9049:
9046:
9044:
9041:
9039:
9036:
9034:
9031:
9029:
9026:
9024:
9021:
9019:
9016:
9014:
9011:
9009:
9006:
9004:
9001:
8999:
8996:
8994:
8991:
8989:
8986:
8984:
8981:
8980:
8978:
8976:Architectures
8974:
8968:
8965:
8963:
8960:
8958:
8955:
8953:
8950:
8948:
8945:
8943:
8940:
8938:
8935:
8933:
8930:
8928:
8925:
8924:
8922:
8920:Organizations
8918:
8912:
8909:
8907:
8904:
8902:
8899:
8897:
8894:
8892:
8889:
8887:
8884:
8882:
8879:
8877:
8874:
8872:
8869:
8867:
8864:
8862:
8859:
8857:
8856:Yoshua Bengio
8854:
8853:
8851:
8847:
8837:
8836:Robot control
8834:
8830:
8827:
8826:
8825:
8822:
8820:
8817:
8815:
8812:
8810:
8807:
8805:
8802:
8800:
8797:
8795:
8792:
8790:
8787:
8786:
8784:
8780:
8774:
8771:
8769:
8766:
8764:
8761:
8759:
8756:
8754:
8753:Chinchilla AI
8751:
8749:
8746:
8744:
8741:
8739:
8736:
8734:
8731:
8729:
8726:
8724:
8721:
8719:
8716:
8714:
8711:
8709:
8706:
8704:
8701:
8699:
8696:
8692:
8689:
8688:
8687:
8684:
8682:
8679:
8677:
8674:
8672:
8669:
8667:
8664:
8662:
8659:
8658:
8656:
8652:
8646:
8643:
8639:
8636:
8634:
8631:
8630:
8629:
8626:
8622:
8619:
8617:
8614:
8612:
8609:
8608:
8607:
8604:
8602:
8599:
8597:
8594:
8592:
8589:
8587:
8584:
8582:
8579:
8577:
8574:
8572:
8569:
8567:
8564:
8562:
8559:
8558:
8556:
8552:
8549:
8545:
8539:
8536:
8534:
8531:
8529:
8526:
8524:
8521:
8519:
8516:
8514:
8511:
8509:
8506:
8505:
8503:
8499:
8493:
8490:
8488:
8485:
8483:
8480:
8478:
8475:
8473:
8470:
8469:
8467:
8463:
8455:
8452:
8451:
8450:
8447:
8445:
8442:
8440:
8437:
8433:
8432:Deep learning
8430:
8429:
8428:
8425:
8421:
8418:
8417:
8416:
8413:
8412:
8410:
8406:
8400:
8397:
8395:
8392:
8388:
8385:
8384:
8383:
8380:
8378:
8375:
8371:
8368:
8366:
8363:
8361:
8358:
8357:
8356:
8353:
8351:
8348:
8346:
8343:
8341:
8338:
8336:
8333:
8331:
8328:
8326:
8323:
8321:
8320:Hallucination
8318:
8314:
8311:
8310:
8309:
8306:
8304:
8301:
8297:
8294:
8293:
8292:
8289:
8288:
8286:
8282:
8276:
8273:
8271:
8268:
8266:
8263:
8261:
8258:
8256:
8253:
8251:
8248:
8246:
8243:
8241:
8238:
8236:
8235:
8231:
8230:
8228:
8226:
8222:
8213:
8208:
8206:
8201:
8199:
8194:
8193:
8190:
8165:
8155:
8151:
8146:
8142:
8139:
8134:
8119:
8116:
8112:
8105:
8102:
8095:
8086:
8082:
8078:
8071:
8068:
8062:
8057:
8050:
8047:
8042:
8029:
8020:
8015:
8011:
8004:
8001:
7995:
7990:
7986:
7982:
7978:
7971:
7968:
7962:
7957:
7950:
7947:
7942:
7938:
7931:
7929:
7927:
7923:
7916:
7912:
7909:
7907:
7904:
7902:
7899:
7897:
7894:
7893:
7889:
7885:
7882:
7880:
7877:
7875:
7872:
7871:
7867:
7865:
7862:
7848:
7845:
7840:
7832:
7809:
7786:
7780:
7750:
7722:
7714:
7711:
7706:
7695:
7689:
7666:
7660:
7657:
7628:
7620:
7605:
7603:
7600:
7583:
7580:
7577:
7569:
7564:
7560:
7536:
7528:
7523:
7519:
7495:
7487:
7483:
7459:
7456:
7453:
7445:
7441:
7417:
7409:
7404:
7400:
7379:
7376:
7373:
7350:
7342:
7337:
7333:
7312:
7304:
7299:
7283:
7275:
7252:
7249:
7244:
7234:
7230:
7201:
7191:
7187:
7177:
7173:
7162:
7158:
7147:
7132:
7122:
7118:
7114:
7108:
7103:
7099:
7091:
7087:
7071:
7063:
7040:
7018:
7014:
6993:
6990:
6982:
6974:
6971:
6964:
6956:
6947:
6934:
6914:
6906:
6901:
6895:
6893:
6890:
6874:
6866:
6840:
6837:
6834:
6831:
6808:
6786:
6782:
6778:
6773:
6769:
6765:
6760:
6756:
6750:
6746:
6740:
6737:
6733:
6727:
6724:
6720:
6714:
6711:
6708:
6705:
6702:
6698:
6692:
6689:
6684:
6676:
6665:
6660:
6655:
6649:
6645:
6639:
6636:
6633:
6629:
6623:
6619:
6614:
6607:
6603:
6597:
6594:
6589:
6581:
6570:
6565:
6560:
6552:
6549:
6541:
6538:
6533:
6525:
6514:
6509:
6504:
6496:
6466:
6463:
6460:
6456:
6445:
6442:
6439:
6431:
6428:
6408:
6388:
6385:
6382:
6370:
6368:
6354:
6332:
6322:
6318:
6292:
6282:
6278:
6269:
6264:
6261:
6258:
6254:
6250:
6245:
6237:
6214:
6211:
6198:
6195:
6192:
6189:
6186:
6182:
6176:
6172:
6164:
6161:
6150:
6142:
6137:
6121:
6118:
6115:
6111:
6105:
6101:
6093:
6090:
6083:
6080:
6077:
6074:
6051:
6048:
6037:
6030:
6027:
6016:
6002:
6000:
5996:
5992:
5988:
5987:operator norm
5970:
5962:
5937:
5927:
5923:
5919:
5910:
5905:
5901:
5893:
5890:
5883:
5880:
5877:
5874:
5871:
5866:
5863:
5860:
5856:
5852:
5841:
5838:
5835:
5831:
5825:
5822:
5819:
5815:
5807:
5804:
5797:
5794:
5791:
5788:
5785:
5780:
5776:
5772:
5761:
5758:
5755:
5751:
5745:
5741:
5733:
5730:
5723:
5720:
5717:
5714:
5706:
5698:
5693:
5685:
5662:
5642:
5639:
5636:
5631:
5627:
5623:
5614:
5609:
5605:
5597:
5594:
5587:
5584:
5581:
5578:
5575:
5570:
5567:
5564:
5560:
5556:
5545:
5542:
5539:
5535:
5529:
5526:
5523:
5519:
5511:
5508:
5501:
5498:
5495:
5492:
5489:
5484:
5480:
5476:
5465:
5462:
5459:
5455:
5449:
5445:
5437:
5434:
5427:
5424:
5421:
5418:
5415:
5409:
5403:
5400:
5392:
5373:
5362:
5358:
5354:
5351:
5348:
5343:
5340:
5337:
5333:
5329:
5324:
5320:
5313:
5308:
5304:
5283:
5274:
5260:
5257:
5254:
5247:
5231:
5228:
5217:
5210:
5207:
5196:
5158:
5155:
5132:
5127:
5123:
5116:
5113:
5107:
5099:
5095:
5072:
5068:
5064:
5061:
5058:
5053:
5050:
5047:
5043:
5039:
5034:
5030:
5026:
5023:
5015:
4999:
4987:
4985:
4983:
4975:
4973:
4970:
4956:
4953:
4947:
4944:
4939:
4935:
4928:
4921:
4917:
4889:
4885:
4863:
4859:
4855:
4832:
4828:
4805:
4802:
4799:
4795:
4771:
4768:
4760:
4757:
4754:
4750:
4741:
4737:
4728:
4725:
4721:
4698:
4695:
4692:
4688:
4665:
4661:
4638:
4635:
4632:
4628:
4603:
4599:
4583:
4565:
4562:
4558:
4548:
4531:
4528:
4525:
4519:
4516:
4494:
4491:
4488:
4485:
4481:
4471:
4451:
4445:
4442:
4439:
4433:
4430:
4408:
4404:
4376:
4373:
4370:
4364:
4361:
4341:
4332:
4328:
4326:
4304:
4294:
4290:
4285:
4281:
4278:
4273:
4265:
4259:
4251:
4248:
4245:
4242:
4238:
4227:
4223:
4219:
4216:
4206:
4197:
4189:
4186:
4183:
4180:
4176:
4165:
4161:
4157:
4154:
4142:
4112:
4102:
4098:
4093:
4089:
4086:
4081:
4073:
4064:
4058:
4055:
4052:
4046:
4043:
4033:
4029:
4025:
4022:
4012:
4000:
3994:
3991:
3988:
3982:
3979:
3969:
3965:
3961:
3958:
3946:
3933:
3930:by using two
3929:
3913:
3891:
3887:
3856:
3848:
3845:
3842:
3839:
3835:
3824:
3820:
3816:
3813:
3798:
3774:
3768:
3765:
3762:
3756:
3753:
3743:
3739:
3735:
3732:
3717:
3716:
3715:
3697:
3675:
3672:
3669:
3666:
3662:
3639:
3635:
3612:
3609:
3606:
3602:
3581:
3559:
3556:
3553:
3550:
3546:
3536:
3532:
3518:
3496:
3493:
3490:
3487:
3483:
3460:
3457:
3454:
3450:
3427:
3423:
3413:
3407:
3405:
3389:
3386:
3383:
3379:
3375:
3370:
3366:
3340:
3337:
3334:
3330:
3326:
3321:
3317:
3308:
3304:
3283:
3275:
3272:
3269:
3265:
3261:
3256:
3252:
3243:
3239:
3235:
3232:
3229:
3221:
3217:
3213:
3208:
3204:
3195:
3192:
3189:
3186:
3182:
3159:
3155:
3132:
3128:
3117:
3104:
3098:
3095:
3090:
3086:
3077:
3074:
3071:
3068:
3064:
3058:
3046:
3042:
3027:
3014:
3005:
2999:
2989:
2986:
2983:
2979:
2975:
2972:
2962:
2953:
2947:
2937:
2933:
2929:
2926:
2916:
2910:
2907:
2902:
2898:
2889:
2886:
2883:
2880:
2876:
2867:
2866:zero-sum game
2862:
2848:
2845:
2840:
2832:
2798:
2795:
2786:
2762:
2734:
2730:
2721:
2716:
2713:
2699:
2696:
2693:
2685:
2644:
2641:
2638:
2634:
2630:
2620:
2607:
2601:
2595:
2593:
2591:
2585:
2583:
2565:
2557:
2528:
2522:
2514:
2511:
2508:
2498:
2489:
2483:
2475:
2472:
2469:
2457:
2454:
2449:
2441:
2428:
2425:
2420:
2414:
2411:
2408:
2400:
2396:
2375:
2372:
2369:
2329:
2327:
2322:
2320:
2316:
2311:
2304:
2302:
2283:
2279:
2270:
2267:
2264:
2260:
2251:
2248:
2244:
2223:
2220:
2217:
2214:
2211:
2208:
2200:
2196:
2187:
2184:
2181:
2177:
2168:
2165:
2161:
2157:
2154:
2146:
2142:
2138:
2133:
2129:
2122:
2115:
2111:
2102:
2099:
2096:
2088:
2085:
2082:
2078:
2074:
2069:
2065:
2058:
2055:
2047:
2044:
2041:
2037:
2033:
2028:
2024:
2017:
1997:
1975:
1972:
1969:
1965:
1942:
1938:
1928:
1912:
1909:
1887:
1865:
1862:
1859:
1855:
1834:
1823:
1819:
1815:
1810:
1807:
1804:
1800:
1793:
1786:
1783:
1780:
1776:
1772:
1766:
1760:
1752:
1748:
1725:
1721:
1710:
1708:
1690:
1687:
1683:
1674:
1669:
1652:
1649:
1646:
1643:
1640:
1637:
1629:
1625:
1621:
1616:
1613:
1610:
1606:
1597:
1594:
1590:
1586:
1583:
1581:
1571:
1567:
1563:
1558:
1554:
1547:
1532:
1528:
1524:
1519:
1516:
1513:
1509:
1502:
1495:
1492:
1489:
1485:
1481:
1475:
1473:
1465:
1457:
1453:
1440:
1423:
1420:
1415:
1411:
1404:
1399:
1391:
1388:
1385:
1380:
1376:
1353:
1349:
1328:
1326:
1321:
1307:
1295:
1289:
1286:
1283:
1277:
1274:
1264:
1260:
1256:
1253:
1243:
1234:
1228:
1225:
1222:
1212:
1209:
1206:
1202:
1198:
1195:
1185:
1179:
1176:
1171:
1167:
1160:
1151:
1134:
1131:
1128:
1116:
1113:
1083:
1055:
1051:
1042:
1021:
1018:
1015:
1011:
1007:
997:
984:
980:
979:zero-sum game
972:
967:
965:
961:
959:
955:
943:
938:
936:
931:
929:
924:
923:
921:
920:
913:
910:
906:
903:
902:
901:
898:
896:
893:
892:
886:
885:
878:
875:
873:
870:
868:
865:
863:
860:
858:
855:
853:
850:
848:
845:
844:
838:
837:
830:
827:
825:
822:
820:
817:
815:
812:
810:
807:
805:
802:
800:
797:
795:
792:
791:
785:
784:
777:
774:
772:
769:
767:
764:
762:
759:
758:
752:
751:
744:
741:
739:
736:
734:
733:Crowdsourcing
731:
729:
726:
725:
719:
718:
709:
706:
705:
704:
701:
699:
696:
694:
691:
689:
686:
685:
682:
677:
676:
668:
665:
663:
662:Memtransistor
660:
658:
655:
653:
650:
646:
643:
642:
641:
638:
636:
633:
629:
626:
624:
621:
619:
616:
614:
611:
610:
609:
606:
604:
601:
599:
596:
594:
591:
587:
584:
583:
582:
579:
575:
572:
570:
567:
565:
562:
560:
557:
556:
555:
552:
550:
547:
545:
544:Deep learning
542:
540:
537:
536:
533:
528:
527:
520:
517:
515:
512:
510:
508:
504:
502:
499:
498:
495:
490:
489:
480:
479:Hidden Markov
477:
475:
472:
470:
467:
466:
465:
462:
461:
458:
453:
452:
445:
442:
440:
437:
435:
432:
430:
427:
425:
422:
420:
417:
415:
412:
410:
407:
405:
402:
401:
398:
393:
392:
385:
382:
380:
377:
375:
371:
369:
366:
364:
361:
359:
357:
353:
351:
348:
346:
343:
341:
338:
337:
334:
329:
328:
321:
318:
316:
313:
311:
308:
306:
303:
301:
298:
296:
293:
291:
288:
286:
284:
280:
276:
275:Random forest
273:
271:
268:
266:
263:
262:
261:
258:
256:
253:
251:
248:
247:
240:
239:
234:
233:
225:
219:
218:
211:
208:
206:
203:
201:
198:
196:
193:
191:
188:
186:
183:
181:
178:
176:
173:
171:
168:
166:
163:
161:
160:Data cleaning
158:
156:
153:
151:
148:
146:
143:
141:
138:
136:
133:
131:
128:
126:
123:
122:
116:
115:
108:
105:
103:
100:
98:
95:
93:
90:
88:
85:
83:
80:
78:
75:
73:
72:Meta-learning
70:
68:
65:
63:
60:
58:
55:
53:
50:
48:
45:
44:
38:
37:
34:
29:
25:
21:
20:
8942:Hugging Face
8906:David Silver
8554:Audio–visual
8408:Applications
8387:Augmentation
8232:
8118:
8104:
8084:
8080:
8070:
8049:
8028:cite journal
8003:
7984:
7980:
7970:
7949:
7940:
7863:
7609:
7601:
7300:
7149:
7089:
7088:
6948:
6904:
6903:
6899:
6891:
6374:
6003:
5275:
4991:
4979:
4971:
4549:
4472:
4395:
4354:replaced by
3878:
3713:
3414:
3411:
3174:, such that
3119:
3028:
2863:
2787:
2720:strategy set
2717:
2714:
2684:metric space
2603:
2599:
2587:
2331:
2323:
2319:f-divergence
2312:
2308:
1929:
1712:
1670:
1441:
1330:
1322:
1152:
1041:strategy set
976:
973:The GAN game
962:
953:
951:
819:PAC learning
506:
355:
350:Hierarchical
282:
236:
230:
9090:Categories
9038:Autoencoder
8993:Transformer
8861:Alex Graves
8809:OpenAI Five
8713:IBM Watsonx
8335:Convolution
8313:Overfitting
7303:memoization
2315:divergences
1327:states that
703:Multi-agent
640:Transformer
539:Autoencoder
295:Naive Bayes
33:data mining
9116:Categories
9079:Technology
8932:EleutherAI
8891:Fei-Fei Li
8886:Yann LeCun
8799:Q-learning
8782:Decisional
8708:IBM Watson
8616:Midjourney
8508:TensorFlow
8355:Activation
8308:Regression
8303:Clustering
8061:1802.05957
8019:1701.04862
7994:1606.00709
7961:1904.08994
7917:References
7305:: At step
6064:, we have
5391:chain rule
2596:Definition
968:Motivation
688:Q-learning
586:Restricted
384:Mean shift
333:Clustering
310:Perceptron
238:regression
140:Clustering
135:Regression
8962:MIT CSAIL
8927:Anthropic
8896:Andrew Ng
8794:AlphaZero
8638:VideoPoet
8601:AlphaFold
8538:MindSpore
8492:SpiNNaker
8487:Memristor
8394:Diffusion
8370:Rectifier
8350:Batchnorm
8330:Attention
8325:Adversary
8152:μ
8147:ρ
8143:
8135:θ
8131:∇
7846:≈
7837:‖
7830:‖
7802:close to
7778:∇
7754:^
7751:μ
7712:−
7703:‖
7687:∇
7684:‖
7670:^
7667:μ
7661:∼
7625:‖
7618:‖
7570:∗
7552:close to
7529:∗
7410:∗
7343:∗
7280:‖
7273:‖
7250:≤
7241:‖
7227:‖
7198:‖
7184:‖
7168:←
7129:‖
7123:∗
7112:‖
7104:∗
7068:‖
7061:‖
7019:∗
6979:‖
6969:‖
6960:↦
6871:‖
6864:‖
6832:−
6766:≤
6699:∑
6681:‖
6674:‖
6620:∑
6604:∑
6586:‖
6579:‖
6557:‖
6547:‖
6530:‖
6523:‖
6501:‖
6494:‖
6486:, we have
6386:×
6329:‖
6315:‖
6289:‖
6275:‖
6255:∏
6251:≤
6242:‖
6235:‖
6212:≤
6190:−
6134:‖
6119:−
6072:‖
6049:≤
5967:‖
5963:⋅
5960:‖
5934:‖
5920:⋅
5872:⋯
5864:−
5853:⋅
5839:−
5823:−
5786:⋅
5773:⋅
5759:−
5712:‖
5699:≤
5690:‖
5683:‖
5637:⋅
5624:⋅
5576:⋯
5568:−
5557:⋅
5543:−
5527:−
5490:⋅
5477:⋅
5463:−
5355:∘
5352:⋯
5349:∘
5341:−
5330:∘
5229:≤
5167:→
5065:∘
5062:⋯
5059:∘
5051:−
5040:∘
4954:≈
4936:μ
4918:μ
4913:∇
4886:μ
4877:close to
4856:μ
4829:μ
4796:μ
4775:∞
4751:μ
4747:‖
4738:μ
4713:, making
4689:μ
4662:μ
4629:μ
4529:−
4520:
4443:−
4434:
4405:μ
4374:−
4365:
4291:μ
4286:ρ
4282:
4274:θ
4270:∇
4266:⋅
4224:μ
4220:∼
4162:μ
4158:∼
4143:θ
4139:∇
4099:μ
4094:ρ
4090:
4082:θ
4078:∇
4074:⋅
4056:−
4047:
4030:μ
4026:∼
3992:−
3983:
3966:μ
3962:∼
3947:θ
3943:∇
3914:θ
3888:μ
3821:μ
3817:∼
3766:−
3757:
3740:μ
3736:∼
3718:For GAN,
3636:μ
3603:μ
3451:μ
3424:μ
3380:μ
3367:μ
3331:μ
3318:μ
3266:μ
3253:μ
3236:⋅
3222:∗
3205:μ
3160:∗
3129:μ
3087:μ
3043:μ
2980:μ
2976:∼
2963:−
2934:μ
2930:∼
2899:μ
2846:≤
2837:‖
2830:‖
2805:→
2802:Ω
2760:Ω
2731:μ
2670:Ω
2635:μ
2618:Ω
2562:‖
2558:⋅
2555:‖
2515:ν
2512:∼
2499:−
2476:μ
2473:∼
2455:≤
2446:‖
2439:‖
2415:ν
2409:μ
2350:Ω
2280:μ
2276:‖
2261:μ
2218:
2209:−
2197:μ
2193:‖
2178:μ
2143:μ
2130:μ
2112:μ
2103:≤
2100:⋯
2097:≤
2079:μ
2066:μ
2056:≤
2038:μ
2025:μ
1966:μ
1939:μ
1856:μ
1820:μ
1801:μ
1777:μ
1753:∗
1722:μ
1647:
1638:−
1626:μ
1607:μ
1572:∗
1555:μ
1529:μ
1510:μ
1486:μ
1458:∗
1412:μ
1392:
1381:∗
1350:μ
1287:−
1278:
1261:μ
1257:∼
1226:
1203:μ
1199:∼
1168:μ
1123:→
1120:Ω
1081:Ω
1052:μ
1012:μ
995:Ω
847:ECML PKDD
829:VC theory
776:ROC curve
708:Self-play
628:DeepDream
469:Bayes net
260:Ensembles
41:Paradigms
9070:Portals
8829:Auto-GPT
8661:Word2vec
8465:Hardware
8382:Datasets
8284:Concepts
7890:See also
7511:, so is
7325:, store
6949:Iterate
6165:′
6094:′
6031:′
5894:′
5808:′
5734:′
5598:′
5512:′
5438:′
5211:′
4864:′
4582:ImageNet
2662:, where
270:Boosting
119:Problems
8952:Meta AI
8789:AlphaGo
8773:PanGu-ÎŁ
8743:ChatGPT
8718:Granite
8666:Seq2seq
8645:Whisper
8566:WaveNet
8561:AlexNet
8533:Flux.jl
8513:PyTorch
8365:Sigmoid
8360:Softmax
8225:General
6907:matrix
6401:matrix
5985:is the
2580:is the
2333:Theorem
1705:is the
1439:, then
1332:Theorem
852:NeurIPS
669:(ECRAM)
623:AlexNet
265:Bagging
8967:Huawei
8947:OpenAI
8849:People
8819:MuZero
8681:Gemini
8676:Claude
8611:DALL-E
8523:Theano
7740:where
7392:, use
7090:RETURN
6421:, let
6004:Since
5952:where
5296:, let
5148:, and
5087:where
2547:where
2335:
1675:, and
1334:
645:Vision
501:RANSAC
379:OPTICS
374:DBSCAN
358:-means
165:AutoML
9033:Mamba
8804:SARSA
8768:LLaMA
8763:BLOOM
8748:GPT-J
8738:GPT-4
8733:GPT-3
8728:GPT-2
8723:GPT-1
8686:LaMDA
8518:Keras
8096:Notes
8056:arXiv
8014:arXiv
7989:arXiv
7956:arXiv
6905:INPUT
4820:from
2682:is a
867:IJCAI
693:SARSA
652:Mamba
618:LeNet
613:U-Net
439:t-SNE
363:Fuzzy
340:BIRCH
8957:Mila
8758:PaLM
8691:Bard
8671:BERT
8654:Text
8633:Sora
8041:help
5261:tanh
3879:Let
3442:and
2697:>
2373:>
952:The
877:JMLR
862:ICLR
857:ICML
743:RLHF
559:LSTM
345:CURE
31:and
8698:NMT
8581:OCR
8576:HWR
8528:JAX
8482:VPU
8477:TPU
8472:IPU
8296:SGD
6670:sup
6575:sup
6519:sup
6436:max
6147:max
6013:sup
6001:).
5703:sup
5193:sup
4600:256
3055:max
3038:min
2749:on
2435:sup
2107:max
1396:max
1389:arg
1070:on
603:SOM
593:GAN
569:ESN
564:GRU
509:-NN
444:SDL
434:PGD
429:PCA
424:NMF
419:LDA
414:ICA
409:CCA
285:-NN
9118::
8140:ln
8085:30
8083:.
8079:.
8032::
8030:}}
8026:{{
8012:.
7985:29
7983:.
7979:.
7939:.
7925:^
7861:.
7298:.
7086:.
6889:.
6367:.
4517:ln
4431:ln
4362:ln
4327:.
4279:ln
4087:ln
4044:ln
3980:ln
3754:ln
2917::=
2861:.
2785:.
2712:.
2592:.
2584:.
2388:,
2301:.
2215:ln
1709:.
1644:ln
1323:A
1275:ln
1223:ln
1186::=
1150:.
872:ML
8211:e
8204:t
8197:v
8169:)
8166:x
8163:(
8156:G
8113:.
8064:.
8058::
8043:)
8039:(
8022:.
8016::
7997:.
7991::
7964:.
7958::
7849:a
7841:L
7833:D
7810:a
7790:)
7787:x
7784:(
7781:D
7728:]
7723:2
7719:)
7715:a
7707:2
7699:)
7696:x
7693:(
7690:D
7681:(
7678:[
7658:x
7653:E
7629:L
7621:D
7587:)
7584:1
7581:+
7578:t
7575:(
7565:i
7561:x
7540:)
7537:t
7534:(
7524:i
7520:x
7499:)
7496:t
7493:(
7488:i
7484:W
7463:)
7460:1
7457:+
7454:t
7451:(
7446:i
7442:W
7421:)
7418:t
7415:(
7405:i
7401:x
7380:1
7377:+
7374:t
7354:)
7351:t
7348:(
7338:i
7334:x
7313:t
7284:L
7276:D
7253:1
7245:s
7235:i
7231:W
7202:s
7192:i
7188:W
7178:i
7174:W
7163:i
7159:W
7133:2
7119:x
7115:W
7109:,
7100:x
7072:s
7064:W
7041:W
7015:x
6994:x
6991:W
6983:2
6975:x
6972:W
6965:1
6957:x
6935:x
6915:W
6875:s
6867:W
6844:]
6841:c
6838:,
6835:c
6829:[
6809:W
6787:2
6783:l
6779:m
6774:2
6770:c
6761:k
6757:x
6751:j
6747:x
6741:k
6738:i
6734:W
6728:j
6725:i
6721:W
6715:k
6712:,
6709:j
6706:,
6703:i
6693:1
6690:=
6685:2
6677:x
6666:=
6661:2
6656:)
6650:j
6646:x
6640:j
6637:,
6634:i
6630:W
6624:j
6615:(
6608:i
6598:1
6595:=
6590:2
6582:x
6571:=
6566:2
6561:2
6553:x
6550:W
6542:1
6539:=
6534:2
6526:x
6515:=
6510:2
6505:s
6497:W
6473:|
6467:j
6464:,
6461:i
6457:W
6452:|
6446:j
6443:,
6440:i
6432:=
6429:c
6409:W
6389:l
6383:m
6355:D
6333:s
6323:i
6319:W
6293:s
6283:i
6279:W
6270:n
6265:1
6262:=
6259:i
6246:L
6238:D
6215:1
6208:|
6204:)
6199:j
6196:,
6193:1
6187:i
6183:x
6177:i
6173:W
6169:(
6162:h
6157:|
6151:j
6143:=
6138:s
6130:)
6127:)
6122:1
6116:i
6112:x
6106:i
6102:W
6098:(
6091:h
6087:(
6084:g
6081:a
6078:i
6075:d
6052:1
6045:|
6041:)
6038:x
6035:(
6028:h
6023:|
6017:x
5971:s
5938:F
5928:1
5924:W
5917:)
5914:)
5911:x
5906:1
5902:W
5898:(
5891:h
5887:(
5884:g
5881:a
5878:i
5875:d
5867:1
5861:n
5857:W
5850:)
5847:)
5842:2
5836:n
5832:x
5826:1
5820:n
5816:W
5812:(
5805:h
5801:(
5798:g
5795:a
5792:i
5789:d
5781:n
5777:W
5770:)
5767:)
5762:1
5756:n
5752:x
5746:n
5742:W
5738:(
5731:h
5727:(
5724:g
5721:a
5718:i
5715:d
5707:x
5694:L
5686:D
5663:D
5643:x
5640:d
5632:1
5628:W
5621:)
5618:)
5615:x
5610:1
5606:W
5602:(
5595:h
5591:(
5588:g
5585:a
5582:i
5579:d
5571:1
5565:n
5561:W
5554:)
5551:)
5546:2
5540:n
5536:x
5530:1
5524:n
5520:W
5516:(
5509:h
5505:(
5502:g
5499:a
5496:i
5493:d
5485:n
5481:W
5474:)
5471:)
5466:1
5460:n
5456:x
5450:n
5446:W
5442:(
5435:h
5431:(
5428:g
5425:a
5422:i
5419:d
5416:=
5413:)
5410:x
5407:(
5404:D
5401:d
5393::
5377:)
5374:x
5371:(
5368:)
5363:1
5359:D
5344:1
5338:i
5334:D
5325:i
5321:D
5317:(
5314:=
5309:i
5305:x
5284:x
5258:=
5255:h
5232:1
5225:|
5221:)
5218:x
5215:(
5208:h
5203:|
5197:x
5171:R
5163:R
5159::
5156:h
5136:)
5133:x
5128:i
5124:W
5120:(
5117:h
5114:=
5111:)
5108:x
5105:(
5100:i
5096:D
5073:1
5069:D
5054:1
5048:n
5044:D
5035:n
5031:D
5027:=
5024:D
5016::
5000:D
4957:0
4951:)
4948:D
4945:,
4940:G
4932:(
4929:L
4922:G
4890:G
4860:G
4833:G
4806:f
4803:e
4800:r
4772:+
4769:=
4766:)
4761:f
4758:e
4755:r
4742:G
4734:(
4729:S
4726:J
4722:D
4699:f
4696:e
4693:r
4666:G
4639:f
4636:e
4633:r
4604:2
4594:R
4566:S
4563:J
4559:D
4535:)
4532:D
4526:1
4523:(
4495:N
4492:A
4489:G
4486:W
4482:D
4458:)
4455:)
4452:x
4449:(
4446:D
4440:1
4437:(
4409:G
4380:)
4377:D
4371:1
4368:(
4342:D
4311:]
4308:)
4305:x
4302:(
4295:G
4263:)
4260:x
4257:(
4252:N
4249:A
4246:G
4243:W
4239:D
4235:[
4228:G
4217:x
4212:E
4207:=
4204:]
4201:)
4198:x
4195:(
4190:N
4187:A
4184:G
4181:W
4177:D
4173:[
4166:G
4155:x
4150:E
4119:]
4116:)
4113:x
4110:(
4103:G
4071:)
4068:)
4065:x
4062:(
4059:D
4053:1
4050:(
4041:[
4034:G
4023:x
4018:E
4013:=
4010:]
4007:)
4004:)
4001:x
3998:(
3995:D
3989:1
3986:(
3977:[
3970:G
3959:x
3954:E
3892:G
3875:.
3863:]
3860:)
3857:x
3854:(
3849:N
3846:A
3843:G
3840:W
3836:D
3832:[
3825:G
3814:x
3809:E
3796:.
3784:]
3781:)
3778:)
3775:x
3772:(
3769:D
3763:1
3760:(
3751:[
3744:G
3733:x
3728:E
3698:D
3676:N
3673:A
3670:G
3667:W
3663:D
3640:G
3613:f
3610:e
3607:r
3582:D
3560:N
3557:A
3554:G
3551:W
3547:D
3519:D
3497:N
3494:A
3491:G
3488:W
3484:D
3461:f
3458:e
3455:r
3428:G
3390:f
3387:e
3384:r
3376:=
3371:G
3346:)
3341:f
3338:e
3335:r
3327:,
3322:G
3314:(
3309:1
3305:W
3284:.
3281:)
3276:f
3273:e
3270:r
3262:,
3257:G
3249:(
3244:1
3240:W
3233:K
3230:=
3227:)
3218:D
3214:,
3209:G
3201:(
3196:N
3193:A
3190:G
3187:W
3183:L
3156:D
3133:G
3105:.
3102:)
3099:D
3096:,
3091:G
3083:(
3078:N
3075:A
3072:G
3069:W
3065:L
3059:D
3047:G
3015:.
3012:]
3009:)
3006:x
3003:(
3000:D
2997:[
2990:f
2987:e
2984:r
2973:x
2968:E
2960:]
2957:)
2954:x
2951:(
2948:D
2945:[
2938:G
2927:x
2922:E
2914:)
2911:D
2908:,
2903:G
2895:(
2890:N
2887:A
2884:G
2881:W
2877:L
2849:K
2841:L
2833:D
2809:R
2799::
2796:D
2773:)
2768:B
2763:,
2757:(
2735:G
2700:0
2694:K
2650:)
2645:f
2642:e
2639:r
2631:,
2626:B
2621:,
2615:(
2566:L
2535:]
2532:)
2529:y
2526:(
2523:f
2520:[
2509:y
2504:E
2496:]
2493:)
2490:x
2487:(
2484:f
2481:[
2470:x
2465:E
2458:K
2450:L
2442:f
2429:K
2426:1
2421:=
2418:)
2412:,
2406:(
2401:1
2397:W
2376:0
2370:K
2289:)
2284:G
2271:f
2268:e
2265:r
2257:(
2252:S
2249:J
2245:D
2224:,
2221:2
2212:2
2206:)
2201:G
2188:f
2185:e
2182:r
2174:(
2169:S
2166:J
2162:D
2158:2
2155:=
2152:)
2147:D
2139:,
2134:G
2126:(
2123:L
2116:D
2094:)
2089:2
2086:,
2083:D
2075:,
2070:G
2062:(
2059:L
2053:)
2048:1
2045:,
2042:D
2034:,
2029:G
2021:(
2018:L
1998:t
1976:t
1973:,
1970:D
1943:G
1913:2
1910:1
1888:D
1866:f
1863:e
1860:r
1835:.
1829:)
1824:G
1816:+
1811:f
1808:e
1805:r
1797:(
1794:d
1787:f
1784:e
1781:r
1773:d
1767:=
1764:)
1761:x
1758:(
1749:D
1726:G
1691:S
1688:J
1684:D
1653:,
1650:2
1641:2
1635:)
1630:G
1622:;
1617:f
1614:e
1611:r
1603:(
1598:S
1595:J
1591:D
1587:2
1584:=
1577:)
1568:D
1564:,
1559:G
1551:(
1548:L
1538:)
1533:G
1525:+
1520:f
1517:e
1514:r
1506:(
1503:d
1496:f
1493:e
1490:r
1482:d
1476:=
1469:)
1466:x
1463:(
1454:D
1427:)
1424:D
1421:,
1416:G
1408:(
1405:L
1400:D
1386:=
1377:D
1354:G
1308:.
1305:]
1302:)
1299:)
1296:x
1293:(
1290:D
1284:1
1281:(
1272:[
1265:G
1254:x
1249:E
1244:+
1241:]
1238:)
1235:x
1232:(
1229:D
1220:[
1213:f
1210:e
1207:r
1196:x
1191:E
1183:)
1180:D
1177:,
1172:G
1164:(
1161:L
1138:]
1135:1
1132:,
1129:0
1126:[
1117::
1114:D
1094:)
1089:B
1084:,
1078:(
1056:G
1027:)
1022:f
1019:e
1016:r
1008:,
1003:B
998:,
992:(
941:e
934:t
927:v
507:k
356:k
283:k
241:)
229:(
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.