3042:
2442:
3037:{\displaystyle {\begin{alignedat}{2}Q_{\mathbf {x} }&=\ell _{\mathbf {x} }+\mathbf {f} _{\mathbf {x} }^{\mathsf {T}}V'_{\mathbf {x} }\\Q_{\mathbf {u} }&=\ell _{\mathbf {u} }+\mathbf {f} _{\mathbf {u} }^{\mathsf {T}}V'_{\mathbf {x} }\\Q_{\mathbf {x} \mathbf {x} }&=\ell _{\mathbf {x} \mathbf {x} }+\mathbf {f} _{\mathbf {x} }^{\mathsf {T}}V'_{\mathbf {x} \mathbf {x} }\mathbf {f} _{\mathbf {x} }+V_{\mathbf {x} }'\cdot \mathbf {f} _{\mathbf {x} \mathbf {x} }\\Q_{\mathbf {u} \mathbf {u} }&=\ell _{\mathbf {u} \mathbf {u} }+\mathbf {f} _{\mathbf {u} }^{\mathsf {T}}V'_{\mathbf {x} \mathbf {x} }\mathbf {f} _{\mathbf {u} }+{V'_{\mathbf {x} }}\cdot \mathbf {f} _{\mathbf {u} \mathbf {u} }\\Q_{\mathbf {u} \mathbf {x} }&=\ell _{\mathbf {u} \mathbf {x} }+\mathbf {f} _{\mathbf {u} }^{\mathsf {T}}V'_{\mathbf {x} \mathbf {x} }\mathbf {f} _{\mathbf {x} }+{V'_{\mathbf {x} }}\cdot \mathbf {f} _{\mathbf {u} \mathbf {x} }.\end{alignedat}}}
2332:
3770:
2043:
3429:
2030:
2327:{\displaystyle \approx {\frac {1}{2}}{\begin{bmatrix}1\\\delta \mathbf {x} \\\delta \mathbf {u} \end{bmatrix}}^{\mathsf {T}}{\begin{bmatrix}0&Q_{\mathbf {x} }^{\mathsf {T}}&Q_{\mathbf {u} }^{\mathsf {T}}\\Q_{\mathbf {x} }&Q_{\mathbf {x} \mathbf {x} }&Q_{\mathbf {x} \mathbf {u} }\\Q_{\mathbf {u} }&Q_{\mathbf {u} \mathbf {x} }&Q_{\mathbf {u} \mathbf {u} }\end{bmatrix}}{\begin{bmatrix}1\\\delta \mathbf {x} \\\delta \mathbf {u} \end{bmatrix}}}
4282:
3765:{\displaystyle {\begin{alignedat}{2}\Delta V(i)&=&{}-{\tfrac {1}{2}}Q_{\mathbf {u} }^{T}Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} }\\V_{\mathbf {x} }(i)&=Q_{\mathbf {x} }&{}-Q_{\mathbf {xu} }Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} }\\V_{\mathbf {x} \mathbf {x} }(i)&=Q_{\mathbf {x} \mathbf {x} }&{}-Q_{\mathbf {x} \mathbf {u} }Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} \mathbf {x} }.\end{alignedat}}}
1770:
3244:
3990:
2025:{\displaystyle {\begin{aligned}Q(\delta \mathbf {x} ,\delta \mathbf {u} )\equiv &\ell (\mathbf {x} +\delta \mathbf {x} ,\mathbf {u} +\delta \mathbf {u} )&&{}+V(\mathbf {f} (\mathbf {x} +\delta \mathbf {x} ,\mathbf {u} +\delta \mathbf {u} ),i+1)\\-&\ell (\mathbf {x} ,\mathbf {u} )&&{}-V(\mathbf {f} (\mathbf {x} ,\mathbf {u} ),i+1)\end{aligned}}}
4277:{\displaystyle {\begin{aligned}{\hat {\mathbf {x} }}(1)&=\mathbf {x} (1)\\{\hat {\mathbf {u} }}(i)&=\mathbf {u} (i)+\mathbf {k} (i)+\mathbf {K} (i)({\hat {\mathbf {x} }}(i)-\mathbf {x} (i))\\{\hat {\mathbf {x} }}(i+1)&=\mathbf {f} ({\hat {\mathbf {x} }}(i),{\hat {\mathbf {u} }}(i))\end{aligned}}}
3086:
1190:
569:
4425:
Sampled differential dynamic programming has been extended to Path
Integral Policy Improvement with Differential Dynamic Programming. This creates a link between differential dynamic programming and path integral control, which is a framework of stochastic optimal control.
760:
964:
1318:
420:
3239:{\displaystyle {\delta \mathbf {u} }^{*}=\operatorname {argmin} \limits _{\delta \mathbf {u} }Q(\delta \mathbf {x} ,\delta \mathbf {u} )=-Q_{\mathbf {u} \mathbf {u} }^{-1}(Q_{\mathbf {u} }+Q_{\mathbf {u} \mathbf {x} }\delta \mathbf {x} ),}
1648:
3395:
1559:
DDP proceeds by iteratively performing a backward pass on the nominal trajectory to generate a new control sequence, and then a forward-pass to compute and evaluate a new nominal trajectory. We begin with the backward pass. If
129:
3325:
3982:
1389:
4413:
Sampled differential dynamic programming (SaDDP) is a Monte Carlo variant of differential dynamic programming. It is based on treating the quadratic cost of differential dynamic programming as the energy of a
1042:
428:
1529:
3995:
3856:
1775:
675:
609:
803:
4339:
1762:
169:
2434:
3076:
4403:
869:
832:
638:
289:
874:
4371:
1225:
338:
191:
316:
343:
1566:
664:
3888:
994:
267:
3802:
1680:
3914:
237:
3330:
3421:
2388:
2368:
1726:
1706:
1217:
1034:
1014:
211:
38:
and subsequently analysed in
Jacobson and Mayne's eponymous book. The algorithm uses locally-quadratic models of the dynamics and cost functions, and displays
58:
3265:
1395:
reduces the minimization over an entire sequence of controls to a sequence of minimizations over a single control, proceeding backwards in time:
2370:
notation used here is a variant of the notation of
Morimoto where subscripts denote differentiation in denominator layout. Dropping the index
4855:
4810:
4753:
4508:
1185:{\displaystyle J_{i}(\mathbf {x} ,\mathbf {U} _{i})=\sum _{j=i}^{N-1}\ell (\mathbf {x} _{j},\mathbf {u} _{j})+\ell _{f}(\mathbf {x} _{N}).}
3919:
1326:
564:{\displaystyle J_{0}(\mathbf {x} ,\mathbf {U} )=\sum _{i=0}^{N-1}\ell (\mathbf {x} _{i},\mathbf {u} _{i})+\ell _{f}(\mathbf {x} _{N}),}
4639:
4419:
4592:
Morimoto, J.; G. Zeglin; C.G. Atkeson (2003). "Minimax differential dynamic programming: Application to a biped walking robot".
3047:
The last terms in the last three equations denote contraction of a vector with a tensor. Minimizing the quadratic approximation
4908:
1403:
755:{\displaystyle \mathbf {U} ^{*}(\mathbf {x} )\equiv \operatorname {argmin} _{\mathbf {U} }J_{0}(\mathbf {x} ,\mathbf {U} ).}
3434:
2447:
3807:
577:
4923:
4300:
768:
4310:
1731:
4565:"Advantages of differential dynamic programming over Newton's method for discrete-time optimal control problems"
4438:
generalization of DDP that can address the optimal control problem with nonlinear state and input constraints.
4348:
150:
31:
4415:
3056:
4594:
Intelligent Robots and
Systems, 2003.(IROS 2003). Proceedings. 2003 IEEE/RSJ International Conference on
4435:
4879:
Pavlov, Andrei; Shames, Iman; Manzie, Chris (2020). "Interior Point
Differential Dynamic Programming".
4376:
959:{\displaystyle \mathbf {U} _{i}\equiv \{\mathbf {u} _{i},\mathbf {u} _{i+1}\dots ,\mathbf {u} _{N-1}\}}
845:
808:
614:
272:
2393:
1313:{\displaystyle V(\mathbf {x} ,i)\equiv \min _{\mathbf {U} _{i}}J_{i}(\mathbf {x} ,\mathbf {U} _{i}).}
4608:
4560:
1392:
39:
4354:
321:
174:
4880:
4861:
4816:
4718:
4685:
415:{\displaystyle \mathbf {U} \equiv \{\mathbf {u} _{0},\mathbf {u} _{1}\dots ,\mathbf {u} _{N-1}\}}
4296:
1643:{\displaystyle \ell (\mathbf {x} ,\mathbf {u} )+V(\mathbf {f} (\mathbf {x} ,\mathbf {u} ),i+1)}
294:
4851:
4806:
4759:
4749:
4541:
4504:
4843:
4796:
4788:
4710:
4677:
4620:
4572:
4533:
4479:
1548:
643:
3861:
3390:{\displaystyle \mathbf {K} =-Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} \mathbf {x} }}
972:
245:
4447:
3778:
1656:
27:
4648:
4470:(1966). "A second-order gradient method of optimizing non-linear discrete time systems".
3893:
216:
4524:
de O. Pantoja, J. F. A. (1988). "Differential dynamic programming and Newton's method".
4611:(1991). "Convergence in unconstrained discrete-time differential dynamic programming".
3406:
2373:
2353:
1711:
1691:
1202:
1019:
999:
196:
4422:. The statistics can be recomputed from sampled trajectories without differentiation.
4917:
4836:"Reinforcement learning of motor skills in high dimensions: A path integral approach"
4820:
4722:
4865:
4706:
Regularizing
Sampled Differential Dynamic Programming - IEEE Conference Publication
4689:
4784:
2019 IEEE/ASME International
Conference on Advanced Intelligent Mechatronics (AIM)
4307:
to achieve convergence. Regularization in the DDP context means ensuring that the
124:{\displaystyle \mathbf {x} _{i+1}=\mathbf {f} (\mathbf {x} _{i},\mathbf {u} _{i})}
4498:
3984:. Once the backward pass is completed, a forward pass computes a new trajectory:
672:. The solution of the optimal control problem is the minimizing control sequence
4467:
4304:
35:
4847:
4835:
4778:
4704:
4674:
2016 IEEE/RSJ International
Conference on Intelligent Robots and Systems (IROS)
3320:{\displaystyle \mathbf {k} =-Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} }}
4782:
4714:
4681:
4537:
4483:
4792:
4763:
4545:
4801:
4743:
4351:. Line-search in DDP amounts to scaling the open-loop control modification
3916:, constitutes the backward pass. As above, the Value is initialized with
4779:"Path Integral Policy Improvement with Differential Dynamic Programming"
4418:. This way the quantities of DDP can be matched to the statistics of a
4299:. It therefore takes large steps toward the minimum and often requires
4287:
The backward passes and forward passes are iterated until convergence.
4709:. 2018 Annual American Control Conference (ACC). pp. 2182–2189.
4577:
4624:
4885:
4564:
3977:{\displaystyle V(\mathbf {x} ,N)\equiv \ell _{f}(\mathbf {x} _{N})}
1384:{\displaystyle V(\mathbf {x} ,N)\equiv \ell _{f}(\mathbf {x} _{N})}
4295:
Differential dynamic programming is a second-order algorithm like
4834:
Theodorou, Evangelos; Buchli, Jonas; Schaal, Stefan (May 2010).
42:. It is closely related to Pantoja's step-wise Newton's method.
4903:
4434:
Interior Point
Differential dynamic programming (IPDDP) is an
4840:
2010 IEEE International
Conference on Robotics and Automation
4641:
Theory and implementation of bio-mimetic motor controllers
1219:
is the cost-to-go given the minimizing control sequence:
1524:{\displaystyle V(\mathbf {x} ,i)=\min _{\mathbf {u} }.}
3467:
2286:
2117:
2066:
276:
154:
4379:
4357:
4313:
3993:
3922:
3896:
3864:
3810:
3781:
3432:
3409:
3403:, we now have a quadratic model of the value at time
3333:
3268:
3089:
3059:
2445:
2396:
2390:
for readability, primes denoting the next time-step
2376:
2356:
2046:
1773:
1734:
1714:
1694:
1659:
1569:
1406:
1329:
1228:
1205:
1045:
1022:
1002:
975:
877:
848:
811:
771:
678:
646:
617:
580:
431:
346:
324:
297:
275:
248:
219:
199:
177:
153:
61:
3775:
Recursively computing the local quadratic models of
3851:{\displaystyle \{\mathbf {k} (i),\mathbf {K} (i)\}}
604:{\displaystyle \mathbf {x} _{0}\equiv \mathbf {x} }
4777:Lefebvre, Tom; Crevecoeur, Guillaume (July 2019).
4397:
4365:
4333:
4276:
3976:
3908:
3882:
3850:
3796:
3764:
3415:
3389:
3319:
3238:
3070:
3036:
2428:
2382:
2362:
2326:
2024:
1756:
1720:
1700:
1674:
1642:
1523:
1383:
1312:
1211:
1184:
1028:
1008:
988:
958:
863:
826:
797:
754:
658:
632:
603:
563:
414:
332:
310:
283:
261:
231:
205:
185:
163:
123:
4703:Rajamäki, Joose; Hämäläinen, Perttu (June 2018).
1660:
1431:
1253:
34:class. The algorithm was introduced in 1966 by
834:, rather than for all possible initial states.
798:{\displaystyle \mathbf {U} ^{*}(\mathbf {x} )}
1708:be the variation of this quantity around the
8:
4745:Random Search Algorithms for Optimal Control
4672:"Sampled differential dynamic programming".
4497:Mayne, David Q.; Jacobson, David H. (1970).
4334:{\displaystyle Q_{\mathbf {u} \mathbf {u} }}
3845:
3811:
953:
893:
409:
355:
4647:(Thesis). Hebrew University. Archived from
1757:{\displaystyle (\mathbf {x} ,\mathbf {u} )}
4884:
4800:
4576:
4378:
4358:
4356:
4324:
4319:
4318:
4312:
4247:
4245:
4244:
4221:
4219:
4218:
4210:
4177:
4175:
4174:
4153:
4130:
4128:
4127:
4110:
4093:
4076:
4049:
4047:
4046:
4028:
4001:
3999:
3998:
3994:
3992:
3965:
3960:
3950:
3929:
3921:
3895:
3863:
3831:
3814:
3809:
3780:
3748:
3743:
3742:
3729:
3723:
3718:
3717:
3706:
3701:
3700:
3691:
3682:
3677:
3676:
3649:
3644:
3643:
3628:
3627:
3614:
3608:
3603:
3602:
3588:
3587:
3578:
3569:
3568:
3541:
3540:
3525:
3524:
3511:
3505:
3500:
3499:
3489:
3483:
3482:
3466:
3461:
3433:
3431:
3408:
3380:
3375:
3374:
3361:
3355:
3350:
3349:
3334:
3332:
3310:
3309:
3296:
3290:
3285:
3284:
3269:
3267:
3225:
3215:
3210:
3209:
3195:
3194:
3178:
3172:
3167:
3166:
3148:
3137:
3118:
3114:
3101:
3095:
3091:
3088:
3063:
3058:
3020:
3015:
3014:
3009:
2994:
2993:
2988:
2978:
2977:
2972:
2961:
2956:
2955:
2944:
2943:
2937:
2936:
2931:
2920:
2915:
2914:
2896:
2891:
2890:
2875:
2870:
2869:
2864:
2849:
2848:
2843:
2833:
2832:
2827:
2816:
2811:
2810:
2799:
2798:
2792:
2791:
2786:
2775:
2770:
2769:
2751:
2746:
2745:
2730:
2725:
2724:
2719:
2705:
2704:
2690:
2689:
2684:
2673:
2668:
2667:
2656:
2655:
2649:
2648:
2643:
2632:
2627:
2626:
2608:
2603:
2602:
2584:
2583:
2572:
2571:
2565:
2564:
2559:
2548:
2547:
2529:
2528:
2510:
2509:
2498:
2497:
2491:
2490:
2485:
2474:
2473:
2455:
2454:
2446:
2444:
2395:
2375:
2355:
2311:
2299:
2281:
2266:
2261:
2260:
2247:
2242:
2241:
2228:
2227:
2212:
2207:
2206:
2193:
2188:
2187:
2174:
2173:
2158:
2157:
2151:
2150:
2137:
2136:
2130:
2129:
2112:
2105:
2104:
2091:
2079:
2061:
2050:
2045:
1995:
1987:
1979:
1968:
1955:
1947:
1909:
1898:
1890:
1879:
1871:
1860:
1847:
1836:
1828:
1817:
1798:
1787:
1774:
1772:
1746:
1738:
1733:
1713:
1693:
1658:
1617:
1609:
1601:
1584:
1576:
1568:
1492:
1484:
1476:
1459:
1451:
1435:
1434:
1413:
1405:
1372:
1367:
1357:
1336:
1328:
1298:
1293:
1284:
1275:
1263:
1258:
1256:
1235:
1227:
1204:
1170:
1165:
1155:
1139:
1134:
1124:
1119:
1100:
1089:
1073:
1068:
1059:
1050:
1044:
1021:
1001:
980:
974:
941:
936:
917:
912:
902:
897:
884:
879:
876:
855:
850:
847:
818:
813:
810:
787:
778:
773:
770:
741:
733:
724:
710:
709:
694:
685:
680:
677:
645:
624:
619:
616:
596:
587:
582:
579:
549:
544:
534:
518:
513:
503:
498:
479:
468:
453:
445:
436:
430:
397:
392:
379:
374:
364:
359:
347:
345:
325:
323:
302:
296:
274:
253:
247:
218:
198:
178:
176:
155:
152:
112:
107:
97:
92:
83:
68:
63:
60:
4503:. New York: American Elsevier Pub. Co.
4459:
164:{\displaystyle \textstyle \mathbf {x} }
4613:IEEE Transactions on Automatic Control
2945:
2800:
2657:
2573:
2499:
2159:
2138:
2106:
46:Finite-horizon discrete-time problems
16:Algorithm for trajectory optimization
7:
4420:multidimensional normal distribution
3080:
2037:
1397:
318:, incurred when starting from state
147:describe the evolution of the state
52:
3071:{\displaystyle \delta \mathbf {u} }
4596:. Vol. 2. pp. 1927–1932.
3437:
340:and applying the control sequence
14:
4398:{\displaystyle 0<\alpha <1}
2436:, the expansion coefficients are
996:as the partial sum of costs from
4526:International Journal of Control
4500:Differential dynamic programming
4359:
4325:
4320:
4248:
4222:
4211:
4178:
4154:
4131:
4111:
4094:
4077:
4050:
4029:
4002:
3961:
3930:
3832:
3815:
3749:
3744:
3724:
3719:
3707:
3702:
3683:
3678:
3650:
3645:
3629:
3609:
3604:
3592:
3589:
3570:
3542:
3526:
3506:
3501:
3484:
3397:. Plugging the result back into
3381:
3376:
3356:
3351:
3335:
3311:
3291:
3286:
3270:
3226:
3216:
3211:
3196:
3173:
3168:
3149:
3138:
3119:
3096:
3064:
3021:
3016:
3010:
2995:
2979:
2973:
2962:
2957:
2938:
2932:
2921:
2916:
2897:
2892:
2876:
2871:
2865:
2850:
2834:
2828:
2817:
2812:
2793:
2787:
2776:
2771:
2752:
2747:
2731:
2726:
2720:
2706:
2691:
2685:
2674:
2669:
2650:
2644:
2633:
2628:
2609:
2604:
2585:
2566:
2560:
2549:
2530:
2511:
2492:
2486:
2475:
2456:
2312:
2300:
2267:
2262:
2248:
2243:
2229:
2213:
2208:
2194:
2189:
2175:
2152:
2131:
2092:
2080:
1996:
1988:
1980:
1956:
1948:
1910:
1899:
1891:
1880:
1872:
1848:
1837:
1829:
1818:
1799:
1788:
1747:
1739:
1618:
1610:
1602:
1585:
1577:
1555:Differential dynamic programming
1493:
1485:
1477:
1460:
1452:
1436:
1414:
1368:
1337:
1294:
1285:
1259:
1236:
1166:
1135:
1120:
1069:
1060:
937:
913:
898:
880:
871:be the partial control sequence
864:{\displaystyle \mathbf {U} _{i}}
851:
827:{\displaystyle \mathbf {x} _{0}}
814:
788:
774:
742:
734:
711:
695:
681:
633:{\displaystyle \mathbf {x} _{i}}
620:
597:
583:
545:
514:
499:
454:
446:
393:
375:
360:
348:
326:
284:{\displaystyle \textstyle \ell }
179:
156:
108:
93:
84:
64:
20:Differential dynamic programming
2429:{\displaystyle V'\equiv V(i+1)}
4909:A MATLAB implementation of DDP
4904:A Python implementation of DDP
4291:Regularization and line-search
4267:
4264:
4258:
4252:
4238:
4232:
4226:
4215:
4200:
4188:
4182:
4167:
4164:
4158:
4147:
4141:
4135:
4124:
4121:
4115:
4104:
4098:
4087:
4081:
4066:
4060:
4054:
4039:
4033:
4018:
4012:
4006:
3971:
3956:
3940:
3926:
3842:
3836:
3825:
3819:
3804:and the control modifications
3791:
3785:
3662:
3656:
3554:
3548:
3449:
3443:
3230:
3187:
3153:
3131:
2423:
2411:
2015:
2000:
1984:
1976:
1960:
1944:
1929:
1914:
1876:
1868:
1852:
1814:
1803:
1781:
1751:
1735:
1669:
1663:
1637:
1622:
1606:
1598:
1589:
1573:
1515:
1512:
1497:
1481:
1473:
1464:
1448:
1442:
1424:
1410:
1378:
1363:
1347:
1333:
1304:
1281:
1246:
1232:
1176:
1161:
1145:
1115:
1079:
1056:
792:
784:
746:
730:
699:
691:
555:
540:
524:
494:
458:
442:
422:until the horizon is reached:
118:
88:
1:
1393:dynamic programming principle
4366:{\displaystyle \mathbf {k} }
333:{\displaystyle \mathbf {x} }
269:is the sum of running costs
186:{\displaystyle \mathbf {u} }
4343:
3399:
3049:
2035:and expand to second order
1684:
668:
4940:
4848:10.1109/ROBOT.2010.5509336
1195:The optimal cost-to-go or
4715:10.23919/ACC.2018.8430799
4682:10.1109/IROS.2016.7759229
4538:10.1080/00207178808906114
4484:10.1080/00207176608921369
3327:and a feedback gain term
3262:giving an open-loop term
311:{\displaystyle \ell _{f}}
4793:10.1109/AIM.2019.8868359
4742:Rajamäki, Joose (2018).
1653:is the argument of the
763:Trajectory optimization
32:trajectory optimization
4842:. pp. 2397–2403.
4416:Boltzmann distribution
4399:
4367:
4335:
4278:
3978:
3910:
3884:
3852:
3798:
3766:
3417:
3391:
3321:
3240:
3072:
3038:
2430:
2384:
2364:
2328:
2026:
1758:
1722:
1702:
1676:
1644:
1525:
1385:
1314:
1213:
1186:
1111:
1030:
1010:
990:
960:
865:
828:
799:
756:
660:
659:{\displaystyle i>0}
634:
605:
565:
490:
416:
334:
312:
285:
263:
233:
207:
187:
165:
125:
4436:interior-point method
4400:
4368:
4336:
4279:
3979:
3911:
3885:
3883:{\displaystyle i=N-1}
3853:
3799:
3767:
3418:
3392:
3322:
3241:
3073:
3039:
2431:
2385:
2365:
2329:
2027:
1759:
1723:
1703:
1677:
1645:
1526:
1386:
1315:
1214:
1187:
1085:
1031:
1011:
991:
989:{\displaystyle J_{i}}
961:
866:
829:
800:
757:
661:
635:
606:
566:
464:
417:
335:
313:
286:
264:
262:{\displaystyle J_{0}}
234:
208:
188:
166:
126:
40:quadratic convergence
4787:. pp. 739–745.
4748:. Aalto University.
4430:Constrained problems
4377:
4355:
4311:
3991:
3920:
3894:
3862:
3808:
3797:{\displaystyle V(i)}
3779:
3430:
3407:
3331:
3266:
3087:
3057:
2443:
2394:
2374:
2354:
2044:
1771:
1732:
1712:
1692:
1675:{\displaystyle \min}
1657:
1567:
1404:
1327:
1226:
1203:
1043:
1020:
1000:
973:
875:
846:
809:
769:
676:
644:
615:
578:
429:
344:
322:
295:
273:
246:
217:
197:
175:
151:
59:
4924:Dynamic programming
4409:Monte Carlo version
3909:{\displaystyle i=1}
3737:
3622:
3519:
3494:
3369:
3304:
3186:
3003:
2970:
2950:
2858:
2825:
2805:
2714:
2682:
2662:
2593:
2578:
2519:
2504:
2164:
2143:
838:Dynamic programming
232:{\displaystyle i+1}
4638:Tassa, Y. (2011).
4569:Cornell University
4395:
4363:
4331:
4274:
4272:
3974:
3906:
3880:
3848:
3794:
3762:
3760:
3713:
3598:
3495:
3478:
3476:
3413:
3387:
3345:
3317:
3280:
3236:
3162:
3068:
3034:
3032:
2989:
2951:
2930:
2844:
2806:
2785:
2700:
2663:
2642:
2579:
2558:
2505:
2484:
2426:
2380:
2360:
2324:
2318:
2275:
2146:
2125:
2098:
2022:
2020:
1754:
1718:
1698:
1672:
1640:
1521:
1441:
1381:
1310:
1270:
1209:
1182:
1026:
1006:
986:
956:
861:
824:
795:
752:
656:
630:
601:
561:
412:
330:
308:
281:
280:
259:
229:
203:
183:
171:given the control
161:
160:
121:
4857:978-1-4244-5038-1
4812:978-1-7281-2493-3
4755:978-952-60-8156-4
4510:978-0-444-00070-5
4349:positive definite
4255:
4229:
4185:
4138:
4057:
4009:
3475:
3416:{\displaystyle i}
3260:
3259:
2383:{\displaystyle i}
2363:{\displaystyle Q}
2348:
2347:
2058:
1721:{\displaystyle i}
1701:{\displaystyle Q}
1545:
1544:
1430:
1252:
1212:{\displaystyle i}
1029:{\displaystyle N}
1009:{\displaystyle i}
805:for a particular
206:{\displaystyle i}
145:
144:
30:algorithm of the
4931:
4891:
4890:
4888:
4876:
4870:
4869:
4831:
4825:
4824:
4804:
4774:
4768:
4767:
4739:
4733:
4732:
4730:
4729:
4700:
4694:
4693:
4669:
4663:
4662:
4660:
4659:
4653:
4646:
4635:
4629:
4628:
4604:
4598:
4597:
4589:
4583:
4582:
4580:
4556:
4550:
4549:
4532:(5): 1539–1553.
4521:
4515:
4514:
4494:
4488:
4487:
4464:
4404:
4402:
4401:
4396:
4372:
4370:
4369:
4364:
4362:
4340:
4338:
4337:
4332:
4330:
4329:
4328:
4323:
4283:
4281:
4280:
4275:
4273:
4257:
4256:
4251:
4246:
4231:
4230:
4225:
4220:
4214:
4187:
4186:
4181:
4176:
4157:
4140:
4139:
4134:
4129:
4114:
4097:
4080:
4059:
4058:
4053:
4048:
4032:
4011:
4010:
4005:
4000:
3983:
3981:
3980:
3975:
3970:
3969:
3964:
3955:
3954:
3933:
3915:
3913:
3912:
3907:
3889:
3887:
3886:
3881:
3857:
3855:
3854:
3849:
3835:
3818:
3803:
3801:
3800:
3795:
3771:
3769:
3768:
3763:
3761:
3754:
3753:
3752:
3747:
3736:
3728:
3727:
3722:
3712:
3711:
3710:
3705:
3692:
3688:
3687:
3686:
3681:
3655:
3654:
3653:
3648:
3634:
3633:
3632:
3621:
3613:
3612:
3607:
3597:
3596:
3595:
3579:
3575:
3574:
3573:
3547:
3546:
3545:
3531:
3530:
3529:
3518:
3510:
3509:
3504:
3493:
3488:
3487:
3477:
3468:
3462:
3422:
3420:
3419:
3414:
3396:
3394:
3393:
3388:
3386:
3385:
3384:
3379:
3368:
3360:
3359:
3354:
3338:
3326:
3324:
3323:
3318:
3316:
3315:
3314:
3303:
3295:
3294:
3289:
3273:
3254:
3245:
3243:
3242:
3237:
3229:
3221:
3220:
3219:
3214:
3201:
3200:
3199:
3185:
3177:
3176:
3171:
3152:
3141:
3124:
3123:
3122:
3106:
3105:
3100:
3099:
3081:
3077:
3075:
3074:
3069:
3067:
3053:with respect to
3043:
3041:
3040:
3035:
3033:
3026:
3025:
3024:
3019:
3013:
3004:
2999:
2998:
2984:
2983:
2982:
2976:
2966:
2965:
2960:
2949:
2948:
2942:
2941:
2935:
2926:
2925:
2924:
2919:
2902:
2901:
2900:
2895:
2881:
2880:
2879:
2874:
2868:
2859:
2854:
2853:
2839:
2838:
2837:
2831:
2821:
2820:
2815:
2804:
2803:
2797:
2796:
2790:
2781:
2780:
2779:
2774:
2757:
2756:
2755:
2750:
2736:
2735:
2734:
2729:
2723:
2710:
2709:
2696:
2695:
2694:
2688:
2678:
2677:
2672:
2661:
2660:
2654:
2653:
2647:
2638:
2637:
2636:
2631:
2614:
2613:
2612:
2607:
2589:
2588:
2577:
2576:
2570:
2569:
2563:
2554:
2553:
2552:
2535:
2534:
2533:
2515:
2514:
2503:
2502:
2496:
2495:
2489:
2480:
2479:
2478:
2461:
2460:
2459:
2435:
2433:
2432:
2427:
2404:
2389:
2387:
2386:
2381:
2369:
2367:
2366:
2361:
2342:
2333:
2331:
2330:
2325:
2323:
2322:
2315:
2303:
2280:
2279:
2272:
2271:
2270:
2265:
2253:
2252:
2251:
2246:
2234:
2233:
2232:
2218:
2217:
2216:
2211:
2199:
2198:
2197:
2192:
2180:
2179:
2178:
2163:
2162:
2156:
2155:
2142:
2141:
2135:
2134:
2111:
2110:
2109:
2103:
2102:
2095:
2083:
2059:
2051:
2038:
2031:
2029:
2028:
2023:
2021:
1999:
1991:
1983:
1969:
1964:
1959:
1951:
1913:
1902:
1894:
1883:
1875:
1861:
1856:
1851:
1840:
1832:
1821:
1802:
1791:
1763:
1761:
1760:
1755:
1750:
1742:
1727:
1725:
1724:
1719:
1707:
1705:
1704:
1699:
1681:
1679:
1678:
1673:
1649:
1647:
1646:
1641:
1621:
1613:
1605:
1588:
1580:
1549:Bellman equation
1539:
1530:
1528:
1527:
1522:
1496:
1488:
1480:
1463:
1455:
1440:
1439:
1417:
1398:
1390:
1388:
1387:
1382:
1377:
1376:
1371:
1362:
1361:
1340:
1319:
1317:
1316:
1311:
1303:
1302:
1297:
1288:
1280:
1279:
1269:
1268:
1267:
1262:
1239:
1218:
1216:
1215:
1210:
1191:
1189:
1188:
1183:
1175:
1174:
1169:
1160:
1159:
1144:
1143:
1138:
1129:
1128:
1123:
1110:
1099:
1078:
1077:
1072:
1063:
1055:
1054:
1035:
1033:
1032:
1027:
1015:
1013:
1012:
1007:
995:
993:
992:
987:
985:
984:
965:
963:
962:
957:
952:
951:
940:
928:
927:
916:
907:
906:
901:
889:
888:
883:
870:
868:
867:
862:
860:
859:
854:
833:
831:
830:
825:
823:
822:
817:
804:
802:
801:
796:
791:
783:
782:
777:
761:
759:
758:
753:
745:
737:
729:
728:
716:
715:
714:
698:
690:
689:
684:
665:
663:
662:
657:
639:
637:
636:
631:
629:
628:
623:
610:
608:
607:
602:
600:
592:
591:
586:
570:
568:
567:
562:
554:
553:
548:
539:
538:
523:
522:
517:
508:
507:
502:
489:
478:
457:
449:
441:
440:
421:
419:
418:
413:
408:
407:
396:
384:
383:
378:
369:
368:
363:
351:
339:
337:
336:
331:
329:
317:
315:
314:
309:
307:
306:
290:
288:
287:
282:
268:
266:
265:
260:
258:
257:
238:
236:
235:
230:
212:
210:
209:
204:
192:
190:
189:
184:
182:
170:
168:
167:
162:
159:
139:
130:
128:
127:
122:
117:
116:
111:
102:
101:
96:
87:
79:
78:
67:
53:
4939:
4938:
4934:
4933:
4932:
4930:
4929:
4928:
4914:
4913:
4900:
4895:
4894:
4878:
4877:
4873:
4858:
4833:
4832:
4828:
4813:
4802:1854/LU-8623968
4776:
4775:
4771:
4756:
4741:
4740:
4736:
4727:
4725:
4702:
4701:
4697:
4671:
4670:
4666:
4657:
4655:
4651:
4644:
4637:
4636:
4632:
4625:10.1109/9.86943
4606:
4605:
4601:
4591:
4590:
4586:
4558:
4557:
4553:
4523:
4522:
4518:
4511:
4496:
4495:
4491:
4466:
4465:
4461:
4456:
4448:Optimal control
4444:
4432:
4411:
4375:
4374:
4353:
4352:
4314:
4309:
4308:
4297:Newton's method
4293:
4271:
4270:
4203:
4171:
4170:
4069:
4043:
4042:
4021:
3989:
3988:
3959:
3946:
3918:
3917:
3892:
3891:
3860:
3859:
3806:
3805:
3777:
3776:
3759:
3758:
3738:
3696:
3689:
3672:
3665:
3639:
3636:
3635:
3623:
3583:
3576:
3564:
3557:
3536:
3533:
3532:
3520:
3459:
3452:
3428:
3427:
3405:
3404:
3370:
3329:
3328:
3305:
3264:
3263:
3252:
3205:
3190:
3110:
3090:
3085:
3084:
3055:
3054:
3031:
3030:
3008:
2971:
2910:
2903:
2886:
2883:
2882:
2863:
2826:
2765:
2758:
2741:
2738:
2737:
2718:
2683:
2622:
2615:
2598:
2595:
2594:
2543:
2536:
2524:
2521:
2520:
2469:
2462:
2450:
2441:
2440:
2397:
2392:
2391:
2372:
2371:
2352:
2351:
2340:
2317:
2316:
2305:
2304:
2293:
2292:
2282:
2274:
2273:
2256:
2254:
2237:
2235:
2223:
2220:
2219:
2202:
2200:
2183:
2181:
2169:
2166:
2165:
2144:
2123:
2113:
2097:
2096:
2085:
2084:
2073:
2072:
2062:
2060:
2042:
2041:
2019:
2018:
1963:
1939:
1933:
1932:
1855:
1809:
1769:
1768:
1730:
1729:
1710:
1709:
1690:
1689:
1655:
1654:
1565:
1564:
1557:
1537:
1402:
1401:
1366:
1353:
1325:
1324:
1292:
1271:
1257:
1224:
1223:
1201:
1200:
1164:
1151:
1133:
1118:
1067:
1046:
1041:
1040:
1018:
1017:
998:
997:
976:
971:
970:
966:and define the
935:
911:
896:
878:
873:
872:
849:
844:
843:
840:
812:
807:
806:
772:
767:
766:
720:
705:
679:
674:
673:
642:
641:
618:
613:
612:
581:
576:
575:
543:
530:
512:
497:
432:
427:
426:
391:
373:
358:
342:
341:
320:
319:
298:
293:
292:
291:and final cost
271:
270:
249:
244:
243:
215:
214:
195:
194:
173:
172:
149:
148:
137:
106:
91:
62:
57:
56:
48:
28:optimal control
17:
12:
11:
5:
4937:
4935:
4927:
4926:
4916:
4915:
4912:
4911:
4906:
4899:
4898:External links
4896:
4893:
4892:
4871:
4856:
4826:
4811:
4769:
4754:
4734:
4695:
4664:
4630:
4609:C. A Shoemaker
4599:
4584:
4561:C. A Shoemaker
4551:
4516:
4509:
4489:
4458:
4457:
4455:
4452:
4451:
4450:
4443:
4440:
4431:
4428:
4410:
4407:
4394:
4391:
4388:
4385:
4382:
4361:
4327:
4322:
4317:
4301:regularization
4292:
4289:
4285:
4284:
4269:
4266:
4263:
4260:
4254:
4250:
4243:
4240:
4237:
4234:
4228:
4224:
4217:
4213:
4209:
4206:
4204:
4202:
4199:
4196:
4193:
4190:
4184:
4180:
4173:
4172:
4169:
4166:
4163:
4160:
4156:
4152:
4149:
4146:
4143:
4137:
4133:
4126:
4123:
4120:
4117:
4113:
4109:
4106:
4103:
4100:
4096:
4092:
4089:
4086:
4083:
4079:
4075:
4072:
4070:
4068:
4065:
4062:
4056:
4052:
4045:
4044:
4041:
4038:
4035:
4031:
4027:
4024:
4022:
4020:
4017:
4014:
4008:
4004:
3997:
3996:
3973:
3968:
3963:
3958:
3953:
3949:
3945:
3942:
3939:
3936:
3932:
3928:
3925:
3905:
3902:
3899:
3879:
3876:
3873:
3870:
3867:
3847:
3844:
3841:
3838:
3834:
3830:
3827:
3824:
3821:
3817:
3813:
3793:
3790:
3787:
3784:
3773:
3772:
3757:
3751:
3746:
3741:
3735:
3732:
3726:
3721:
3716:
3709:
3704:
3699:
3695:
3690:
3685:
3680:
3675:
3671:
3668:
3666:
3664:
3661:
3658:
3652:
3647:
3642:
3638:
3637:
3631:
3626:
3620:
3617:
3611:
3606:
3601:
3594:
3591:
3586:
3582:
3577:
3572:
3567:
3563:
3560:
3558:
3556:
3553:
3550:
3544:
3539:
3535:
3534:
3528:
3523:
3517:
3514:
3508:
3503:
3498:
3492:
3486:
3481:
3474:
3471:
3465:
3460:
3458:
3455:
3453:
3451:
3448:
3445:
3442:
3439:
3436:
3435:
3412:
3383:
3378:
3373:
3367:
3364:
3358:
3353:
3348:
3344:
3341:
3337:
3313:
3308:
3302:
3299:
3293:
3288:
3283:
3279:
3276:
3272:
3258:
3257:
3248:
3246:
3235:
3232:
3228:
3224:
3218:
3213:
3208:
3204:
3198:
3193:
3189:
3184:
3181:
3175:
3170:
3165:
3161:
3158:
3155:
3151:
3147:
3144:
3140:
3136:
3133:
3130:
3127:
3121:
3117:
3113:
3109:
3104:
3098:
3094:
3066:
3062:
3045:
3044:
3029:
3023:
3018:
3012:
3007:
3002:
2997:
2992:
2987:
2981:
2975:
2969:
2964:
2959:
2954:
2947:
2940:
2934:
2929:
2923:
2918:
2913:
2909:
2906:
2904:
2899:
2894:
2889:
2885:
2884:
2878:
2873:
2867:
2862:
2857:
2852:
2847:
2842:
2836:
2830:
2824:
2819:
2814:
2809:
2802:
2795:
2789:
2784:
2778:
2773:
2768:
2764:
2761:
2759:
2754:
2749:
2744:
2740:
2739:
2733:
2728:
2722:
2717:
2713:
2708:
2703:
2699:
2693:
2687:
2681:
2676:
2671:
2666:
2659:
2652:
2646:
2641:
2635:
2630:
2625:
2621:
2618:
2616:
2611:
2606:
2601:
2597:
2596:
2592:
2587:
2582:
2575:
2568:
2562:
2557:
2551:
2546:
2542:
2539:
2537:
2532:
2527:
2523:
2522:
2518:
2513:
2508:
2501:
2494:
2488:
2483:
2477:
2472:
2468:
2465:
2463:
2458:
2453:
2449:
2448:
2425:
2422:
2419:
2416:
2413:
2410:
2407:
2403:
2400:
2379:
2359:
2346:
2345:
2336:
2334:
2321:
2314:
2310:
2307:
2306:
2302:
2298:
2295:
2294:
2291:
2288:
2287:
2285:
2278:
2269:
2264:
2259:
2255:
2250:
2245:
2240:
2236:
2231:
2226:
2222:
2221:
2215:
2210:
2205:
2201:
2196:
2191:
2186:
2182:
2177:
2172:
2168:
2167:
2161:
2154:
2149:
2145:
2140:
2133:
2128:
2124:
2122:
2119:
2118:
2116:
2108:
2101:
2094:
2090:
2087:
2086:
2082:
2078:
2075:
2074:
2071:
2068:
2067:
2065:
2057:
2054:
2049:
2033:
2032:
2017:
2014:
2011:
2008:
2005:
2002:
1998:
1994:
1990:
1986:
1982:
1978:
1975:
1972:
1967:
1965:
1962:
1958:
1954:
1950:
1946:
1943:
1940:
1938:
1935:
1934:
1931:
1928:
1925:
1922:
1919:
1916:
1912:
1908:
1905:
1901:
1897:
1893:
1889:
1886:
1882:
1878:
1874:
1870:
1867:
1864:
1859:
1857:
1854:
1850:
1846:
1843:
1839:
1835:
1831:
1827:
1824:
1820:
1816:
1813:
1810:
1808:
1805:
1801:
1797:
1794:
1790:
1786:
1783:
1780:
1777:
1776:
1753:
1749:
1745:
1741:
1737:
1717:
1697:
1671:
1668:
1665:
1662:
1651:
1650:
1639:
1636:
1633:
1630:
1627:
1624:
1620:
1616:
1612:
1608:
1604:
1600:
1597:
1594:
1591:
1587:
1583:
1579:
1575:
1572:
1556:
1553:
1543:
1542:
1533:
1531:
1520:
1517:
1514:
1511:
1508:
1505:
1502:
1499:
1495:
1491:
1487:
1483:
1479:
1475:
1472:
1469:
1466:
1462:
1458:
1454:
1450:
1447:
1444:
1438:
1433:
1429:
1426:
1423:
1420:
1416:
1412:
1409:
1380:
1375:
1370:
1365:
1360:
1356:
1352:
1349:
1346:
1343:
1339:
1335:
1332:
1321:
1320:
1309:
1306:
1301:
1296:
1291:
1287:
1283:
1278:
1274:
1266:
1261:
1255:
1251:
1248:
1245:
1242:
1238:
1234:
1231:
1208:
1197:value function
1193:
1192:
1181:
1178:
1173:
1168:
1163:
1158:
1154:
1150:
1147:
1142:
1137:
1132:
1127:
1122:
1117:
1114:
1109:
1106:
1103:
1098:
1095:
1092:
1088:
1084:
1081:
1076:
1071:
1066:
1062:
1058:
1053:
1049:
1025:
1005:
983:
979:
955:
950:
947:
944:
939:
934:
931:
926:
923:
920:
915:
910:
905:
900:
895:
892:
887:
882:
858:
853:
839:
836:
821:
816:
794:
790:
786:
781:
776:
765:means finding
751:
748:
744:
740:
736:
732:
727:
723:
719:
713:
708:
704:
701:
697:
693:
688:
683:
655:
652:
649:
627:
622:
599:
595:
590:
585:
572:
571:
560:
557:
552:
547:
542:
537:
533:
529:
526:
521:
516:
511:
506:
501:
496:
493:
488:
485:
482:
477:
474:
471:
467:
463:
460:
456:
452:
448:
444:
439:
435:
411:
406:
403:
400:
395:
390:
387:
382:
377:
372:
367:
362:
357:
354:
350:
328:
305:
301:
279:
256:
252:
228:
225:
222:
202:
181:
158:
143:
142:
133:
131:
120:
115:
110:
105:
100:
95:
90:
86:
82:
77:
74:
71:
66:
47:
44:
15:
13:
10:
9:
6:
4:
3:
2:
4936:
4925:
4922:
4921:
4919:
4910:
4907:
4905:
4902:
4901:
4897:
4887:
4882:
4875:
4872:
4867:
4863:
4859:
4853:
4849:
4845:
4841:
4837:
4830:
4827:
4822:
4818:
4814:
4808:
4803:
4798:
4794:
4790:
4786:
4785:
4780:
4773:
4770:
4765:
4761:
4757:
4751:
4747:
4746:
4738:
4735:
4724:
4720:
4716:
4712:
4708:
4707:
4699:
4696:
4691:
4687:
4683:
4679:
4675:
4668:
4665:
4654:on 2016-03-04
4650:
4643:
4642:
4634:
4631:
4626:
4622:
4618:
4614:
4610:
4603:
4600:
4595:
4588:
4585:
4579:
4574:
4570:
4566:
4562:
4559:Liao, L. Z.;
4555:
4552:
4547:
4543:
4539:
4535:
4531:
4527:
4520:
4517:
4512:
4506:
4502:
4501:
4493:
4490:
4485:
4481:
4477:
4473:
4472:Int J Control
4469:
4463:
4460:
4453:
4449:
4446:
4445:
4441:
4439:
4437:
4429:
4427:
4423:
4421:
4417:
4408:
4406:
4392:
4389:
4386:
4383:
4380:
4350:
4346:
4345:
4315:
4306:
4302:
4298:
4290:
4288:
4261:
4241:
4235:
4207:
4205:
4197:
4194:
4191:
4161:
4150:
4144:
4118:
4107:
4101:
4090:
4084:
4073:
4071:
4063:
4036:
4025:
4023:
4015:
3987:
3986:
3985:
3966:
3951:
3947:
3943:
3937:
3934:
3923:
3903:
3900:
3897:
3877:
3874:
3871:
3868:
3865:
3839:
3828:
3822:
3788:
3782:
3755:
3739:
3733:
3730:
3714:
3697:
3693:
3673:
3669:
3667:
3659:
3640:
3624:
3618:
3615:
3599:
3584:
3580:
3565:
3561:
3559:
3551:
3537:
3521:
3515:
3512:
3496:
3490:
3479:
3472:
3469:
3463:
3456:
3454:
3446:
3440:
3426:
3425:
3424:
3410:
3402:
3401:
3371:
3365:
3362:
3346:
3342:
3339:
3306:
3300:
3297:
3281:
3277:
3274:
3256:
3249:
3247:
3233:
3222:
3206:
3202:
3191:
3182:
3179:
3163:
3159:
3156:
3145:
3142:
3134:
3128:
3125:
3115:
3111:
3107:
3102:
3092:
3083:
3082:
3079:
3060:
3052:
3051:
3027:
3005:
3000:
2990:
2985:
2967:
2952:
2927:
2911:
2907:
2905:
2887:
2860:
2855:
2845:
2840:
2822:
2807:
2782:
2766:
2762:
2760:
2742:
2715:
2711:
2701:
2697:
2679:
2664:
2639:
2623:
2619:
2617:
2599:
2590:
2580:
2555:
2544:
2540:
2538:
2525:
2516:
2506:
2481:
2470:
2466:
2464:
2451:
2439:
2438:
2437:
2420:
2417:
2414:
2408:
2405:
2401:
2398:
2377:
2357:
2344:
2337:
2335:
2319:
2308:
2296:
2289:
2283:
2276:
2257:
2238:
2224:
2203:
2184:
2170:
2147:
2126:
2120:
2114:
2099:
2088:
2076:
2069:
2063:
2055:
2052:
2047:
2040:
2039:
2036:
2012:
2009:
2006:
2003:
1992:
1973:
1970:
1966:
1952:
1941:
1936:
1926:
1923:
1920:
1917:
1906:
1903:
1895:
1887:
1884:
1865:
1862:
1858:
1844:
1841:
1833:
1825:
1822:
1811:
1806:
1795:
1792:
1784:
1778:
1767:
1766:
1765:
1743:
1715:
1695:
1687:
1686:
1666:
1634:
1631:
1628:
1625:
1614:
1595:
1592:
1581:
1570:
1563:
1562:
1561:
1554:
1552:
1550:
1541:
1534:
1532:
1518:
1509:
1506:
1503:
1500:
1489:
1470:
1467:
1456:
1445:
1427:
1421:
1418:
1407:
1400:
1399:
1396:
1394:
1373:
1358:
1354:
1350:
1344:
1341:
1330:
1307:
1299:
1289:
1276:
1272:
1264:
1249:
1243:
1240:
1229:
1222:
1221:
1220:
1206:
1198:
1179:
1171:
1156:
1152:
1148:
1140:
1130:
1125:
1112:
1107:
1104:
1101:
1096:
1093:
1090:
1086:
1082:
1074:
1064:
1051:
1047:
1039:
1038:
1037:
1023:
1003:
981:
977:
969:
948:
945:
942:
932:
929:
924:
921:
918:
908:
903:
890:
885:
856:
837:
835:
819:
779:
764:
749:
738:
725:
721:
717:
706:
702:
686:
671:
670:
666:are given by
653:
650:
647:
625:
593:
588:
558:
550:
535:
531:
527:
519:
509:
504:
491:
486:
483:
480:
475:
472:
469:
465:
461:
450:
437:
433:
425:
424:
423:
404:
401:
398:
388:
385:
380:
370:
365:
352:
303:
299:
277:
254:
250:
242:
226:
223:
220:
200:
141:
134:
132:
113:
103:
98:
80:
75:
72:
69:
55:
54:
51:
50:The dynamics
45:
43:
41:
37:
33:
29:
25:
21:
4874:
4839:
4829:
4783:
4772:
4744:
4737:
4726:. Retrieved
4705:
4698:
4673:
4667:
4656:. Retrieved
4649:the original
4640:
4633:
4616:
4612:
4607:Liao, L. Z;
4602:
4593:
4587:
4568:
4554:
4529:
4525:
4519:
4499:
4492:
4475:
4471:
4468:Mayne, D. Q.
4462:
4433:
4424:
4412:
4342:
4294:
4286:
3774:
3398:
3261:
3250:
3048:
3046:
2349:
2338:
2034:
1683:
1682:operator in
1652:
1558:
1547:This is the
1546:
1535:
1322:
1196:
1194:
967:
841:
762:
667:
573:
240:
146:
135:
49:
23:
19:
18:
4305:line-search
4886:2004.12710
4728:2018-10-19
4658:2012-02-27
4619:(6): 692.
4454:References
4341:matrix in
968:cost-to-go
611:, and the
241:total cost
193:from time
4821:204816072
4764:1799-4942
4723:243932441
4578:1813/5474
4546:0020-7179
4478:: 85–95.
4387:α
4253:^
4227:^
4183:^
4151:−
4136:^
4055:^
4007:^
3948:ℓ
3944:≡
3875:−
3731:−
3694:−
3616:−
3581:−
3513:−
3464:−
3438:Δ
3363:−
3343:−
3298:−
3278:−
3223:δ
3180:−
3160:−
3146:δ
3135:δ
3126:
3116:δ
3103:∗
3093:δ
3061:δ
3006:⋅
2912:ℓ
2861:⋅
2767:ℓ
2716:⋅
2624:ℓ
2545:ℓ
2471:ℓ
2406:≡
2309:δ
2297:δ
2089:δ
2077:δ
2048:≈
1971:−
1942:ℓ
1937:−
1907:δ
1888:δ
1845:δ
1826:δ
1812:ℓ
1807:≡
1796:δ
1785:δ
1667:⋅
1571:ℓ
1446:ℓ
1355:ℓ
1351:≡
1250:≡
1153:ℓ
1113:ℓ
1105:−
1087:∑
946:−
930:…
891:≡
780:∗
718:
703:≡
687:∗
594:≡
532:ℓ
492:ℓ
484:−
466:∑
402:−
386:…
353:≡
300:ℓ
278:ℓ
4918:Category
4866:15116370
4563:(1992).
4442:See also
4373:by some
3890:down to
3078:we have
3001:′
2968:′
2856:′
2823:′
2712:′
2680:′
2591:′
2517:′
2402:′
1323:Setting
1199:at time
213:to time
26:) is an
4690:1338737
4303:and/or
3858:, from
4864:
4854:
4819:
4809:
4762:
4752:
4721:
4688:
4544:
4507:
3112:argmin
1764:pair:
1688:, let
1391:, the
707:argmin
574:where
239:. The
4881:arXiv
4862:S2CID
4817:S2CID
4719:S2CID
4686:S2CID
4652:(PDF)
4645:(PDF)
4344:Eq. 4
1685:Eq. 2
669:Eq. 1
36:Mayne
4852:ISBN
4807:ISBN
4760:ISSN
4750:ISBN
4542:ISSN
4505:ISBN
4390:<
4384:<
2350:The
1728:-th
842:Let
651:>
640:for
4844:doi
4797:hdl
4789:doi
4711:doi
4678:doi
4621:doi
4573:hdl
4534:doi
4480:doi
4347:is
3400:(3)
3050:(3)
1661:min
1432:min
1254:min
1016:to
24:DDP
4920::
4860:.
4850:.
4838:.
4815:.
4805:.
4795:.
4781:.
4758:.
4717:.
4684:.
4676:.
4617:36
4615:.
4571:.
4567:.
4540:.
4530:47
4528:.
4474:.
4405:.
3423::
1551:.
1036::
4889:.
4883::
4868:.
4846::
4823:.
4799::
4791::
4766:.
4731:.
4713::
4692:.
4680::
4661:.
4627:.
4623::
4581:.
4575::
4548:.
4536::
4513:.
4486:.
4482::
4476:3
4393:1
4381:0
4360:k
4326:u
4321:u
4316:Q
4268:)
4265:)
4262:i
4259:(
4249:u
4242:,
4239:)
4236:i
4233:(
4223:x
4216:(
4212:f
4208:=
4201:)
4198:1
4195:+
4192:i
4189:(
4179:x
4168:)
4165:)
4162:i
4159:(
4155:x
4148:)
4145:i
4142:(
4132:x
4125:(
4122:)
4119:i
4116:(
4112:K
4108:+
4105:)
4102:i
4099:(
4095:k
4091:+
4088:)
4085:i
4082:(
4078:u
4074:=
4067:)
4064:i
4061:(
4051:u
4040:)
4037:1
4034:(
4030:x
4026:=
4019:)
4016:1
4013:(
4003:x
3972:)
3967:N
3962:x
3957:(
3952:f
3941:)
3938:N
3935:,
3931:x
3927:(
3924:V
3904:1
3901:=
3898:i
3878:1
3872:N
3869:=
3866:i
3846:}
3843:)
3840:i
3837:(
3833:K
3829:,
3826:)
3823:i
3820:(
3816:k
3812:{
3792:)
3789:i
3786:(
3783:V
3756:.
3750:x
3745:u
3740:Q
3734:1
3725:u
3720:u
3715:Q
3708:u
3703:x
3698:Q
3684:x
3679:x
3674:Q
3670:=
3663:)
3660:i
3657:(
3651:x
3646:x
3641:V
3630:u
3625:Q
3619:1
3610:u
3605:u
3600:Q
3593:u
3590:x
3585:Q
3571:x
3566:Q
3562:=
3555:)
3552:i
3549:(
3543:x
3538:V
3527:u
3522:Q
3516:1
3507:u
3502:u
3497:Q
3491:T
3485:u
3480:Q
3473:2
3470:1
3457:=
3450:)
3447:i
3444:(
3441:V
3411:i
3382:x
3377:u
3372:Q
3366:1
3357:u
3352:u
3347:Q
3340:=
3336:K
3312:u
3307:Q
3301:1
3292:u
3287:u
3282:Q
3275:=
3271:k
3255:)
3253:4
3251:(
3234:,
3231:)
3227:x
3217:x
3212:u
3207:Q
3203:+
3197:u
3192:Q
3188:(
3183:1
3174:u
3169:u
3164:Q
3157:=
3154:)
3150:u
3143:,
3139:x
3132:(
3129:Q
3120:u
3108:=
3097:u
3065:u
3028:.
3022:x
3017:u
3011:f
2996:x
2991:V
2986:+
2980:x
2974:f
2963:x
2958:x
2953:V
2946:T
2939:u
2933:f
2928:+
2922:x
2917:u
2908:=
2898:x
2893:u
2888:Q
2877:u
2872:u
2866:f
2851:x
2846:V
2841:+
2835:u
2829:f
2818:x
2813:x
2808:V
2801:T
2794:u
2788:f
2783:+
2777:u
2772:u
2763:=
2753:u
2748:u
2743:Q
2732:x
2727:x
2721:f
2707:x
2702:V
2698:+
2692:x
2686:f
2675:x
2670:x
2665:V
2658:T
2651:x
2645:f
2640:+
2634:x
2629:x
2620:=
2610:x
2605:x
2600:Q
2586:x
2581:V
2574:T
2567:u
2561:f
2556:+
2550:u
2541:=
2531:u
2526:Q
2512:x
2507:V
2500:T
2493:x
2487:f
2482:+
2476:x
2467:=
2457:x
2452:Q
2424:)
2421:1
2418:+
2415:i
2412:(
2409:V
2399:V
2378:i
2358:Q
2343:)
2341:3
2339:(
2320:]
2313:u
2301:x
2290:1
2284:[
2277:]
2268:u
2263:u
2258:Q
2249:x
2244:u
2239:Q
2230:u
2225:Q
2214:u
2209:x
2204:Q
2195:x
2190:x
2185:Q
2176:x
2171:Q
2160:T
2153:u
2148:Q
2139:T
2132:x
2127:Q
2121:0
2115:[
2107:T
2100:]
2093:u
2081:x
2070:1
2064:[
2056:2
2053:1
2016:)
2013:1
2010:+
2007:i
2004:,
2001:)
1997:u
1993:,
1989:x
1985:(
1981:f
1977:(
1974:V
1961:)
1957:u
1953:,
1949:x
1945:(
1930:)
1927:1
1924:+
1921:i
1918:,
1915:)
1911:u
1904:+
1900:u
1896:,
1892:x
1885:+
1881:x
1877:(
1873:f
1869:(
1866:V
1863:+
1853:)
1849:u
1842:+
1838:u
1834:,
1830:x
1823:+
1819:x
1815:(
1804:)
1800:u
1793:,
1789:x
1782:(
1779:Q
1752:)
1748:u
1744:,
1740:x
1736:(
1716:i
1696:Q
1670:]
1664:[
1638:)
1635:1
1632:+
1629:i
1626:,
1623:)
1619:u
1615:,
1611:x
1607:(
1603:f
1599:(
1596:V
1593:+
1590:)
1586:u
1582:,
1578:x
1574:(
1540:)
1538:2
1536:(
1519:.
1516:]
1513:)
1510:1
1507:+
1504:i
1501:,
1498:)
1494:u
1490:,
1486:x
1482:(
1478:f
1474:(
1471:V
1468:+
1465:)
1461:u
1457:,
1453:x
1449:(
1443:[
1437:u
1428:=
1425:)
1422:i
1419:,
1415:x
1411:(
1408:V
1379:)
1374:N
1369:x
1364:(
1359:f
1348:)
1345:N
1342:,
1338:x
1334:(
1331:V
1308:.
1305:)
1300:i
1295:U
1290:,
1286:x
1282:(
1277:i
1273:J
1265:i
1260:U
1247:)
1244:i
1241:,
1237:x
1233:(
1230:V
1207:i
1180:.
1177:)
1172:N
1167:x
1162:(
1157:f
1149:+
1146:)
1141:j
1136:u
1131:,
1126:j
1121:x
1116:(
1108:1
1102:N
1097:i
1094:=
1091:j
1083:=
1080:)
1075:i
1070:U
1065:,
1061:x
1057:(
1052:i
1048:J
1024:N
1004:i
982:i
978:J
954:}
949:1
943:N
938:u
933:,
925:1
922:+
919:i
914:u
909:,
904:i
899:u
894:{
886:i
881:U
857:i
852:U
820:0
815:x
793:)
789:x
785:(
775:U
750:.
747:)
743:U
739:,
735:x
731:(
726:0
722:J
712:U
700:)
696:x
692:(
682:U
654:0
648:i
626:i
621:x
598:x
589:0
584:x
559:,
556:)
551:N
546:x
541:(
536:f
528:+
525:)
520:i
515:u
510:,
505:i
500:x
495:(
487:1
481:N
476:0
473:=
470:i
462:=
459:)
455:U
451:,
447:x
443:(
438:0
434:J
410:}
405:1
399:N
394:u
389:,
381:1
376:u
371:,
366:0
361:u
356:{
349:U
327:x
304:f
255:0
251:J
227:1
224:+
221:i
201:i
180:u
157:x
140:)
138:1
136:(
119:)
114:i
109:u
104:,
99:i
94:x
89:(
85:f
81:=
76:1
73:+
70:i
65:x
22:(
Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.