Principe du maximum de Pontryagin ou HJB : explication
Comparez les coétats et la maximisation du Hamiltonien aux fonctions de valeur et à la programmation dynamique dans le contrôle financier déterministe et stochastique
Réponse directe
Le principe du maximum de Pontryagin utilise un Hamiltonien et un coétat rétrograde pour donner des conditions nécessaires le long d'une trajectoire optimale. HJB caractérise la valeur sur tous les états par la programmation dynamique ; les solutions régulières relient les deux points de vue
Le problème de contrôle précède les deux méthodes
Un état X évolue sous l'effet d'un contrôle u, tandis qu'un objectif combine des récompenses courantes, une valeur terminale et éventuellement un risque ou des contraintes
Les contrôles admissibles doivent préciser l'information, l'intégrabilité, les limites de l'état et si les décisions utilisent une rétroaction ou sont en boucle ouverte
Modifier l'objectif ou l'ensemble admissible modifie à la fois les conditions du principe du maximum et l'équation HJB
Le Hamiltonien évalue les conséquences locales
Un Hamiltonien de contrôle combine l'objectif courant avec un coétat multiplié par la dérive contrôlée de l'état
Les conventions de signe déterminent si le Hamiltonien est maximisé ou minimisé ; la convention doit donc être indiquée avec l'objectif
Le Hamiltonien est ici un objet de théorie du contrôle et ne doit pas être confondu avec l'énergie en mécanique ou avec un prix de marché
L'état et le coétat forment un système avant-arrière
L'équation d'état avance à partir de sa condition initiale sous le contrôle candidat
L'équation du coétat remonte depuis une condition terminale et mesure la valeur marginale d'une perturbation de l'état
Le contrôle candidat optimise ponctuellement le Hamiltonien, en étant couplé aux deux trajectoires et aux contraintes actives éventuelles
Le principe est généralement un test nécessaire
Une trajectoire qui viole la condition du maximum ne peut pas être optimale sous les hypothèses du théorème
Une trajectoire qui la respecte n'est pas nécessairement globalement optimale ; des objectifs non convexes peuvent produire des extrema locaux ou plusieurs candidats
La concavité, la convexité, les conditions de transversalité et les qualifications de contraintes peuvent transformer les conditions candidates en résultats suffisants dans certains cadres
Le contrôle stochastique ajoute un aléa adjoint
Avec le risque de diffusion, l'adjoint devient un processus stochastique rétrograde et le Hamiltonien inclut l'exposition aux chocs aléatoires
Si le contrôle entre dans un coefficient de diffusion non convexe, des termes adjoints du second ordre peuvent être nécessaires dans un principe du maximum stochastique général
Supprimer ces termes parce que la formule déterministe paraît familière peut donner une condition du premier ordre erronée
HJB décrit chaque état, pas une seule trajectoire
HJB est une équation non linéaire de la fonction de valeur sur le temps et l'espace des états, construite à partir de la récurrence de Bellman
Pontryagin suit un optimum candidat avec des équations d'état et de coétat, et réduit souvent un problème d'EDP à un système aux limites
Lorsque la valeur est régulière, le coétat correspond souvent au gradient de la valeur le long de la trajectoire optimale, selon les conventions de signe et de régularité
La finance utilise les deux points de vue avec prudence
Le choix de portefeuille, l'exécution optimale, la tenue de marché, le contrôle d'inventaire et la couverture avec coûts peuvent être formulés par l'une ou l'autre voie
HJB favorise les politiques de rétroaction sur les états ; un principe du maximum peut être pratique en grande dimension ou avec des contraintes trajectorielles
Vérifiez toujours l'admissibilité, les conditions aux limites, les conditions du second ordre et la robustesse aux mauvaises spécifications du modèle et de l'objectif
Questions fréquentes
Le principe du maximum de Pontryagin est-il suffisant pour établir l'optimalité ?
En général, il donne des conditions nécessaires ; une concavité, une convexité et une régularité supplémentaires peuvent les rendre suffisantes dans certains problèmes
En quoi Pontryagin diffère-t-il de HJB ?
Pontryagin étudie l'état et le coétat le long d'une trajectoire candidate, tandis que HJB résout la valeur optimale sur l'espace des états
Qu'est-ce qu'une variable de coétat ?
C'est une variable adjointe qui mesure l'effet marginal sur l'objectif d'une modification de l'état le long de l'optimum candidat
Où le principe du maximum est-il utilisé en finance ?
Il intervient dans le contrôle de portefeuille, l'exécution, la tenue de marché, la couverture, le choix de consommation et les problèmes avec contraintes d'état ou de trajectoire