Principio del massimo di Pontryagin e HJB: spiegazione
Confronta costati e massimizzazione hamiltoniana con funzioni valore e programmazione dinamica nel controllo finanziario deterministico e stocastico
Risposta diretta
Il principio del massimo di Pontryagin usa un Hamiltoniano e un costato retrogrado per fornire condizioni necessarie lungo un percorso ottimo. HJB caratterizza il valore in tutti gli stati tramite la programmazione dinamica; soluzioni regolari collegano le due prospettive
Il problema di controllo viene prima di entrambi i metodi
Uno stato X evolve sotto un controllo u, mentre un obiettivo combina ricompense correnti, valore terminale ed eventualmente rischio o vincoli
I controlli ammissibili devono specificare informazione, integrabilità, limiti dello stato e se le decisioni usino feedback oppure siano open loop
Cambiare obiettivo o insieme ammissibile modifica sia le condizioni del principio del massimo sia l'equazione HJB
L'Hamiltoniano valuta le conseguenze locali
Un Hamiltoniano di controllo combina l'obiettivo corrente con un costato moltiplicato per il drift dello stato controllato
Le convenzioni di segno determinano se l'Hamiltoniano viene massimizzato o minimizzato, quindi la convenzione deve essere dichiarata insieme all'obiettivo
L'Hamiltoniano qui è un oggetto della teoria del controllo e non va confuso con l'energia in meccanica o con un prezzo di mercato
Stato e costato formano un sistema avanti-indietro
L'equazione dello stato procede in avanti dalla condizione iniziale sotto il controllo candidato
L'equazione del costato procede all'indietro da una condizione terminale e misura il valore marginale di una perturbazione dello stato
Il controllo candidato ottimizza l'Hamiltoniano punto per punto, collegato a entrambi i percorsi e agli eventuali vincoli attivi
Il principio è di solito un test necessario
Un percorso che viola la condizione del massimo non può essere ottimo secondo le assunzioni del teorema
Un percorso che la soddisfa non deve essere globalmente ottimo; obiettivi non convessi possono produrre estremi locali o più candidati
Concavità, convessità, trasversalità e qualificazioni dei vincoli possono trasformare condizioni candidate in risultati sufficienti in contesti particolari
Il controllo stocastico aggiunge casualità nell'aggiunto
Con rischio di diffusione, l'aggiunto diventa un processo stocastico all'indietro e l'Hamiltoniano include l'esposizione a shock casuali
Se il controllo entra in un coefficiente di diffusione non convesso, in un principio del massimo stocastico generale possono essere necessari termini aggiunti di secondo ordine
Eliminare quei termini perché la formula deterministica sembra familiare può produrre la condizione del primo ordine sbagliata
HJB descrive ogni stato, non un singolo percorso
HJB è un'equazione non lineare per la funzione valore nello spazio del tempo e degli stati, costruita sulla ricorsione di Bellman
Pontryagin segue un ottimo candidato con equazioni di stato e costato, spesso riducendo un problema PDE a un sistema ai limiti
Quando il valore è regolare, il costato spesso coincide con un gradiente del valore lungo il percorso ottimo, secondo le convenzioni di segno e regolarità
La finanza usa entrambe le prospettive con cautela
Scelta di portafoglio, esecuzione ottima, market making, controllo dell'inventario e copertura con costi possono essere formulati attraverso entrambe le strade
HJB supporta politiche di feedback sugli stati; un principio del massimo può essere utile in alte dimensioni o con vincoli lungo il percorso
Verifica sempre ammissibilità, condizioni al contorno, condizioni di secondo ordine e robustezza rispetto a errori di specificazione del modello e dell'obiettivo
Domande frequenti
Il principio del massimo di Pontryagin è sufficiente per l'ottimalità?
In generale fornisce condizioni necessarie; concavità, convessità e regolarità aggiuntive possono renderle sufficienti in problemi particolari
In che cosa Pontryagin differisce da HJB?
Pontryagin studia stato e costato lungo un percorso candidato, mentre HJB risolve il valore ottimo sull'intero spazio degli stati
Che cos'è una variabile costato?
È una variabile aggiunta che misura l'effetto marginale dell'obiettivo dovuto alla variazione dello stato lungo l'ottimo candidato
Dove viene usato il principio del massimo in finanza?
Compare nel controllo di portafoglio, nell'esecuzione, nel market making, nella copertura, nella scelta dei consumi e nei problemi con vincoli di stato o di percorso