Princípio do máximo de Pontryagin vs. HJB explicado
Compare coestados e maximização hamiltoniana com funções de valor e programação dinâmica no controle financeiro determinístico e estocástico
Resposta direta
O princípio do máximo de Pontryagin usa uma Hamiltoniana e um coestado retrocedente para fornecer condições necessárias ao longo de uma trajetória ótima. HJB caracteriza o valor em todos os estados por programação dinâmica; soluções suaves conectam as duas visões
O problema de controle vem antes de qualquer um dos métodos
Um estado X evolui sob um controle u, enquanto um objetivo combina recompensas correntes, valor terminal e possivelmente risco ou restrições
Controles admissíveis precisam especificar informação, integrabilidade, limites do estado e se as decisões usam feedback ou são open loop
Mudar o objetivo ou o conjunto admissível muda tanto as condições do princípio do máximo quanto a equação HJB
A Hamiltoniana precifica consequências locais
Uma Hamiltoniana de controle combina o objetivo corrente com um coestado multiplicado pela dinâmica do estado controlado
As convenções de sinal determinam se a Hamiltoniana é maximizada ou minimizada, então a convenção precisa ser declarada junto com o objetivo
A Hamiltoniana aqui é um objeto da teoria de controle e não deve ser confundida com energia na mecânica ou com um preço de mercado
Estado e coestado formam um sistema para frente e para trás
A equação de estado avança a partir de sua condição inicial sob o controle candidato
A equação do coestado recua a partir de uma condição terminal e mede o valor marginal de perturbar o estado
O controle candidato otimiza a Hamiltoniana pontualmente, acoplado às duas trajetórias e a quaisquer restrições ativas
O princípio geralmente é um teste necessário
Uma trajetória que viola a condição do máximo não pode ser ótima sob as hipóteses do teorema
Uma trajetória que a satisfaz não precisa ser globalmente ótima; objetivos não convexos podem produzir extremos locais ou múltiplos candidatos
Concavidade, convexidade, transversalidade e qualificações de restrição podem transformar condições candidatas em resultados suficientes em configurações especiais
O controle estocástico acrescenta aleatoriedade adjunta
Com risco de difusão, o adjunto se torna um processo estocástico para trás e a Hamiltoniana inclui exposição a choques aleatórios
Se o controle entrar em um coeficiente de difusão não convexo, termos de adjunto de segunda ordem podem ser necessários em um princípio do máximo estocástico geral
Eliminar esses termos porque a fórmula determinística parece familiar pode produzir a condição de primeira ordem errada
HJB descreve todos os estados, não uma trajetória
HJB é uma equação não linear para a função de valor no tempo e no espaço de estados, construída a partir da recursão de Bellman
Pontryagin acompanha um ótimo candidato com equações de estado e coestado, muitas vezes reduzindo um problema de EDP a um sistema de valor de contorno
Quando o valor é suave, o coestado frequentemente coincide com um gradiente do valor ao longo da trajetória ótima, sujeito às convenções de sinal e regularidade
As finanças usam as duas visões com cautela
Escolha de portfólio, execução ótima, formador de mercado, controle de inventário e hedge com custos podem ser formulados por qualquer uma das rotas
HJB apoia políticas de feedback sobre os estados; um princípio do máximo pode ser conveniente em dimensões altas ou com restrições ao longo da trajetória
Sempre verifique admissibilidade, condições de contorno, condições de segunda ordem e robustez a erros de especificação do modelo e do objetivo
Perguntas frequentes
O princípio do máximo de Pontryagin é suficiente para a otimalidade?
Em geral, ele fornece condições necessárias; concavidade, convexidade e regularidade adicionais podem torná-las suficientes em problemas específicos
Como Pontryagin difere de HJB?
Pontryagin estuda estado e coestado ao longo de uma trajetória candidata, enquanto HJB resolve o valor ótimo em todo o espaço de estados
O que é uma variável de coestado?
É uma variável adjunta que mede o efeito marginal no objetivo de mudar o estado ao longo do ótimo candidato
Onde o princípio do máximo é usado em finanças?
Ele aparece em controle de portfólio, execução, formação de mercado, hedge, escolha de consumo e problemas com restrições de estado ou de trajetória