Zasada maksimum Pontriagina a HJB — wyjaśnienie
Porównaj zmienne sprzężone i maksymalizację hamiltonianu z funkcjami wartości i programowaniem dynamicznym w deterministycznym i stochastycznym sterowaniu finansowym
Bezpośrednia odpowiedź
Zasada maksimum Pontriagina wykorzystuje hamiltonian i wsteczny proces sprzężony, aby podać warunki konieczne wzdłuż optymalnej ścieżki. HJB charakteryzuje wartość we wszystkich stanach za pomocą programowania dynamicznego; rozwiązania gładkie łączą oba spojrzenia
Problem sterowania poprzedza obie metody
Stan X ewoluuje pod wpływem sterowania u, a funkcja celu łączy nagrody bieżące, wartość końcową oraz ewentualnie ryzyko lub ograniczenia
Dopuszczalne sterowania muszą określać informację, całkowalność, ograniczenia stanu oraz to, czy decyzje wykorzystują sprzężenie zwrotne, czy są podejmowane w otwartej pętli
Zmiana funkcji celu lub zbioru dopuszczalnego zmienia zarówno warunki zasady maksimum, jak i równanie HJB
Hamiltonian wycenia lokalne konsekwencje
Hamiltonian sterowania łączy bieżącą funkcję celu z procesem sprzężonym pomnożonym przez sterowany dryf stanu
Konwencje znaków określają, czy hamiltonian jest maksymalizowany, czy minimalizowany, dlatego konwencję trzeba podać razem z funkcją celu
Przedstawiony hamiltonian jest obiektem teorii sterowania i nie należy mylić go z energią w mechanice ani z ceną rynkową
Stan i proces sprzężony tworzą układ w przód–wstecz
Równanie stanu biegnie w przód od warunku początkowego pod wpływem sterowania kandydującego
Równanie procesu sprzężonego biegnie wstecz od warunku końcowego i mierzy krańcową wartość zaburzenia stanu
Sterowanie kandydujące optymalizuje hamiltonian punktowo, w powiązaniu z obiema ścieżkami i aktywnymi ograniczeniami
Zasada jest zwykle testem koniecznym
Ścieżka, która narusza warunek maksimum, nie może być optymalna przy założeniach twierdzenia
Ścieżka, która go spełnia, nie musi być globalnie optymalna; niekonwekcyjne funkcje celu mogą tworzyć ekstrema lokalne lub wielu kandydatów
W szczególnych sytuacjach wklęsłość, wypukłość, warunki transwersalności i kwalifikacje ograniczeń mogą przekształcić warunki kandydata w wyniki wystarczające
Sterowanie stochastyczne dodaje losowość sprzężoną
Przy ryzyku dyfuzyjnym zmienna sprzężona staje się wstecznym procesem stochastycznym, a hamiltonian obejmuje ekspozycję na losowe szoki
Jeśli sterowanie wchodzi do niewypukłego współczynnika dyfuzji, w ogólnej stochastycznej zasadzie maksimum mogą być wymagane wyrazy sprzężonego drugiego rzędu
Pomijanie tych wyrazów dlatego, że deterministyczny wzór wygląda znajomo, może prowadzić do błędnego warunku pierwszego rzędu
HJB opisuje każdy stan, a nie jedną ścieżkę
HJB jest nieliniowym równaniem funkcji wartości w czasie i przestrzeni stanów, zbudowanym na rekurencji Bellmana
Pontriagin śledzi optimum kandydujące za pomocą równań stanu i procesu sprzężonego, często redukując problem PDE do układu brzegowego
Gdy wartość jest gładka, proces sprzężony często odpowiada gradientowi wartości wzdłuż optymalnej ścieżki, z uwzględnieniem konwencji znaków i regularności
Finanse korzystają z obu spojrzeń z ostrożnością
Wybór portfela, optymalna egzekucja, market making, kontrola zapasów i zabezpieczanie z kosztami mogą być formułowane obiema drogami
HJB wspiera polityki sprzężenia zwrotnego w stanach; zasada maksimum może być wygodna w wysokich wymiarach lub przy ograniczeniach ścieżki
Zawsze weryfikuj dopuszczalność, warunki brzegowe, warunki drugiego rzędu oraz odporność na błędną specyfikację modelu i funkcji celu
Częste pytania
Czy zasada maksimum Pontriagina jest wystarczająca do optymalności?
Zasadniczo podaje warunki konieczne; dodatkowa wklęsłość, wypukłość i regularność mogą uczynić je wystarczającymi w określonych problemach.
Czym Pontriagin różni się od HJB?
Pontriagin bada stan i proces sprzężony wzdłuż ścieżki kandydującej, podczas gdy HJB rozwiązuje optymalną wartość w przestrzeni stanów.
Czym jest zmienna sprzężona?
Jest zmienną sprzężoną mierzącą krańcowy wpływ zmiany stanu na funkcję celu wzdłuż optimum kandydującego.
Gdzie zasada maksimum jest stosowana w finansach?
Pojawia się w sterowaniu portfelem, egzekucji, market makingu, zabezpieczaniu, wyborze konsumpcji oraz problemach z ograniczeniami stanu lub ścieżki.
Źródła i dalsza lektura
Szybki test
Przeczytano? Sprawdź się w 3 pytaniach
Pytanie 01
Które stwierdzenie najlepiej odpowiada temu przewodnikowi — Problem sterowania poprzedza obie metody?
Wybierz odpowiedź, aby zobaczyć wyjaśnienie
Słownik opcji
The infinitesimal dynamic-programming equation that optimizes running reward plus the controlled generator of future value to determine a value function and policy.
Czytaj szczegółowy przewodnikExtrinsic valueThe portion of premium above intrinsic value, reflecting remaining time, expected uncertainty, rates, dividends, and supply and demand.
Czytaj szczegółowy przewodnikGammaAn estimate of how much delta may change for a small move in the underlying, all else equal; it often becomes more concentrated near expiration and near the money.
Czytaj szczegółowy przewodnik