Łączenie prognoz: równe czy szacowane wagi

Łączenie prognoz polega na połączeniu dwóch lub większej liczby przewidywań tej samej wielkości w jedną prognozę. Jeśli modele A, B i C przewidują jutrzejszą zrealizowaną wariancję, ich wyniki można uśrednić albo nadać im różne wagi. Otrzymana wartość jest nową prognozą, a nie głosowaniem nad tym, który model ma rację.

Dane wejściowe muszą dotyczyć tego samego celu, momentu sporządzenia prognozy, horyzontu, jednostek oraz granicy dostępnych informacji. Nie należy bezpośrednio uśredniać jednodniowej prognozy wariancji i miesięcznej prognozy zmienności tylko dlatego, że obie nazywa się prognozami zmienności. Najpierw zdefiniuj wspólną wielkość i przedział, a potem dopasuj do nich prognozy.

Łączenie może być przydatne, gdy kilka wiarygodnych modeli wychwytuje różne cechy szeregu albo nie wiadomo, który z nich zachowa przewagę. Algorytmy nie muszą się od siebie zasadniczo różnić. Ważne jest to, jak wspólnie zachowują się ich błędy, a nie jak różnie brzmią nazwy modeli.

W pierwotnym przykładzie dotyczącym przewozów pasażerskich Bates i Granger wykazali, że prognoza złożona mogła mieć niższy średni błąd kwadratowy niż każda z dwóch prognoz składowych. Wynik ten uzasadnia testowanie kombinacji, ale nie gwarantuje poprawy dla innego rynku, celu, okresu ani funkcji straty (Bates i Granger, 1969).

Dla \(K\) prognoz kombinacja z równymi wagami ma postać

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Każda składowa wnosi taki sam udział. Ta reguła nie wymaga próby treningowej do oszacowania wag i łatwo ją odtworzyć. To przydatny punkt odniesienia także wtedy, gdy ostateczna metoda będzie wagi szacować lub ograniczać.

Równe wagi nie oznaczają, że wszystkie prognozy są równie trafne, niezależne lub jednakowo ważne ekonomicznie. Oznaczają jedynie, że procedura łączenia nie szacuje osobnych wag na podstawie wcześniejszych wyników. Jeśli wszystkie prognozy pomijają ten sam czynnik, kombinacja z równymi wagami również może odziedziczyć wspólny błąd systematyczny.

Liczba nazw modeli nie mierzy różnorodności informacji. Trzy modele zmienności mogą wykorzystywać tę samą serię stóp zwrotu, granice sesji i interwał próbkowania, a każdy z nich może pomijać ruch nocny. Uśrednienie nie naprawia automatycznie takiego braku. Sprawdź, czy zarchiwizowane błędy poza próbą różnią się w użyteczny sposób; nie zakładaj, że różne etykiety oznaczają niezależne informacje.

Załóżmy, że trzy modele prognozują zmienność następnej sesji na poziomie 12, 15 i 20 punktów bazowych. Prognoza z równymi wagami wynosi \((12+15+20)/3 = 15,67\) punktu bazowego. To obliczenie pokazuje sposób tworzenia kombinacji; jeden moment prognozowania nie pozwala ocenić, czy reguła jest trafna lub zyskowna.

W przypadku zmienności sprawdź, czy dane wejściowe dotyczą wariancji, czy odchylenia standardowego. Średnia trzech prognoz wariancji, po której oblicza się pierwiastek kwadratowy, na ogół nie jest równa średniej prognoz odchylenia standardowego. Użyj tej samej definicji celu i jednostek, które później będą oceniane.

Szacowaną kombinację liniową można zapisać jako

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Typowy wynik teoretyczny zakłada, że średnia każdego błędu prognozy wynosi zero, cel prognozowania jest taki sam, a wagi sumują się do jedności. Niech \(\Sigma_e\) oznacza macierz kowariancji błędów prognoz składowych. Gdyby była znana i odwracalna, wagi minimalizujące wariancję przy tych ograniczeniach miałyby postać

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

Ten wzór jest punktem odniesienia, a nie instrukcją, by odwracać zaszumioną macierz kowariancji z próby. W praktyce \(\Sigma_e\) szacuje się na podstawie ograniczonego archiwum błędów prognoz. Silnie skorelowane dane wejściowe mogą sprawić, że macierz będzie prawie osobliwa, przez co niewielkie zmiany danych wywołają duże zmiany wag.

Dla dwóch prognoz o tej samej wariancji błędu \(\sigma^2\) wariancja ich średniej z równymi wagami wynosi \(\sigma^2(1+\rho)/2\), gdzie \(\rho\) to korelacja między błędami. Jeśli wariancja każdego błędu wynosi 4, a korelacja jest równa zero, wariancja średniej wynosi 2. Przy korelacji 0,90 wynosi 3,8. To zależność między błędami, a nie nazwy modeli, określa, ile wariancji można usunąć przez uśrednianie. To obliczenie dotyczy wariancji błędu; jeśli prognozy składowe są obciążone, ich średni błąd kwadratowy obejmuje także kwadrat obciążenia.

Inne podejście polega na regresji zrealizowanego celu względem zarchiwizowanych prognoz składowych, często z wyrazem wolnym. Granger i Ramanathan opisują metody regresji liniowej, w których wagi nie muszą sumować się do jedności. Wyraz wolny i nieograniczone wagi mogą skorygować średnie obciążenie w próbie treningowej, ale zmieniają interpretację: współczynniki są dopasowanymi korektami prognozy, a niekoniecznie udziałami podobnymi do wag portfelowych (Granger i Ramanathan, 1984).

Ograniczenia określ przed oceną. Nieujemne wagi sumujące się do jedności tworzą kombinację wypukłą, która mieści się między najmniejszą i największą prognozą składową. Ujemne wagi lub wyraz wolny mogą dać wartości spoza tego zakresu. Może to być właściwe dla skalibrowanej prognozy, ale niekoniecznie dla celu, który nie może być ujemny, takiego jak wariancja.

Załóżmy, że trzy modele prognozują tę samą wartość dla następnej sesji: 12, 15 i 20 punktów bazowych. Reguła wag oszacowana na wcześniejszych momentach prognozowania przypisuje im odpowiednio \(0.50\), \(0.30\) i \(0.20\). Otrzymana prognoza wynosi

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{punktu bazowego} \]

Wagi są nieujemne i sumują się do jedności, więc jest to kombinacja wypukła. Wynik mieści się między prognozami składowymi. Różnica względem wyniku 15,67 punktu bazowego przy równych wagach wynika z zastosowanych wag; sama w sobie nie dowodzi, że prognoza ważona jest lepsza.

Wagi muszą być oszacowane wyłącznie na podstawie błędów, których wyniki były znane w chwili estymacji. W historycznym teście wstecznym prognoza 14,5 punktu bazowego dla momentu \(t\) może wykorzystywać informacje dostępne do \(t\), ale nie zrealizowany cel z \(t+1\) lub późniejszego okresu.

Gdy cel stanie się obserwowalny, zapisuj prognozy składowe, kombinację, zrealizowaną miarę zastępczą i stratę oceny. Powtarzanie tej procedury dla kolejnych momentów prognozowania pozwala porównywać reguły na wspólnych datach. Nie zmienia jednak jednego przykładowego obliczenia w dowód trwałej przewagi.

Wagi optymalne przy znanych populacyjnych kowariancjach błędów różnią się od wag oszacowanych na krótkiej próbie. Estymacja wag dodaje kolejną warstwę niepewności. Gdy prognozy składowe są podobne, ich błędy mogą być silnie skorelowane, a optymalizacja może nadmiernie wykorzystać drobne historyczne różnice, które się nie powtórzą.

Symulacje i zastosowanie do prognoz makroekonomicznych Kang wykazały, że wagi kombinacji mogą być niestabilne, a w badanych warunkach prosta średnia może działać lepiej w praktyce (Kang, 1986). Przegląd Timmermanna opisuje wpływ błędu estymacji, niestabilności modeli i zależności między błędami na kombinacje prognoz (Timmermann, 200601004-9)).

Późniejsze analizy zagadki łączenia prognoz wskazują na ten sam problem w skończonych próbach: wyniki uzyskane dla ustalonych „optymalnych” wag nie muszą utrzymać się bez zmian, gdy same wagi są estymowane (Claeskens i in., 2016). Nie dowodzi to, że równe wagi zawsze wygrywają. Wyjaśnia, dlaczego bardziej złożona reguła powinna uzasadnić swój wybór porównaniem poza próbą.

<!-- learn:illustration -->

Możliwe rozwiązania to rozpoczęcie od równych wag, ograniczenie liczby danych wejściowych, przesunięcie oszacowanych wag w stronę równych udziałów lub nałożenie prostego ograniczenia. Każda decyzja oznacza kompromis między elastycznością a szumem estymacji. Wybierz ją na podstawie danych treningowych i opisz regułę; nie wybieraj najatrakcyjniejszej wersji po obejrzeniu końcowego okresu testowego.

Każda zarchiwizowana prognoza składowa powinna być możliwa do utworzenia w podanym momencie. Odtwórz każdy model wyłącznie na podstawie ówcześnie dostępnych danych, zachowaj znacznik czasu prognozy oraz wersję modelu i definicję celu. Wartości dopasowane w próbie nie zastępują rzeczywistych prognoz historycznych, bo model mógł wykorzystać obserwacje, które nie były jeszcze znane.

Wyrównaj archiwum według celu i momentu prognozowania. W każdym wierszu prognozy składowe muszą dotyczyć tego samego przyszłego przedziału, a dane użyte do trenowania muszą kończyć się w tym samym momencie decyzyjnym. Przed szacowaniem kombinacji usuń brakujące prognozy lub jawnie określ sposób ich obsługi. Cicha zmiana zestawu danych wejściowych może sprawić, że wagi będą znaczyć coś innego w różnych dniach.

Oddziel estymację wag od oceny końcowej. Procedura kroczącego początku może szacować wagi na podstawie prognoz, których wyniki były znane przed \(t\), wydać kombinację w \(t\), a następnie ocenić ją po zaobserwowaniu celu. Okno rozszerzające wykorzystuje wszystkie kwalifikujące się wcześniejsze momenty; okno kroczące zapomina starsze dane zgodnie z ustaloną z góry długością. W inny sposób reagują na zmianę wyników.

Jeśli modele składowe, transformacje, horyzonty, ograniczenia wag lub funkcje straty wybrano po obejrzeniu okresu holdout, ten okres stał się częścią rozwoju modelu. Odłóż nowy okres testowy albo zastosuj ocenę zagnieżdżoną, która utrzymuje każdy etap selekcji wewnątrz danych treningowych.

Porównaj regułę równych wag, ewentualną regułę szacowaną lub kurczoną oraz prognozy indywidualne na tych samych momentach prognozowania i względem tego samego zrealizowanego celu. Podaj stratę oceny i wspólną próbę. W przeciwnym razie metoda może wyglądać na silniejszą tylko dlatego, że oceniono ją na łatwiejszych datach lub przy innej definicji celu.

Funkcja straty powinna odpowiadać celowi i pytaniu. Błąd kwadratowy stosuje kwadratową karę za odległość; błąd bezwzględny inaczej waży duże pomyłki. Przy ocenie prognoz zmienności względem zaszumionych miar zrealizowanych znaczenie mają założenia dotyczące miary zastępczej i wybrana strata. Przewodnik po QLIKE i błędzie kwadratowym wyjaśnia te różnice. Nie wybieraj funkcji straty po sprawdzeniu, której metodzie sprzyja.

Test porównujący prognozy może pomóc ocenić, czy zaobserwowane różnice strat są zgodne ze zmiennością próby. Przewodnik po teście Diebolda–Mariano omawia porównania sparowane i założenia istotne wtedy, gdy błędy prognoz nakładają się lub pozostają zależne. Wynik testu nie naprawia błędu look-ahead ani nie dowodzi wartości ekonomicznej.

Jeśli wypróbowano wiele zestawów składowych, ograniczeń wag lub funkcji straty i zachowano wersję, która wyglądała najlepiej w tym samym okresie oceny, opublikowane porównanie odzwierciedla również ten proces selekcji. Przewodnik po White Reality Check i przewodnik po prawdopodobieństwie przeoptymalizowania backtestu omawiają wybór spośród wielu reguł transakcyjnych; żaden z nich nie zastępuje czystego archiwum prognoz ani planu oceny ustalonego z góry.

Zastosuj projekt walidacji odpowiadający planowanemu horyzontowi. Jeśli dzienne momenty prognozowania przewidują nakładające się cele wielodniowe, kolejne straty mogą być zależne. Uwzględnij tę zależność przy szacowaniu niepewności i nie traktuj dużej liczby nakładających się wierszy jak takiej samej liczby niezależnych eksperymentów.

Przed łączeniem sprawdź, co przewiduje każdy model. Średnia warunkowa, wariancja, kwantyl i pełny rozkład prawdopodobieństwa to różne obiekty prognozowania. Liniowa średnia prognoz punktowych nie tworzy automatycznie skalibrowanej gęstości ani wiarygodnej oceny ryzyka ogona.

W przypadku wielkości, które muszą być nieujemne, takich jak wariancja, sprawdź wartości kombinacji przed ich użyciem. Kombinacja wypukła prognoz nieujemnych pozostaje nieujemna; regresja z ujemnymi wagami lub wyrazem wolnym może nie spełniać tego warunku. Obcięcie wartości ujemnych do zera zmienia regułę prognozowania i trzeba je określić przed oceną.

Znaczenie ma także liczba prognoz. Dodanie słabych lub niemal identycznych danych wejściowych może zwiększyć liczbę szacowanych wag, nie wnosząc wiele nowej informacji. Jeśli historyczne archiwum jest krótkie w porównaniu z \(K\), wybierz przejrzystą regułę o małej liczbie wymiarów i pokaż, że wniosek nie zależy od pojedynczej składowej.

Łączenie prognoz modeli to coś innego niż łączenie pozycji transakcyjnych. Niższa strata statystyczna nie dowodzi, że strategia korzystająca z prognozy zarobi więcej po uwzględnieniu prowizji, spreadu, poślizgu, wpływu na rynek i limitów ryzyka. Konstrukcja prognozy i reguła transakcyjna, która z niej korzysta, wymagają oddzielnych dowodów poza próbą.

Przydatny raport określa cel prognozy, horyzont, jednostki, modele składowe, znaczniki czasu momentów prognozowania, okres archiwum i regułę obsługi brakujących danych. Podaje, czy wagi są równe, szacowane, ograniczone, kurczone lub zmienne w czasie, oraz jak ustalono każdy parametr.

Pokaż wyniki dla benchmarku z równymi wagami, wybranej kombinacji i najsilniejszej prognozy indywidualnej na tych samych datach oceny. Uwzględnij funkcję straty, metodę oceny niepewności i obsługę nakładających się celów. Jeśli wagi gwałtownie zmieniają się między oknami, pokaż tę niestabilność zamiast podawać wyłącznie wartości końcowe.

Na koniec oddziel wniosek empiryczny od decyzji. „Ta kombinacja miała niższą średnią stratę w tej próbie i przy tej funkcji straty” jest bardziej precyzyjne i łatwiejsze do odtworzenia niż „łączenie prognoz poprawia handel”. Pierwsze stwierdzenie można sprawdzić na podstawie zapisanego archiwum prognoz; drugie wymaga strategii, założeń dotyczących realizacji i osobnych dowodów.