Deflated Sharpe Ratio: kiểm định nhiều lần và lựa chọn backtest

Nhà nghiên cứu có thể thử nhiều định nghĩa tín hiệu, khoảng thời gian nhìn lại, ngưỡng vào lệnh, phạm vi tài sản, thời gian nắm giữ và giả định chi phí, rồi báo cáo phiên bản có tỷ lệ Sharpe cao nhất. Ngay cả khi không ứng viên nào có năng lực thực sự, các ước tính vẫn khác nhau do nhiễu mẫu. Phạm vi tìm kiếm càng rộng thì ước tính lớn nhất thường càng cao. Vì vậy, kết quả được chọn khác với việc đánh giá một chiến lược duy nhất đã xác định trước khi xem dữ liệu.

Deflated Sharpe Ratio do Bailey và López de Prado đề xuất xử lý hai nguồn làm phóng đại Sharpe được chọn: kiểm định nhiều lần và lợi suất phi chuẩn. Kiểm định nhiều lần làm tăng mức tham chiếu mà kết quả phải vượt qua; tính phi chuẩn làm thay đổi độ bất định ước tính của Sharpe. Bài báo gốc mô tả DSR là Probabilistic Sharpe Ratio được tính so với ngưỡng đã điều chỉnh theo lựa chọn. Bài báo gốc trình bày cách suy ra và ước tính số lần thử.

Cách diễn giải này giúp tránh một nhầm lẫn phổ biến. DSR không máy móc trừ một khoản phạt cố định khỏi Sharpe được báo cáo để tạo ra một tỷ lệ hiệu suất mới. Nó ước tính mức Sharpe quan sát vượt ngưỡng gắn với phạm vi tìm kiếm, độ dài mẫu và các moment của lợi suất. Ước lượng điểm của Sharpe có thể giữ nguyên trong khi DSR giảm vì bằng chứng yếu hơn. Để hiểu bản thân Sharpe, hãy xem giải thích ban đầu của Sharpe.

Giả sử mọi quy tắc được kiểm tra có cùng Sharpe thực, nhưng mỗi ước tính khác nhau vì dựa trên mẫu hữu hạn. Chọn ước tính lớn nhất cũng đồng nghĩa chọn một sai số đo lường có lợi. Đây là “lời nguyền người thắng”: khi đánh giá trên dữ liệu mới, ước tính được chọn thường sẽ quay về gần giá trị điển hình của cả nhóm.

Số lần thử quan trọng, nhưng mức độ khác nhau giữa các ước tính cũng vậy. Nếu các ứng viên tạo ra lợi suất gần như giống nhau, Sharpe ước tính của chúng liên hệ chặt chẽ và đem lại ít cơ hội độc lập hơn để tìm thấy mức tối đa do may mắn so với một nhóm có cùng số ứng viên không liên quan. Vì thế, số hàng trong lưới tham số không tự động là số lần thử độc lập.

Nhật ký tìm kiếm có thể bao gồm quyết định ngoài một lưới chính thức: ngưỡng được sửa thủ công, thị trường bị loại bỏ hoặc giả định chi phí được điều chỉnh và làm thay đổi kết quả được giữ lại. DSR chỉ tính trên các ứng viên cuối cùng không thể tính đến những thử nghiệm không được ghi lại hoặc cung cấp làm đầu vào.

Probabilistic Sharpe Ratio (PSR) ước tính liệu Sharpe của mẫu có vượt một mức tham chiếu được chọn hay không, đồng thời xét đến số quan sát lợi suất và độ lệch, độ nhọn ước tính. DSR dùng cùng phép tính cơ bản nhưng chọn mức tham chiếu phản ánh Sharpe tối đa kỳ vọng từ quá trình tìm kiếm.

Với một phép xấp xỉ PSR thường dùng, phép tính điều chỉnh theo lựa chọn là:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

Ở đây, $\Phi$ là hàm phân phối tích lũy chuẩn tắc, $\widehat{SR}$ là Sharpe quan sát được trên mỗi quan sát lợi suất, $SR_0$ là ngưỡng điều chỉnh theo lựa chọn cùng đơn vị và $T$ là số quan sát. $\widehat{\gamma}_3$ là độ lệch mẫu. $\widehat{\gamma}_4$ là độ nhọn Pearson, bằng 3 với phân phối chuẩn. Mẫu số phản ánh độ lệch và độ nhọn làm thay đổi độ bất định của ước tính Sharpe như thế nào.

Biểu thức này phụ thuộc vào quy ước sử dụng. Hãy dùng lợi suất vượt trội ở một tần suất duy nhất, tính Sharpe và ngưỡng ở cùng tần suất, đồng thời định nghĩa độ nhọn nhất quán. Chỉ quy đổi một đại lượng sang năm sẽ làm thay đổi phép so sánh. Công thức quen thuộc cũng dựa trên giả định về sự phụ thuộc giữa các quan sát lợi suất; cần xử lý phụ thuộc chuỗi riêng, thay vì âm thầm thay đổi $T$.

Với $N$ ước tính Sharpe độc lập có phân phối gần chuẩn, Bailey và López de Prado dùng phép xấp xỉ giá trị cực trị cho mức tối đa kỳ vọng:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ và $\sigma_{SR}$ lần lượt mô tả trung bình và độ lệch chuẩn của các ước tính Sharpe giữa các ứng viên; $\Phi^{-1}$ là hàm phân vị chuẩn tắc, $e$ là số Euler và $\gamma_E \approx 0,5772$ là hằng số Euler–Mascheroni. Biểu thức ước tính mức tăng của ước tính tốt nhất chỉ do lựa chọn trong mô hình thử nghiệm đã chọn. Đây không phải ngưỡng phổ quát cho mọi quá trình tìm kiếm chiến lược.

Khi kết quả của các ứng viên tương quan, xem mọi biến thể là độc lập có thể phóng đại số lần thử hiệu dụng. Bài báo bàn về cách ước tính số lần thử độc lập từ mức phụ thuộc giữa các ứng viên, nhưng bản thân ước tính đó cũng là một lựa chọn mô hình hóa. Tương quan chỉ là một dạng phụ thuộc; ước tính dựa trên nhiều ứng viên và lịch sử lợi suất ngắn có thể thiếu ổn định. Hãy báo cáo số ứng viên thô, phương pháp tính số hiệu dụng nếu có, và độ nhạy trước các phương án hợp lý.

Giả sử một quá trình tìm kiếm được đơn giản hóa có chủ ý với 20 chiến lược ứng viên độc lập. Theo giả thuyết không, giả định trung bình các ước tính Sharpe là 0 và độ lệch chuẩn là 0,20 theo đơn vị tháng. Phép xấp xỉ tối đa kỳ vọng cho ngưỡng lựa chọn khoảng $SR_0=0,380$ mỗi tháng. Đây là giả định để minh họa phép tính, không phải quan sát thị trường hay mức tham chiếu được khuyến nghị.

Tiếp theo, giả sử chiến lược được chọn có 60 quan sát lợi suất vượt trội theo tháng, Sharpe tháng ước tính 0,50, độ lệch mẫu 0 và độ nhọn Pearson 3. Thành phần PSR so sánh 0,50 với 0,380 chứ không phải 0:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

Với các giả định đơn giản hóa này, DSR xấp xỉ 80,7%. Con số này không có nghĩa xác suất chiến lược sinh lời trong tháng tới là 80,7%, cũng không phải dự báo lợi suất tháng kế tiếp. Đây là bằng chứng ước tính rằng Sharpe cơ sở vượt ngưỡng lựa chọn đã chọn, có điều kiện theo mô hình và đầu vào. Số lần thử, ước tính phụ thuộc, mẫu hoặc hình dạng phân phối khác có thể làm thay đổi kết quả.

Độ nhạy với mức phân tán của các ước tính qua những lần thử là đáng kể. Nếu chỉ độ lệch chuẩn giả định của các ước tính Sharpe ứng viên thay đổi từ 0,20 xuống 0,10, cùng quá trình tìm kiếm 20 lần thử sẽ cho ngưỡng khoảng 0,190 và DSR khoảng 98,8%. Nếu độ lệch chuẩn là 0,30, ngưỡng khoảng 0,570 và DSR khoảng 30,6%. Sharpe quan sát 0,50, số quan sát 60, độ lệch và độ nhọn vẫn giữ nguyên. Độ nhạy giả định này cho thấy vì sao phương pháp ước tính độ phân tán giữa các lần thử và mức phụ thuộc giữa ứng viên lại quan trọng; các giá trị vẫn dùng cùng đơn vị tháng và mô hình đơn giản hóa.

Hai chiến lược có thể báo cáo cùng Sharpe mẫu và độ dài mẫu nhưng có phân phối lợi suất khác nhau. Đuôi trái rõ rệt, tính bất đối xứng hoặc các quan sát cực đoan xuất hiện thường xuyên bất thường có thể làm thay đổi độ bất định mẫu trong mẫu số PSR. Điều chỉnh này được tính từ các moment đo được; nó không xem mọi phân phối phi chuẩn là có hại như nhau và không bảo đảm rằng một vài moment mẫu mô tả đầy đủ hành vi ở phần đuôi.

Phép tính cũng phụ thuộc vào việc thế nào được tính là một quan sát. Dữ liệu ngày, tuần và tháng tạo ra các giá trị khác nhau cho $T$, Sharpe, độ lệch và độ nhọn. Lợi suất của các kỳ nắm giữ chồng lấn có thể khiến các hàng liền kề phụ thuộc nhau. Giá đánh dấu được làm mượt hoặc đã cũ có thể có vẻ ít biến động hơn rủi ro kinh tế cơ sở. Hãy mô tả tần suất và cách xây dựng mẫu, thay vì coi Sharpe quy đổi năm là đầu vào đầy đủ.

PBO dùng Combinatorially Symmetric Cross-Validation để hỏi xem người thắng trong mẫu có xếp hạng bằng hoặc thấp hơn trung vị ứng viên trên các khối bổ sung bao nhiêu lần. DSR ước tính liệu Sharpe được chọn có vượt ngưỡng điều chỉnh theo quá trình tìm kiếm và tính phi chuẩn hay không. Đầu ra và giả định lấy mẫu lại của chúng khác nhau; phương pháp này không thay thế phương pháp kia. Xem thêm hướng dẫn về PBO và CSCV và kiểm định nhiều lần trong tài chính. Bailey và các đồng tác giả chính thức hóa phép chẩn đoán lựa chọn này trong bài báo PBO gốc.

White’s Reality Check dùng bootstrap để kiểm tra liệu quy tắc tốt nhất trong một tập ứng viên có vượt mức tham chiếu cụ thể sau khi xét đến data snooping hay không. Câu hỏi ở đây tập trung vào mức tham chiếu, còn DSR dùng ngưỡng dựa trên Sharpe. Đánh giá walk-forward theo thời gian hoặc tập holdout cuối cùng hỏi một quy trình đã cố định hoạt động ra sao trong các giai đoạn sau. Các cách tiếp cận này bổ trợ cho nhau vì đánh giá những phần khác nhau của lập luận nghiên cứu. White mô tả phương pháp này trong bài báo Reality Check gốc.

Một báo cáo có thể tái lập nêu rõ tập ứng viên, mọi quyết định được ghi lại có ảnh hưởng đến lựa chọn, số lần thử thô, phương pháp tính số lần hiệu dụng nếu có, chuỗi lợi suất, độ dài và tần suất mẫu, định nghĩa Sharpe, độ lệch, quy ước độ nhọn và ngưỡng điều chỉnh theo lựa chọn. Cho biết lợi suất là gộp hay ròng sau chênh lệch mua-bán, hoa hồng, tác động thị trường, funding, chi phí vay và các chi phí khác. Trình bày Sharpe quan sát và DSR cùng nhau để người đọc thấy điều gì đã thay đổi.

Công thức thông thường giả định một mô hình lấy mẫu có thể không phù hợp với các quan sát có tương quan chuỗi. Nghiên cứu của Lo về thống kê tỷ lệ Sharpe giải thích vì sao gộp theo thời gian và phụ thuộc ảnh hưởng đến suy luận về Sharpe. Nếu lợi suất chồng lấn hoặc có tương quan chuỗi, hãy dùng thủ tục suy luận xử lý cấu trúc đó và nêu các giả định. Nhân Sharpe tháng với $\sqrt{12}$ không khắc phục tự tương quan. Để đánh giá có xét thời gian, hãy xem thêm hướng dẫn về cửa sổ walk-forward mở rộng và cuốn chiếu.

DSR không thể phát hiện quá trình tìm kiếm không được ghi lại, xóa rò rỉ nhìn trước, khiến dữ liệu thiên lệch sống sót trở nên đại diện, xác thực khớp lệnh, ước tính năng lực giao dịch hoặc bảo đảm ổn định qua một chế độ mới. Nó cũng không thay thế lập luận kinh tế hay bằng chứng theo trình tự thời gian về sau. Hãy xem DSR là một chẩn đoán được ghi rõ trong quy trình nghiên cứu, đồng thời lưu hồ sơ ứng viên và quy trình dữ liệu có thể tái lập.