Nhà đầu tư gian khổ thử nghiệm với nhiều phần mềm hỗ trợ của bên thứ ba, tìm thấy rất nhiều thuật toán giao dịch tiềm năng nhưng cuối cùng đều thua lỗ trong môi trường giao dịch thật. Năm triết lý sau đây ứng dụng trong giai đoạn kiểm thử có thể giúp các nhà đầu tư sáng tỏ nguyên nhân cốt lõi.

Kết quả kiểm thử dữ liệu quá khứ luôn luôn có thể tối ưu hóa để trở nên hoàn hảo

Kiến thức phổ thông là bất kỳ thuật toán nào cũng có thể trở thành chén thánh với sự kết hợp vừa đúng của các tổ hợp tham số trong kiểm thử dữ liệu quá khứ.

Để làm rõ vấn đề, sử dụng một thuật toán ngẫu nhiên không có alpha vượt trội. Bằng cách chạy đủ tổ hợp của các tham số, lợi nhuận của thuật toán này trước tất cả phí, thuế, và chi phí trượt giá là một phân phối chuẩn. Sau đó, nhà giao dịch thuật toán có thể chọn sự kết hợp tốt nhất của các tham số và bắt đầu giao dịch trên môi trường thật. Nếu không có bất ngờ, hầu hết nhà giao dịch thuật toán tiếp cận theo cách này sẽ thất bại do vận dụng sai kết quả của giai đoạn kiểm thử dữ liệu quá khứ và tối ưu hóa.

Độ tin cậy khi giao dịch thật là điều duy nhất có ý nghĩa

Xét đến cùng, kiểm thử dữ liệu quá khứ là công cụ để hình thành dự đoán về hiệu suất tương lai trong môi trường giao dịch thật với độ tin cậy cao. Giả sử một thuật toán dự đoán kết quả 20% lợi nhuận hàng năm. Mức độ tin cậy của tuyên bố hiệu suất thuật toán này trong tương lai xấp xỉ 20% hàng năm là bao nhiêu? Thuật toán chỉ sẵn sàng hoạt động nếu nhà giao dịch có thể hình thành kỳ vọng này với mức độ tin cậy tối thiểu 50%.

Độ tương quan là cơ sở để đảm bảo độ tin cậy

Mức độ tương quan cao trên từng giai đoạn của quy trình kiểm thử sẽ tăng độ tin cậy của hiệu suất thuật toán trong tương lai. Ngược lại, hệ số tương quan thấp chỉ ra rằng quá trình kiểm thử có vấn đề và kết quả không đáng tin cậy. Có bốn giai đoạn đánh giá hiệu suất thuật toán:

• Kiểm thử dữ liệu quá khứ trong mẫu;

• Kiểm thử dữ liệu quá khứ ngoài mẫu;

• Kiểm thử giao dịch trên giấy;

• Kiểm thử giao dịch trên tài khoản nhỏ.

Hệ số tương quan giữa bốn giai đoạn càng cao, thuật toán càng nhất quán và đáng tin cậy trong môi trường giao dịch thật.

Kiểm thử dữ liệu quá khứ ngoài mẫu có thể không đáng tin cậy

Nhiều nhà giao dịch chuyên nghiệp hoàn toàn dựa vào kiểm thử dữ liệu quá khứ ngoài mẫu sau khi kiểm thử dữ liệu quá khứ trong mẫu để xác minh tính nhất quán hiệu suất thuật toán. Mặc dù kỹ thuật đánh giá này được chấp nhận rộng rãi trong máy học, nhưng các nhà giao dịch có thể vô tình áp dụng sai trong giao dịch thuật toán. Lý do cơ bản là dữ liệu ngoài mẫu vẫn là dữ liệu quá khứ mà các nhà giao dịch có thể đã biết.

Ví dụ, bất kể kỹ thuật kiểm thử nào, tất cả nhà giao dịch đều biết rằng 2020 – 2021 là một thị trường tăng giá mạnh mẽ sau khi Covid bùng nổ, và năm 2022 là một cuộc khủng hoảng trong môi trường lãi suất cao và lạm phát cao. Thực tế là, những nhà giao dịch theo dõi thị trường hàng ngày dễ dàng biết được thông tin lịch sử này. Do đó, kiểm thử dữ liệu quá khứ ngoài mẫu có thể không đáng tin cậy do tập dữ liệu ngoài mẫu không hoàn toàn bí mật.

Kết hợp kiểm thử dữ liệu tương lai để đảm bảo tính khách quan

Kiểm thử dữ liệu tương lai hoàn toàn dựa vào tập dữ liệu chưa từng thấy để đảm bảo tính khách quan khi đánh giá hiệu quả của thuật toán. Lưu ý rằng giai đoạn kiểm thử giao dịch trên giấy nhằm đánh giá khách quan hiệu quả của thuật toán,trong khi giai đoạn kiểm thử giao dịch trên tài khoản nhỏ cố gắng xác nhận đồng thời cả vấn đề kỹ thuật và hiệu quả.