Kiểm thử giao dịch trên giấy là giai đoạn đầu tiên trong kiểm thử dữ liệu tương lai. Dữ liệu tương lai là dữ liệu chưa từng thấy, do đó, giao dịch trên giấy có thể loại trừ phần lớn trường hợp quá khớp trong giai đoạn kiểm thử dữ liệu quá khứ và tối ưu hóa. Bên cạnh đó, vì giao dịch trong giai đoạn này xảy ra ở hiện tại, ta có thể quan sát kỹ từng giao dịch một và quan trọng hơn là thấy rõ ngữ cảnh giao dịch. Từ đó, dễ dàng để suy luận và lý giải hành vi và hiệu quả của thuật toán qua đó có thêm ý tưởng cải thiện thuật toán. Trong thực tiễn giai đoạn này thường kéo dài 02 tháng. Sau đây là các điểm chính cần lưu ý khi thực thi kiểm thử giao dịch trên giấy:
-
Đảm bảo tính nhất quán. Không cập nhật, thay đổi luật hay tham số thuật toán. Tất cả thay đổi dù nhỏ xảy ra trong giai đoạn kiểm thử giao dịch trên giấy rất có thể làm mất hoàn toàn ý nghĩa của quá trình kiểm thử. Khi đó, tập dữ liệu tương lai sẽ tương đương tập dữ liệu quá khứ, còn giai đoạn giao dịch trên giấy đã trở thành giai đoạn tối ưu hóa. Trong trường hợp bắt buộc phải cập nhật luật hoặc tham số mới, nên cân nhắc bắt đầu lại giai đoạn kiểm thử này.
-
Giao dịch theo thời gian thực. Mô phỏng kiểm thử giao dịch trên giấy gần nhất với giao dịch thật. Điểm khác biệt duy nhất là kết quả khớp lệnh trả về từ công ty chứng khoán và trượt giá. Các khoản thuế phí phải được tính toán đầy đủ. Đảm bảo ghi nhận giao dịch theo thời gian thực sẽ giúp nhà giao dịch thuật toán có góc nhìn trực quan, chính xác về hồ sơ vận hành thuật toán. Nếu giao dịch diễn ra chậm trễ so với thực tế, điểm khác biệt giữa kiểm thử dữ liệu tương lai so với dữ liệu quá khứ sẽ không còn nhiều ý nghĩa.
-
Xây dựng tiêu chí kiểm thử trước khi bắt đầu. Thuật toán được kiểm thử nhằm đánh giá khả năng tạo ra lợi nhuận ổn định như dự tính trong tương lai hay không. Đồng thời đánh giá độ tương đồng của thuật toán trong giai đoạn kiểm thử dữ liệu tương lai và kiểm thử dữ liệu quá khứ. Tất cả tiêu chí này cần lượng hóa để có thể kiểm định hiệu suất của thuật toán sau khi kết thúc quá trình kiểm định.
Hình 16 là ví dụ minh hoạ cách đánh giá thuật toán trong giai đoạn giao dịch trên giấy.
Kết thúc kiểm thử giao dịch trên giấy, nhà giao dịch thuật toán có thể kiểm định độ tương đồng giữa hiệu suất giao dịch của tập dữ liệu ngoài mẫu và trong mẫu, bên cạnh việc thuật toán có sinh lợi hay không, đồng thời, có thể ước tính hiệu suất, rủi ro của thuật toán cũng như kỳ vọng hợp lý khi thuật toán vận hành trong môi trường thật, chi tiết hơn, có thể tính toán chỉ số Kelly và độ tương thích của thuật toán với hệ thống hiện tại để đưa ra quyết định cuối cùng.
Lưu ý, một thuật toán giao dịch tốt vẫn có những giai đoạn bất lợi khi không thể đem lại lợi nhuận. Miễn là thuật toán có hành vi tương tự đối với những giai đoạn quá khứ có điều kiện thị trường tương tự hiện tại, thì vẫn đáng để chú ý vì khả năng sinh lợi trong tương lai.