ADVANCED · РУССКИЙ ЯЗЫК · БЕСПЛАТНО
8. Бэктест и торговая статистика
От гипотезы к протоколу
До тестирования письменно определите рынок, период, источник, правила сигнала, доступный момент знания, вход, стоп, выход, расходы и обработку отсутствующих данных. Сохраните эту версию отдельно. Любое изменение после просмотра исходов создаёт новую гипотезу.
Бэктест применяет правила к историческим данным. Форвард-тест наблюдает новые ситуации после фиксации правил. Реальная торговля дополнительно включает инфраструктуру, фактическое исполнение, ограничения счёта и поведение человека. Эти три вида результатов нужно подписывать отдельно.
Разделите данные на разработку и отложенную проверку по времени. Не используйте отложенный участок многократно для подбора настроек, продолжая называть его независимым. При перекрывающихся сделках учитывайте зависимость наблюдений и возможное пересечение информации.
Типовые искажения
Look-ahead bias появляется, когда решение использует будущий минимум, подтверждённый позднее swing, окончательный объём незакрытой свечи или пересчитанный индикатор. Survivorship bias - когда в историю включены только активы, дожившие до сегодняшнего списка. На крипторынке исключённые монеты могут существенно изменить результат.
Переобучение возникает, когда множество настроек подбирают под шум конкретной истории. Чем больше вариантов испытано, тем выше шанс найти случайно красивый результат. Сохраняйте все эксперименты, а не только победителя. Плавная область похожих настроек убедительнее одной острой вершины, но тоже не доказывает будущий успех.
Если в одной OHLC-свече достигнуты и стоп, и цель, порядок событий неизвестен. Используйте более детальные данные или консервативное заранее принятое правило. Нельзя автоматически выбирать прибыльную последовательность. При гэпе через стоп не записывайте идеальное исполнение на уровне, который рынок перескочил.
Расходы и доступность исполнения
Включите комиссии обеих сторон, spread/slippage, funding, роллирование срочного контракта и ограничения минимального размера. Применяйте ставки в соответствии с датой и ролью исполнения. Учебный постоянный резерв полезен для стресс-проверки, но не заменяет наблюдаемую статистику исполнения.
Лимитный вход требует модели очереди и ликвидности. Простое касание свечой может завышать число исполнений. Бумажный тест с бесконечной ликвидностью особенно искажает низколиквидные инструменты и крупные количества.
Мини-протокол. Зафиксировать правило; собрать данные; проверить пропуски и часовой пояс; провести разработку; заморозить параметры; проверить отложенный период; увеличить расходы в стресс-сценарии; наблюдать новые сигналы; сравнить расхождения. Отрицательный результат - полезное основание отказаться от модели.
Отчёт, который можно проверить
В отчёте нужны даты, число сигналов и сделок, количество неисполненных и исключённых случаев, чистый результат, drawdown, PF, средний результат в R и метод расчёта. Покажите распределение исходов, а не только итоговую сумму. Отдельно обозначьте сделки, результат которых зависит от неизвестного порядка событий.
Упражнение. Возьмите 30 последовательных ситуаций без отбора по красоте. Посчитайте результаты с исходными и удвоенными условными расходами. Если преимущество исчезает, сформулируйте ограничение. Тридцать случаев - упражнение на процесс, а не универсально достаточный размер доказательной выборки.