Переоптимизация стратегии: как распознать удачный бэктест без устойчивой идеи

После сотни изменений нашлась стратегия с ровной кривой капитала. Возникает желание считать её лучшей версией идеи. Но если все изменения оценивались на одном и том же отрезке, результат может объясняться удачным совпадением правил с особенностями именно этой истории.

Почему количество попыток имеет значение

Переоптимизация возникает, когда модель слишком хорошо подстраивается под исследованные данные и плохо переносится на новые. В работе Bailey и соавторов The Probability of Backtest Overfitting рассматривается проблема отбора стратегий по результатам множества исторических тестов. Поэтому оценивать только победителя, забывая остальные попытки, недостаточно.

В работе с ИИ число вариантов растёт незаметно. «Добавь фильтр», «убери плохие сделки», «попробуй другой выход» — это тоже эксперименты, даже если они не оформлены как автоматический перебор параметров. Помощник ускоряет поиск, но не отменяет необходимость учитывать все шаги.

Пять признаков, требующих проверки

• Небольшое изменение периода резко ухудшает результат.
• Большая часть прибыли приходится на одну сделку или короткий участок.
• Правила содержат исключения, объяснимые только конкретными датами прошлого.
• Издержки слегка увеличены — и преимущество исчезает.
• После каждого просмотра контрольного периода стратегия снова меняется под него.

Ни один признак отдельно не доказывает, что стратегия бесполезна. Например, некоторые модели действительно рассчитаны на редкие события. Но тогда это должно следовать из исходной гипотезы, а не появляться как объяснение после получения отчёта.

Простой протокол исследования

До первого запуска запишите гипотезу, небольшой набор проверяемых параметров и критерии оценки. Сохраняйте каждую версию, включая неудачные. Рядом с результатом указывайте, почему было сделано изменение. Фраза «хотелось более красивой кривой» — полезный сигнал остановить подбор и пересмотреть методику.

Оставьте отдельный хронологический участок для проверки. Если после просмотра его результатов вы изменили стратегию, этот участок уже участвовал в разработке и не является независимой финальной проверкой. Одного разделения данных недостаточно, если контрольную часть постоянно используют как подсказку.

Что делать в терминале

В InvestConnector сравнивайте сохранённые условия и результаты бэктеста на одинаковой истории. Для версии с другим параметром фиксируйте изменения явно. Если нужен отдельный диапазон или процедура проверки, которых нет в текущем интерфейсе, проводите исследование в подходящем внешнем инструменте — не заменяйте отсутствующую проверку повтором того же теста.

Следующий шаг — последовательная walk-forward-проверка. Для чтения результатов пригодится разбор метрик. Задача исследования — узнать, где идея перестаёт работать, а не скрыть такие участки.