AI Traders
Начать
← Назад в базу знаний

Бэктестинг честно: почему прошлое не предсказывает будущее

Главное правило: если вы видите результаты бэктеста с Sharpe 5.0 и 80% win-rate, это почти всегда переобучение (overfitting). Стратегия идеально подогнана под исторические данные, но при реальной торговле рынок вас разорит.

Эта статья объясняет, как выбрать правильные параметры для бэктеста и как распознать (и избежать) переобучения.

Что такое бэктест

Бэктест (backtesting) — это имитация работы стратегии на исторических данных. Вы задаёте правила: "Если RSI < 30, открыть лонг; если RSI > 70, закрыть," — и программа прокручивает эту логику через последние 5 лет истории BTC, показывая, сколько денег бы вы заработали.

Пример бэктеста:

Период: 2021–2026 (5 лет исторических данных BTC)
Правило: Купить на RSI &lt; 30, продать на RSI > 70
Результаты: 145 сделок, 102 выигрыша (70%), профит 34 000 USDC на 10 000 маржина (340%)

Звучит отлично? На самом деле, это красный флаг.

Переобучение: главная проблема

Переобучение — это когда вы настраиваете параметры стратегии так, чтобы максимально подходить под историю, но эти параметры теряют смысл на новых данных.

Пример переобучения

Допустим, вы тестируете DCA-бота. Параметры: размер СО (страховочного ордера), шаг между ними, множитель размера.

Версия 1 (стандартная): Шаг 1%, множитель 1.3, 5 СО.

Бэктест 2021–2025: профит 15 000 USDC (150% годовых)

Версия 2 (подогнанная под историю): Шаг 0.8%, множитель 1.5, 8 СО.

Бэктест 2021–2025: профит 45 000 USDC (450% годовых)

Версия 2 выглядит в 3 раза лучше! Но что произойдёт в апреле 2026?

Апрель 2026 (новые данные): BTC вырос на 30%, потом упал на 5%.

  • Версия 1: профит 2000 USDC (прошла как обычно).
  • Версия 2: убыток 8000 USDC (слишком много СО открыто на новый тренд, маржин истощен).

Почему? Версия 2 была идеально настроена под волатильность 2021–2025 (когда было много боковых рынков и отскоков). В 2026 рынок ведёт себя по-другому, и стратегия сломалась.

Как переобучение происходит на практике

  1. Вы видите результаты бэктеста: профит 300%, Sharpe 2.5.
  2. Вы начинаете крутить параметры: менять шаг СО, размер, плечо, тейк-профит.
  3. Каждое изменение улучшает результат: профит 400%, потом 500%.
  4. Вы выбираете лучший результат и запускаете в живой режим.
  5. На живых деньгах стратегия убыточна, потому что параметры были идеальны только для 2021–2025, а новый рынок требует других настроек.

Walk-forward анализ: решение

Walk-forward testing (прогон вперёд) — это метод, который минимизирует переобучение.

Идея: разделить историю на два периода:

  1. In-sample (period обучения): оптимизируете параметры здесь.
  2. Out-of-sample (period теста): проверяете параметры на новых данных, которые стратегия «не видела» при оптимизации.

Пример walk-forward теста

Шаг 1: Разделите историю

  • 2021–2023 (in-sample): оптимизируете параметры DCA.
  • 2024–2025 (out-of-sample): проверяете эти параметры на новых данных.

Шаг 2: Оптимизируйте на 2021–2023

Параметры, которые показали лучший результат: шаг 1%, множитель 1.4, 5 СО.

Шаг 3: Проверьте на 2024–2025 (без оптимизации)

Результат: профит 8000 USDC (не 45 000, но реальный).
Sharpe: 1.2 (не 2.5, но честный).

Если out-of-sample результаты всё ещё хороши (профит > 5%, Sharpe > 1.0), это означает, что стратегия не переобучена и может работать на новых данных.

Rolling walk-forward

Более строгий вариант:

2021–2022 (optimize) → 2023 (test)
2022–2023 (optimize) → 2024 (test)
2023–2024 (optimize) → 2025 (test)
2024–2025 (optimize) → 2026 (test)

Для каждого периода вы переоптимизируете параметры (чтобы адаптироваться к меняющемуся рынку), но проверяете на свежих данных. Это ближе к реальной торговле, где рынок меняется каждый сезон.

Red flags: как распознать переобученную стратегию

Red FlagЧто это значит
Sharpe > 3.0 за полный периодСлишком хорошо, чтобы быть правдой. Вероятное переобучение.
Win-rate > 75%Стратегия ловит почти все сделки. Это редко, скорее всего натянуто.
Параметры меняются частоЕсли вы крутили параметры 50+ раз, пока не нашли лучший результат — переобучение гарантировано.
Out-of-sample результаты намного хужеЕсли in-sample профит 300%, а out-of-sample 10% — стратегия сломалась на новых данных.
Максимальная просадка < 5% за 5 летОчень редко. Скорее всего, выбран избыточно консервативный режим (много стопов, которые съедают профит).
Нет явного stop-loss в логикеСтратегия кажется идеальной только потому, что никогда не выходит из убыточной позиции (зависит от отскока).

Честный бэктест: что проверить

Если вы смотрите результаты стратегии (свой бэктест или бэктест волта на AI Traders):

  1. Посмотрите period: если это 2021–2023, это не гарантирует результаты на 2024–2026 (рынок меняется).
  2. Посмотрите out-of-sample результаты: если есть walk-forward анализ и out-of-sample профит > in-sample профит, это хороший знак (стратегия генерализует).
  3. Посмотрите максимальную просадку: если Sharpe 2.0, но просадка 60%, это означает нестабильность (несколько сделок уничтожили месячный профит).
  4. Посмотрите распределение сделок: если 95% профита пришло из одной сделки (обычно спекулятивной), стратегия хрупка.
  5. Проверьте параметры: простые стратегии (2–3 параметра) обычно честнее, чем сложные (30+ параметров). Много параметров = больше мест для переобучения.

Почему бэктест ≠ будущее

Даже идеальный бэктест (с walk-forward, без переобучения) не гарантирует будущих результатов. Причины:

  1. Режим финансирования изменился. Бэктест показывает ставку финансирования 2021–2025, но в 2026 она может быть в 3 раза выше (на альткойнах).
  2. Волатильность изменилась. Стратегия оптимизирована на волатильность 2% день, а 2026 средняя волатильность 5% день.
  3. Ликвидность изменилась. На спеку мини-альткойна было достаточно ликвидности, теперь нет. Проскальзывание возросло.
  4. Режимные сдвиги. 2021–2023 был медвежий, потом бычий. Если режимы повторятся — стратегия может не работать в новом цикле.
  5. Правила биржи изменились. Комиссии выросли, ставка финансирования вычисляется по-другому, добавились новые пары.

Что это значит для вас

Бумажный режим (7 дней): это не полный бэктест, но это окно, где вы видите реальное поведение стратегии на свежих данных. Если в бумажном режиме стратегия работает как в бэктесте — это хороший знак.

Живой режим на малом капитале: первые 2–4 недели запустите с $100–500 маржина. Это поможет проверить стратегию на живых условиях (комиссии, проскальзывание, задержки) перед масштабированием.

Не верьте 300%+ профитам: если волт показывает 300% в год, спросите себя: "А где walk-forward результаты? А в каких условиях это работало? А может это переобучение?"

Волты и боты честных платформ всегда показывают:

  • Period бэктеста
  • Walk-forward анализ (если есть)
  • Out-of-sample результаты
  • Максимальную просадку и drawdown
  • Количество сделок (5 сделок — недостаточно; 100+ сделок — хороший sample size)

Связанное

Не нашли ответ?

Связаться с командой