Главная / Руководства / Тестирование вне выборки
Тестирование вне выборки (out of sample) для торговых стратегий
Тестирование вне выборки это самая простая защита от стратегии, которая работает только задним числом. Это руководство объясняет переобучение, как устроено чистое разделение, что добавляет walk forward анализ и как читать результат.

Проблема: переобучение
Представьте, что вы сто раз подбрасываете монету, а потом ищете правило, которое предсказало бы результаты. Если правил для выбора достаточно, вы найдёте одно, которое выглядит блестяще. На следующих ста бросках оно ничего не будет стоить, потому что искать было нечего. Оно просто запомнило прошлое.
У торговых стратегий та же проблема. В ценах есть закономерности, которые повторяются, и много шума, который не повторяется. Поиск по множеству настроек охотно подгонит результат под шум. Результат называют переобученной стратегией: идеальный бэктест и слабые реальные результаты. Чем больше настроек пробует поиск и чем больше ручек у стратегии, тем легче случается переобучение.
Переобучение нельзя увидеть, глядя на бэктест, который его породил. Кривая выглядит одинаково, нашла ли стратегия реальную закономерность или только шум. Нужны данные, которые поиск не использовал.
Внутри и вне выборки
Данные внутри выборки это часть, которая используется для разработки или подгонки стратегии. Данные вне выборки это часть, которую откладывают и используют только один раз, для итоговой проверки. Правила фиксируются до этой проверки, и после неё ничего не меняется.
Идея простая: часть вне выборки играет роль будущего. Поиск не мог её видеть, поэтому любая закономерность, которая работает и там, с меньшей вероятностью окажется чистой случайностью. Это не доказательство. Но это гораздо лучший знак, чем любой результат внутри выборки.

Как M Alpha Core делит данные: 65/35
Каждый скан в M Alpha Core использует около года данных на выбранном таймфрейме. Первые 65 % это данные внутри выборки. Там скан проверяет тысячи настроек встроенной стратегии и выбирает лучшую. Последние 35 % это данные вне выборки. Выбранные настройки один раз прогоняются на них без изменений. Отчёт показывает оба результата рядом, чтобы их можно было сравнить с первого взгляда.
Почему такие доли? Поиску нужно достаточно данных, чтобы найти настройки, охватывающие разные фазы рынка. Проверке нужно достаточно сделок, чтобы о чём-то говорить. При 65/35 на одном году проверка всё равно охватывает около четырёх месяцев. В нашем примере с золотом за год было 153 сделки, так что на скрытой части их всё ещё было значимое число.
Почему важен порядок времени
Разделение должно следовать времени. Часть вне выборки идёт после части внутри выборки, так же как завтра идёт после сегодня. Если для проверки выбирать случайные дни или месяцы, информация из более поздних периодов попадает в поиск. Фазы рынка длятся недели или месяцы, поэтому соседние дни похожи. Тогда случайное разделение проверяет стратегию на днях, почти не отличающихся от тех, на которых её подгоняли, и результат выглядит лучше, чем он есть. Это одна из форм утечки данных.
Walk forward анализ
Walk forward анализ несколько раз повторяет идею внутри и вне выборки. Вы ищете на одном окне, тестируете на периоде сразу после него, затем сдвигаете оба окна вперёд и повторяете. В конце вы объединяете все периоды вне выборки в один результат.
Преимущество: больше данных вне выборки и видно, продолжает ли стратегия работать, когда рынок меняется. Цена: это требует намного больше вычислительного времени, а настройки меняются от окна к окну, из-за чего за реальной стратегией сложнее следить.
Разделение 65/35 в M Alpha Core это один шаг walk forward: одно окно поиска и одно тестовое окно после него. Когда вы позже запускаете новый скан на более новых данных, вы по сути делаете следующий шаг. Сравнение отчётов этих сканов во времени показывает, продолжает ли рынок вести себя так, как нужно стратегии.
Как читать результат вне выборки
| Золото, 1 час: профит-фактор внутри / вне выборки | 2,53 / 2,81 |
| Nvidia: профит-фактор внутри / вне выборки | 2,19 / 4,90 |
| Nasdaq 100: профит-фактор вне выборки | 2,17 |
| Золото: сделок за тестовый период | 153 |
| Nvidia: сделок за тестовый период | 89 |
Значения из наших собственных сканов с разделением 65/35.
- Похоже или немного лучше вне выборки, как у золота: настройки не были привязаны к конкретным месяцам поиска. Тест пройден.
- Намного лучше вне выборки, как у Nvidia: тоже пройден, но будьте осторожны. Часть вне выборки короче и содержит меньше сделок, поэтому несколько удачных сделок весят больше. Не ждите, что более высокое значение сохранится.
- Заметно хуже вне выборки: поиск, вероятно, подогнал шум. Падение примерно с 2,5 примерно до 1 это явный провал, как бы хорошо ни выглядела кривая внутри выборки.
- Ниже 1 вне выборки: настройки теряли деньги на данных, которых не видели. Не торгуйте ими.
Смотрите также на число сделок в каждой части. Профит-фактор по дюжине сделок может сильно колебаться случайно.
Ловушки, которые портят тест
- Подглядывание. Вы смотрите на результат вне выборки, меняете одну настройку и смотрите снова. Через несколько раундов часть вне выборки становится частью внутри выборки.
- Выуживание по рынкам. Вы сканируете двадцать рынков и оставляете только тот, у которого лучший результат вне выборки. Отчасти это удача. Сначала определитесь с рынком.
- Слишком короткая проверка. В нескольких неделях данных вне выборки часто слишком мало сделок.
- Заглядывание в будущее в правилах. Если правило использует данные из будущего, даже идеальное разделение не спасёт тест.
- Нет издержек. Комиссии, проскальзывание и фандинг должны быть в обеих частях.
Вне выборки и плечо
Успешный тест на скрытых данных говорит, что правила нашли что-то настоящее. Он не говорит, какое плечо они выдержат. Для этого смотрите на худшее движение против отдельной сделки. В примере ETH худшее движение составило 15,64 %, поэтому всё выше 6,39x ликвидировало бы эту сделку. Для золота предел составил 18,2x, а для Nvidia 9,03x. M Alpha Core показывает этот предел в каждом отчёте, а калькулятор плеча и ликвидации позволяет проверить это соотношение самостоятельно.

После теста: пробный запуск и реальная торговля
Пройденный тест вне выборки это начало, а не конец. Следующая проверка это пробный запуск на живых ценах: бот записывает, что сделал бы, не отправляя ордеров. Потом небольшая реальная ставка. M Alpha Core следует ровно этому порядку и каждое воскресенье сравнивает, что бот заработал бы сам по себе, с тем, что на самом деле произошло на вашем счёте. Полную последовательность описывает руководство о том, как проверить криптовалютного торгового бота.
Частые вопросы
Что такое тестирование вне выборки?
Проверка стратегии на данных, которые не использовались для её разработки или подгонки. Правила фиксируются до теста и не меняются после него.
Что такое данные внутри выборки?
Часть данных, которая используется для разработки или подгонки стратегии. M Alpha Core использует первые 65 % года.
Что такое переобучение в трейдинге?
Стратегия, подогнанная под шум прошлых цен, а не под повторяющуюся закономерность. В бэктесте она выглядит отлично, а потом проваливается.
Что такое walk forward анализ?
Повторение поиска и теста на сдвигающихся окнах времени и объединение всех тестовых периодов в один результат.
Является ли разделение 65/35 walk forward тестированием?
Это один шаг walk forward: одно окно поиска и одно тестовое окно сразу после него.
Почему не разделить данные случайно?
Соседние дни похожи, поэтому случайное разделение позволяет информации из тестового периода просочиться в поиск.
Что, если результат вне выборки лучше?
Тест пройден, но более короткий период содержит меньше сделок. Не ждите, что более высокое значение сохранится.
Можно ли посмотреть на результат вне выборки и подправить настройки?
Только испортив его. Как только вы подгоняете по нему, он становится данными внутри выборки.
Гарантирует ли успешный тест вне выборки прибыль?
Нет. Это сильный знак, но рынки меняются, и ни один бэктест не является обещанием.
Сколько данных вне выборки достаточно?
Достаточно, чтобы в них было значимое число сделок. При одном годе и доле 35 % проверка охватывает около четырёх месяцев.
Сравните M Alpha Core
Рядом с другими инструментами для ботов, с источниками для каждого утверждения о них.
Биржи в M Alpha Core: Binance · Bybit · Bitget · OKX · MEXC · Gate · BingX · KuCoin · Crypto.com · Hyperliquid
Связанные страницы
- Бэктест на скрытых данных
- Как провести бэктест торговой стратегии
- Руководство по криптовалютному торговому боту
- Глоссарий
Все цифры получены в бэктестах на прошлых рыночных данных. Ни один результат не является обещанием будущей прибыли. Торговля, особенно с плечом, связана с высоким риском. M Alpha Core является программным инструментом, а не инвестиционной рекомендацией.