Главная / Руководства / Бэктест на скрытых данных
Бэктест на данных, которые поиск никогда не видел
Почти любая стратегия отлично выглядит на данных, на которых её подгоняли. Настоящий вопрос в том, как она работает на данных, которых никогда не видела. Именно это M Alpha Core показывает в каждом отчёте.

Пример: золото, часовой график
| Поиск на первых | 65 % данных |
| Тест на последних | 35 %, которые поиск никогда не видел |
| Сделок за тестовый период | 153 |
| Профит-фактор на данных поиска | 2,53 |
| Профит-фактор на скрытых данных | 2,81 |
| Nvidia: профит-фактор поиск / скрытые | 2,19 / 4,90 |
| Nasdaq 100: профит-фактор на скрытых данных | 2,17 |
| Пример ETH: худшее движение против сделки | 15,64 % |
| Пример ETH: предел плеча | 6,39x |
Если профит-фактор на скрытых данных падает намного ниже части поиска, настройки, вероятно, подогнаны под шум. Если он держится, настройки нашли что-то, что работало и за пределами данных, на которых их выбрали.
Почему обычные бэктесты лгут
Бэктест прогоняет набор правил по прошлым ценам и показывает, что произошло бы. Это звучит объективно, и для одного фиксированного набора правил так и есть. Проблема начинается, когда вы ищете. Как только вы пробуете много настроек и оставляете лучшую, лучшая отчасти оказывается самой удачливой. При тысячах настроек некоторые задним числом будут выглядеть идеально просто случайно, даже на случайных ценах.
Это называется переобучением. Настройки описывают шум прошлого, а не повторяющуюся закономерность. Переобученная стратегия показывает на экране красивую кривую, а потом проваливается, как только в дело идут реальные деньги. Чем больше настроек пробует поиск, тем выше этот риск. Поэтому инструмент, который проверяет тысячи настроек, как M Alpha Core, обязан проверять свой результат на свежих данных. Иначе поиск превращается в машину для производства красивых и бесполезных кривых.
Разделение 65/35
M Alpha Core делит каждый тестовый период на две части. Первые 65 % это часть поиска. Здесь скан проверяет тысячи настроек и выбирает лучшие. Последние 35 % это скрытая часть. Поиск никогда на неё не смотрит. Когда настройки зафиксированы, они прогоняются на этой части без единого изменения, а отчёт показывает результат рядом с результатом поиска.
Разделение идёт в порядке времени. Скрытая часть всегда идёт после части поиска, так же как будущее идёт после прошлого. Если перемешать порядок, например тестировать на случайных месяцах, информация из будущего просочилась бы в поиск, и результат выглядел бы лучше, чем он есть.

Как читать два числа
Ключевой показатель это профит-фактор: сколько долларов заработано на каждый потерянный доллар. Выше 1 стратегия в этот период заработала, ниже 1 потеряла. Сравните часть поиска с скрытой частью.
- Скрытая часть держится или растёт. В примере с золотом профит-фактор вырос с 2,53 до 2,81. Настройки не зависели от тех конкретных месяцев, на которых их нашли. Именно это вы хотите увидеть.
- Скрытая часть намного выше. У Nvidia рост с 2,19 до 4,90. Тест пройден, но это не повод для радости. Скрытая часть короче и содержит меньше сделок, поэтому несколько удачных сделок весят больше.
- Скрытая часть сильно падает. Если профит-фактор 2,5 на скрытой части падает до 1,1, поиск, скорее всего, подогнал шум. Не торгуйте этими настройками, как бы хорошо ни выглядела первая часть.
- Слишком мало сделок. Профит-фактор по горстке сделок мало о чём говорит. В примере с золотом было 153 сделки за год, у Nvidia 89, у Nasdaq 100 101, в примере ETH 116.
Риск в простых цифрах
Даже хороший профит-фактор может скрывать опасную сделку. Поэтому отчёт показывает, как далеко цена когда-либо уходила против вас внутри отдельной сделки. В одной стратегии на ETH это было 15,64 %. С плечом движение такого размера против вас может уничтожить маржу позиции. Из худшего движения отчёт рассчитывает самое высокое плечо, которое сделка выдержала бы: 6,39x в этом примере ETH, 18,2x для золота и 9,03x для Nvidia.
Этот предел не рекомендация идти до конца. Следующее плохое движение может быть больше. Это жёсткая граница, которая показывает, где уже сам бэктест провалился бы. Вы можете проверить это соотношение для любого движения в калькуляторе плеча и ликвидации.

Каждая сделка, включая убыточные
Одно число может многое скрывать. Поэтому отчёт показывает на графике и каждую отдельную сделку теста, прибыльные и убыточные. Вы видите, где стратегия входила и выходила, сколько длились сделки и как выглядели плохие фазы. Если скрытая часть заработала только за одну безумную неделю, вы сразу это увидите.
От теста к боту шаг за шагом
- Установите приложение. M Alpha Core работает на Windows 10 и 11, на macOS 11 или новее (Apple Silicon и Intel) и на Android 10 или новее. Скачайте его на странице загрузки. Одна лицензия Standard покрывает один компьютер и один телефон, Pro покрывает три устройства в любом сочетании.
- Отсканируйте свой рынок. Введите символ монеты, золота или акции на экране скана. Выберите таймфрейм и период, затем запустите скан. Он выполняется на нашем сервере скана, поэтому вы можете закрыть приложение или отложить телефон, пока он работает.
- Прочитайте отчёт. Посмотрите на число сделок, профит-фактор на части поиска и на скрытой части, результат с плечом и без, худшее движение против отдельной сделки и плечо, которое это движение позволило бы. Откройте график и посмотрите каждую сделку, включая убыточные.
- Арендуйте небольшой сервер и запустите бота. Приложение проведёт вас через аренду небольшого сервера примерно за 12 $ в месяц и настроит его за вас. Сначала ваш бот работает в режиме пробного запуска (dry run): он только записывает, что сделал бы, и отправляет каждый шаг в ваш Telegram.
- Подключите биржу ключом только для торговли. Создайте API-ключ на одной из десяти поддерживаемых бирж. Создайте API-ключ, который может торговать, но не может выводить средства. Ключ хранится в защищённом хранилище вашего устройства и на вашем собственном сервере. Наш сервер скана его никогда не видит.
- Переходите в реальную торговлю, когда будете готовы. Учебный бот остаётся учебным: для реальных денег вы настраиваете бота заново без отметки пробного запуска. С этого момента он торгует на вашем собственном счёте, и вы можете одним касанием переключить его на лонг, шорт, разворот или стоп в приложении или в панели управления в браузере.
Затем бот работает ровно с теми настройками, которые прошли тест на скрытых данных. В промежутке ничего не подгоняется заново. Если позже вам нужны новые настройки, вы запускаете новый скан с новым разделением.
Вручную, свой скрипт или M Alpha Core
Тест вне выборки можно сделать вручную или своим кодом. Вопрос в том, сколько это работы и действительно ли вы делаете это каждый раз.
| Что важно | Вручную | Свой скрипт | M Alpha Core |
|---|---|---|---|
| Проверка множества настроек | Медленно, несколько настроек за вечер | Возможно, если вы пишете и поддерживаете код | Тысячи настроек за скан на нашем сервере скана |
| Тест на скрытых данных | Делается редко | Только если вы сами строите разделение | В каждом отчёте: поиск на 65 %, тест на последних 35 % |
| Риск плеча в цифрах | Догадки | Только если вы его рассчитаете | Худшее движение внутри сделки и плечо, которое его выдержало бы |
| Торговля круглосуточно | Только пока вы смотрите на экран | Нужен свой сервер и мониторинг | Ваш бот на вашем собственном сервере, сторож проверяет его каждую минуту |
| Нужно программировать | Нет | Да | Нет, вы просто проходите экраны приложения |
| Кто хранит ключ биржи | Вы | Вы | Вы, в хранилище вашего устройства и на вашем собственном сервере |
| Стоимость | Ваше время | Ваше время плюс сервер | От 49 $ в месяц плюс небольшой сервер примерно за 12 $ в месяц |
Ограничения любого бэктеста
- Одно разделение, один год. Одно разделение 65/35 это сильная проверка, но это всё равно один период. Рынки меняются, и следующий год может быть совсем другим.
- Двойное использование скрытой части. Если вы запускаете много сканов и оставляете тот, у которого лучший скрытый результат, скрытая часть постепенно становится частью поиска. Сначала выберите рынок и таймфрейм и не вылавливайте удачный результат.
- Издержки. Комиссии, проскальзывание и фандинг уменьшают любой результат. Тонкое преимущество может исчезнуть после оплаты издержек.
- Экстремальные события. Обвал сильнее всего, что было в тестовом периоде, тестом не охвачен.
Руководства по тестированию вне выборки и о том, как провести бэктест торговой стратегии, разбирают эти вопросы подробнее.
Частые вопросы
Что такое тестирование вне выборки?
Это проверка стратегии на данных, которые не использовались для её поиска. M Alpha Core использует для этого последние 35 % тестового периода.
Почему 65 % и 35 %?
Поиску нужно достаточно данных, чтобы найти настройки, а скрытой части нужно достаточно сделок, чтобы о чём-то говорить. Разделение 65/35 в порядке времени сохраняет смысл обеих частей.
Является ли хороший результат на скрытых данных гарантией?
Нет. Это гораздо более сильный знак, чем обычный бэктест, но рынки меняются, и прошлые результаты не являются обещанием.
Что такое переобучение?
Настройки, которые подогнаны под шум прошлых цен, а не под повторяющуюся закономерность. В бэктесте они выглядят отлично, а потом проваливаются.
Что, если скрытый результат намного хуже?
Тогда настройки, скорее всего, подогнаны под шум. Не торгуйте ими, как бы хорошо ни выглядела часть поиска.
Почему профит-фактор на скрытых данных может быть выше, чем на данных поиска?
Скрытая часть короче, поэтому несколько удачных сделок весят больше. Считайте более высокое значение пройденным тестом, а не прогнозом.
Сколько сделок нужно для теста?
Чем больше, тем лучше. Наши примеры охватывают от 89 сделок по Nvidia до 153 по золоту за год.
Это то же самое, что walk forward тестирование?
Это один шаг walk forward: поиск на прошлом, тест на следующем периоде. Полное walk forward тестирование повторяет это на многих окнах.
Какие рынки можно тестировать?
Криптовалюты, золото, серебро, платину, медь, нефть, природный газ, S&P 500, Nasdaq 100 и более 200 акций.
Меняет ли бот свои настройки позже?
Нет. Бот торгует ровно с теми настройками, которые прошли тест. Для новых настроек нужен новый скан.
Сравните M Alpha Core
Рядом с другими инструментами для ботов, с источниками для каждого утверждения о них.
Биржи в M Alpha Core: Binance · Bybit · Bitget · OKX · MEXC · Gate · BingX · KuCoin · Crypto.com · Hyperliquid
Связанные страницы
Все цифры получены в бэктестах на прошлых рыночных данных. Ни один результат не является обещанием будущей прибыли. Торговля, особенно с плечом, связана с высоким риском. M Alpha Core является программным инструментом, а не инвестиционной рекомендацией.