Startseite / Ratgeber / Out-of-Sample-Test
Out-of-Sample-Test für Trading-Strategien
Der Out-of-Sample-Test ist der einfachste Schutz vor einer Strategie, die nur im Rückblick funktioniert. Diese Anleitung erklärt Overfitting, wie eine saubere Aufteilung funktioniert, was eine Walk-Forward-Analyse zusätzlich bringt und wie du das Ergebnis liest.

Das Problem: Overfitting
Stell dir vor, du wirfst hundertmal eine Münze und suchst danach eine Regel, die die Würfe vorhergesagt hätte. Bei genug Regeln zur Auswahl findest du eine, die brillant aussieht. Bei den nächsten hundert Würfen ist sie wertlos, denn es gab nichts zu finden. Sie hat sich nur die Vergangenheit gemerkt.
Trading-Strategien haben dasselbe Problem. Kurse enthalten Muster, die sich wiederholen, und viel Rauschen, das sich nicht wiederholt. Eine Suche über viele Einstellungen passt sich bereitwillig an das Rauschen an. Das Ergebnis nennt man eine überangepasste Strategie: ein perfekter Backtest und eine schwache Live-Bilanz. Je mehr Einstellungen eine Suche ausprobiert und je mehr Stellschrauben eine Strategie hat, desto leichter entsteht Overfitting.
Overfitting erkennst du nicht am Backtest, der es erzeugt hat. Die Kurve sieht gleich aus, egal ob die Strategie ein echtes Muster gefunden hat oder nur Rauschen. Du brauchst Daten, die die Suche nicht benutzt hat.
In-Sample und Out-of-Sample
In-Sample-Daten sind der Teil, mit dem die Strategie entwickelt oder abgestimmt wird. Out-of-Sample-Daten sind der Teil, der beiseitegelegt und nur einmal benutzt wird, für die letzte Prüfung. Die Regeln stehen vor dieser Prüfung fest, und danach wird nichts geändert.
Die Idee ist einfach: Der Out-of-Sample-Teil spielt die Rolle der Zukunft. Die Suche konnte ihn nicht sehen, also ist ein Muster, das auch dort funktioniert, weniger wahrscheinlich reiner Zufall. Es ist kein Beweis. Es ist aber ein weit besseres Zeichen als jedes In-Sample-Ergebnis.

Wie M Alpha Core die Daten aufteilt: 65/35
Jeder Scan in M Alpha Core nutzt etwa ein Jahr Daten auf der gewählten Zeiteinheit. Die ersten 65 % sind In-Sample. Dort testet der Scan Tausende Einstellungen der eingebauten Strategie und wählt die beste. Die letzten 35 % sind Out-of-Sample. Die gewählten Einstellungen laufen einmal darüber, unverändert. Der Bericht zeigt beide Ergebnisse nebeneinander, damit du sie auf einen Blick vergleichen kannst.
Warum diese Anteile? Die Suche braucht genug Daten, um Einstellungen zu finden, die verschiedene Marktphasen abdecken. Die Prüfung braucht genug Trades, um etwas auszusagen. Mit 65/35 auf einem Jahr deckt die Prüfung immer noch etwa vier Monate ab. In unserem Gold-Beispiel enthielt das Jahr 153 Trades, also hatte auch der ungesehene Teil noch eine aussagekräftige Anzahl davon.
Warum die zeitliche Reihenfolge zählt
Die Aufteilung muss der Zeit folgen. Der Out-of-Sample-Teil kommt nach dem In-Sample-Teil, so wie morgen nach heute kommt. Wählst du zufällige Tage oder Monate für die Prüfung, landen Informationen aus späteren Zeiträumen in der Suche. Marktphasen dauern Wochen oder Monate, also ähneln sich benachbarte Tage. Eine zufällige Aufteilung testet die Strategie dann an Tagen, die fast genauso aussehen wie die Tage, auf die sie abgestimmt wurde, und das Ergebnis sieht besser aus, als es ist. Das ist eine Form von Datenleck.
Walk-Forward-Analyse
Die Walk-Forward-Analyse wiederholt die Idee von In-Sample und Out-of-Sample mehrmals. Du suchst auf einem Zeitfenster, testest auf dem Zeitraum direkt danach, schiebst dann beide Fenster nach vorne und machst es noch einmal. Am Ende fügst du alle Out-of-Sample-Zeiträume zu einem Ergebnis zusammen.
Der Vorteil: Du bekommst mehr Out-of-Sample-Daten und siehst, ob die Strategie weiter funktioniert, während sich der Markt ändert. Der Preis: Es kostet viel mehr Rechenzeit, und die Einstellungen ändern sich von Fenster zu Fenster, was die Live-Strategie schwerer nachvollziehbar macht.
Die Aufteilung 65/35 in M Alpha Core ist ein Walk-Forward-Schritt: ein Suchfenster, danach ein Testfenster. Machst du später einen neuen Scan auf neueren Daten, gehst du praktisch den nächsten Schritt. Vergleichst du die Berichte dieser Scans über die Zeit, siehst du, ob sich ein Markt weiter so verhält, wie die Strategie es braucht.
So liest du ein Out-of-Sample-Ergebnis
| Gold, 1 Stunde: Profitfaktor In-Sample / Out-of-Sample | 2.53 / 2.81 |
| Nvidia: Profitfaktor In-Sample / Out-of-Sample | 2.19 / 4.90 |
| Nasdaq 100: Profitfaktor Out-of-Sample | 2.17 |
| Gold: Trades im Testzeitraum | 153 |
| Nvidia: Trades im Testzeitraum | 89 |
Werte aus unseren eigenen Scans mit der Aufteilung 65/35.
- Ähnlich oder etwas besser Out-of-Sample, wie bei Gold: Die Einstellungen hingen nicht an den genauen Monaten der Suche. Das ist bestanden.
- Deutlich besser Out-of-Sample, wie bei Nvidia: ebenfalls bestanden, aber sei vorsichtig. Der Out-of-Sample-Teil ist kürzer und enthält weniger Trades, also wiegen ein paar glückliche Trades mehr. Erwarte nicht, dass der höhere Wert anhält.
- Klar schlechter Out-of-Sample: Die Suche hat wahrscheinlich Rauschen angepasst. Ein Rückgang von etwa 2,5 auf etwa 1 ist klar durchgefallen, egal wie gut die In-Sample-Kurve aussah.
- Unter 1 Out-of-Sample: Die Einstellungen haben auf Daten, die sie nicht gesehen hatten, Geld verloren. Handle sie nicht.
Schau dir auch die Anzahl der Trades in jedem Teil an. Ein Profitfaktor aus einem Dutzend Trades kann durch Zufall stark schwanken.
Fallen, die den Test ruinieren
- Spicken. Du schaust dir das Out-of-Sample-Ergebnis an, änderst eine Einstellung und schaust wieder. Nach ein paar Runden ist der Out-of-Sample-Teil In-Sample.
- Fischen über viele Märkte. Du scannst zwanzig Märkte und behältst nur den mit dem besten Out-of-Sample-Ergebnis. Ein Teil davon ist Glück. Leg dich zuerst auf deinen Markt fest.
- Zu kurze Prüfung. Ein paar Wochen Out-of-Sample-Daten enthalten oft zu wenige Trades.
- Blick in die Zukunft in den Regeln. Nutzt eine Regel Daten aus der Zukunft, kann selbst eine perfekte Aufteilung den Test nicht retten.
- Keine Kosten. Gebühren, Slippage und Funding gehören in beide Teile.
Out-of-Sample und Hebel
Ein Bestehen auf ungesehenen Daten sagt, dass die Regeln etwas Echtes gefunden haben. Es sagt nicht, wie viel Hebel sie tragen können. Dafür schaust du auf die schlimmste Bewegung gegen einen einzelnen Trade. In einem ETH-Beispiel lag die schlimmste Bewegung bei 15,64 %, also hätte alles über 6,39x diesen Trade liquidiert. Bei Gold lag die Grenze bei 18,2x und bei Nvidia bei 9,03x. M Alpha Core zeigt diese Grenze in jedem Bericht, und mit dem Hebel- und Liquidationsrechner kannst du den Zusammenhang selbst prüfen.

Nach dem Test: Probelauf und live
Ein bestandener Out-of-Sample-Test ist der Anfang, nicht das Ende. Die nächste Prüfung ist ein Probelauf auf Live-Kursen: Der Bot notiert, was er tun würde, ohne Orders zu schicken. Dann folgt ein kleiner Live-Einsatz. M Alpha Core hält genau diese Reihenfolge ein und vergleicht jeden Sonntag, was der Bot für sich allein verdient hätte, mit dem, was auf deinem Konto wirklich passiert ist. Den ganzen Ablauf findest du in der Anleitung dazu, wie du einen Krypto-Trading-Bot testest.
Häufige Fragen
Was ist ein Out-of-Sample-Test?
Eine Strategie auf Daten testen, die nicht zu ihrer Entwicklung oder Abstimmung benutzt wurden. Die Regeln stehen vor dem Test fest und werden danach nicht geändert.
Was sind In-Sample-Daten?
Der Teil der Daten, mit dem eine Strategie entwickelt oder abgestimmt wird. M Alpha Core nutzt die ersten 65 % des Jahres.
Was ist Overfitting im Trading?
Eine Strategie, die auf das Rauschen vergangener Kurse passt statt auf ein Muster, das sich wiederholt. Im Backtest sieht sie großartig aus, danach versagt sie.
Was ist eine Walk-Forward-Analyse?
Suche und Test werden auf wandernden Zeitfenstern wiederholt, und alle Testzeiträume werden zu einem Ergebnis zusammengefügt.
Ist die Aufteilung 65/35 ein Walk-Forward-Test?
Es ist ein Walk-Forward-Schritt: ein Suchfenster und direkt danach ein Testfenster.
Warum die Daten nicht zufällig aufteilen?
Benachbarte Tage ähneln sich, also lässt eine zufällige Aufteilung Informationen aus dem Testzeitraum in die Suche durchsickern.
Was, wenn das Out-of-Sample-Ergebnis besser ist?
Dann ist es bestanden, aber der kürzere Zeitraum enthält weniger Trades. Erwarte nicht, dass der höhere Wert anhält.
Kann ich mir das Out-of-Sample-Ergebnis ansehen und nachjustieren?
Nicht, ohne es zu verderben. Sobald du darauf abstimmst, wird es zu In-Sample-Daten.
Garantiert ein bestandener Out-of-Sample-Test Gewinn?
Nein. Es ist ein starkes Zeichen, aber Märkte ändern sich, und kein Backtest ist ein Versprechen.
Wie viele Out-of-Sample-Daten sind genug?
Genug, um eine aussagekräftige Anzahl von Trades zu enthalten. Mit einem Jahr und einem Anteil von 35 % deckt die Prüfung etwa vier Monate ab.
M Alpha Core im Vergleich
Nebeneinander mit anderen Bot-Werkzeugen, mit Quellen für jede Aussage über sie.
Börsen in M Alpha Core: Binance · Bybit · Bitget · OKX · MEXC · Gate · BingX · KuCoin · Crypto.com · Hyperliquid
Verwandte Seiten
- Backtest auf ungesehenen Daten
- So machst du einen Backtest einer Trading-Strategie
- Anleitung zum Krypto-Trading-Bot
- Glossar
Alle Zahlen stammen aus Backtests auf vergangenen Marktdaten. Kein Ergebnis ist ein Versprechen auf künftigen Gewinn. Trading, besonders mit Hebel, ist mit hohem Risiko verbunden. M Alpha Core ist ein Software-Werkzeug, keine Anlageberatung.