Out-of-Sample-Tests bedeuten, eine Strategie an Daten zu beurteilen, die bei ihrer Entwicklung keine Rolle gespielt haben. Das ist eine der einfachsten und wirksamsten Abwehrmaßnahmen gegen Überanpassung.
In-Sample und Out-of-Sample
- In-Sample-Daten sind die, die du beim Bauen und Feinjustieren der Regeln angeschaut hast.
- Out-of-Sample-Daten (Holdout) werden zurückgehalten und nur genutzt, um die fertigen Regeln zu prüfen.
Bricht die Leistung außerhalb der Stichprobe zusammen, hat das In-Sample-Ergebnis wahrscheinlich Rauschen beschrieben.
So funktioniert der Test „Ungesehener Zeitraum“
Bei Backte.st teilt der Test Ungesehener Zeitraum die Historie jedes Markts zeitlich: die ersten 70 % und die letzten 30 %. Er bewertet die letzten 30 % für sich, als hättest du sie nie gesehen, und zeigt ihre Rendite und die Zahl der seit dem Stichtag abgeschlossenen Trades.
Wichtig ist die Teilung nach Zeit statt zufällig. Märkte haben Trends und Phasen, und Kurse benachbarter Tage hängen zusammen. Eine zufällige Teilung würde Informationen aus der Zukunft in die Vergangenheit durchsickern lassen.
Der Haken: Ein Holdout ist nur einmal ungesehen
Wenn du einen Test startest, siehst, dass die letzten 30 % schlecht liefen, die Regeln anpasst und so lange neu startest, bis es gut aussieht, ist der Holdout Teil deines Entwicklungsprozesses geworden. Er ist zu In-Sample-Daten geworden. Der Bericht sagt das ausdrücklich in seinen Einschränkungen.
Praktische Wege, ihn ehrlich zu halten:
- Leg deine Regeln zuerst fest; wenn du erkunden willst, nur mit dem früheren Teil der Historie.
- Schau dir das Ergebnis des ungesehenen Zeitraums einmal an und notiere, was du gesehen hast.
- Wenn du weiter iterieren musst, nimm frische Daten: einen anderen Markt, einen späteren Zeitraum oder eine andere Kerzengröße.
Das Ergebnis lesen
- Ähnliche Ergebnisse in und außerhalb der Stichprobe: ermutigend, auch wenn eine Teilung immer noch eine kleine Stichprobe ist.
- Viel schlechter außerhalb der Stichprobe: ein klassisches Zeichen für Kurvenanpassung oder einen Phasenwechsel.
- Zu wenige Trades im ungesehenen Zeitraum: Der Test kann nicht urteilen. Nutze eine längere Historie oder kleinere Kerzen.
Über eine Teilung hinaus
Profis nutzen oft die Walk-Forward-Analyse, die die Teilung viele Male wiederholt, während das Fenster nach vorn rollt. Ein einzelner Holdout ist eine einfachere Version derselben Idee und deckt schon viel auf.
Probier es mit einer beliebigen Strategie im Labor aus und vergleiche die Zeile zum ungesehenen Zeitraum mit der Rendite über den ganzen Zeitraum.