Überanpassung (Overfitting) bedeutet, dass deine Regeln das Rauschen in einer historischen Stichprobe beschreiben statt eines Musters, das sich wiederholt. Sie ist der häufigste Grund, warum eine Strategie, die im Backtest hervorragend aussieht, mit echtem Geld enttäuscht.
Wie es passiert
Jedes Mal, wenn du eine Variante ausprobierst (eine andere RSI-Schwelle, eine andere Länge des gleitenden Durchschnitts, noch einen Filter) und die beste behältst, suchst du. Wer genug sucht, findet allein durch Zufall etwas Gutes, so wie unter vielen Münzwerfern einer zehnmal hintereinander Kopf wirft.
Das Problem ist nicht ein einzelner Test, sondern die Zahl der Tests, die du gemacht und dann vergessen hast. Forscher wie David Bailey und Marcos López de Prado haben viel darüber geschrieben, unter anderem über Methoden wie die Deflated Sharpe Ratio, die ein Ergebnis um die Zahl der dahinterstehenden Versuche bereinigt.
Warnzeichen in einem Bericht
- Sehr wenige Trades. Bei wenig Daten können ein paar Glückstreffer fast jede Kurve erzeugen.
- Ein Ergebnis, das an wenigen großen Gewinnern hängt. Wenn das Entfernen einer Handvoll Trades den Gewinn auslöscht, ist der Vorteil vielleicht nicht echt.
- Seltsam spezifische Parameter. Ein 37-Kerzen-Durchschnitt, der funktioniert, während 30 und 45 es nicht tun, ist ein Warnsignal.
- Ein starkes In-Sample- und ein schwaches Out-of-Sample-Ergebnis.
- Viele Regeln oder Bedingungen im Verhältnis zur Zahl der Trades.
Der Test „Beste Trades entfernt“
Der Test Beste Trades entfernt von Backte.st berechnet die aufgezinste Rendite der abgeschlossenen Trades ohne die fünf profitabelsten neu. Verdient die Strategie dann immer noch Geld, verteilt sich ihr Ergebnis auf viele Trades. Kippt sie in einen Verlust, kam der meiste Gewinn von wenigen Ausreißern, und die sind am schwersten zu wiederholen.
Gewohnheiten gegen Überanpassung
- Schreib die Regel auf, bevor du sie testest. Entscheide, was du erwartest und warum, und teste dann einmal.
- Bevorzuge einfache Regeln. Weniger Bedingungen bedeuten weniger Möglichkeiten, Rauschen anzupassen.
- Halte einen Holdout zurück und nutze ihn einmal. Siehe Out-of-Sample-Tests.
- Prüfe benachbarte Parameter. Ein echter Effekt hängt selten an einer einzigen exakten Zahl. Siehe Parameter-Robustheit.
- Teste über mehrere Märkte. Eine Regel, die nur bei einem Ticker funktioniert, ist verdächtig. Backte.st lässt dich bis zu 10 Märkte mit denselben Regeln testen.
- Zähle deine Versuche. Hast du zwanzig Varianten probiert, beurteile den Sieger strenger, als wenn du nur eine probiert hättest.
So sieht es in der Praxis aus
Baue eine Strategie wie eine RSI-Umkehr im Labor, starte sie auf ein paar Aktien und dreh dann an den Schwellen, bis ein Markt großartig aussieht. Schau dir jetzt die Tests an: Oft werden der ungesehene Zeitraum oder die benachbarten Parameter zu Schwachstellen. Das ist sichtbar gemachte Überanpassung.