Le surajustement (overfitting) signifie que vos règles décrivent le bruit d’un échantillon historique plutôt qu’un schéma qui se répète. C’est la raison la plus fréquente pour laquelle une stratégie excellente en backtest déçoit avec de l’argent réel.
Comment cela arrive
Chaque fois que vous essayez une variante (un autre seuil de RSI, une autre longueur de moyenne mobile, un filtre de plus) et gardez celle qui paraît la meilleure, vous cherchez. Cherchez assez longtemps et quelque chose paraîtra bon par pur hasard, comme parmi de nombreux lanceurs de pièces l’un finira par obtenir dix piles d’affilée.
Le problème n’est pas un test en particulier, mais le nombre de tests effectués puis oubliés. Des chercheurs comme David Bailey et Marcos López de Prado ont beaucoup écrit à ce sujet, notamment sur des méthodes comme le ratio de Sharpe déflaté, qui corrige un résultat en fonction du nombre d’essais derrière lui.
Les signaux d’alerte dans un rapport
- Très peu de trades. Avec peu de données, quelques trades chanceux peuvent produire presque n’importe quelle courbe.
- Un résultat qui dépend de quelques gros gains. Si retirer une poignée de trades efface le profit, l’avantage n’est peut-être pas réel.
- Des paramètres étrangement précis. Une moyenne sur 37 bougies qui fonctionne alors que 30 et 45 échouent est un signal d’alarme.
- Un bon résultat dans l’échantillon et un mauvais hors échantillon.
- Beaucoup de règles ou de conditions par rapport au nombre de trades.
Le test « meilleurs trades retirés »
Le test Meilleurs trades retirés de Backte.st recalcule le rendement composé des trades clôturés sans les cinq plus rentables. Si la stratégie gagne encore de l’argent, son résultat est réparti sur de nombreux trades. Si elle bascule en perte, l’essentiel du profit venait de quelques valeurs extrêmes, les plus difficiles à reproduire.
Des habitudes qui limitent le surajustement
- Écrivez la règle avant de la tester. Décidez ce que vous attendez et pourquoi, puis testez une fois.
- Préférez des règles simples. Moins de conditions, c’est moins de façons de coller au bruit.
- Gardez une période de réserve et utilisez-la une fois. Voir les tests hors échantillon.
- Vérifiez les paramètres voisins. Un effet réel tient rarement à un seul chiffre exact. Voir la robustesse des paramètres.
- Testez sur plusieurs marchés. Une règle qui ne marche que sur un seul ticker est suspecte. Backte.st permet de tester jusqu’à 10 marchés avec les mêmes règles.
- Comptez vos tentatives. Si vous avez essayé vingt variantes, jugez la gagnante plus sévèrement que si vous n’en aviez essayé qu’une.
À quoi cela ressemble en pratique
Construisez une stratégie comme un retournement RSI dans le labo, lancez-le sur quelques actions, puis ajustez les seuils jusqu’à ce qu’un marché paraisse superbe. Regardez ensuite les tests : souvent, la période inédite ou les paramètres voisins deviennent des points faibles. C’est le surajustement rendu visible.