Tester hors échantillon, c’est juger une stratégie sur des données qui n’ont joué aucun rôle dans sa conception. C’est l’une des défenses les plus simples et les plus efficaces contre le surajustement.
Dans l’échantillon et hors échantillon
- Les données dans l’échantillon sont celles que vous avez regardées en construisant et en réglant les règles.
- Les données hors échantillon (de réserve) sont mises de côté et servent uniquement à vérifier les règles finales.
Si la performance s’effondre hors échantillon, le résultat dans l’échantillon décrivait probablement du bruit.
Comment fonctionne le test de période inédite
Sur Backte.st, le test Période inédite coupe l’historique de chaque marché dans le temps : les premiers 70 % et les derniers 30 %. Il évalue les derniers 30 % à part, comme si vous ne les aviez jamais vus, et indique leur rendement et le nombre de trades clôturés depuis la date de coupure.
Couper dans le temps, et non au hasard, est essentiel. Les marchés ont des tendances et des régimes, et les prix de jours voisins sont liés. Une coupure aléatoire ferait fuiter des informations du futur vers le passé.
Le piège : une période de réserve n’est inédite qu’une fois
Si vous lancez un test, voyez que les derniers 30 % se sont mal passés, ajustez les règles et recommencez jusqu’à ce que ce soit beau, la période de réserve fait désormais partie de votre conception. Elle est devenue une donnée dans l’échantillon. Le rapport le dit explicitement dans ses limites.
Des moyens pratiques de rester honnête :
- Fixez d’abord vos règles, en n’utilisant que la partie antérieure de l’historique si vous voulez explorer.
- Regardez le résultat inédit une seule fois et notez ce que vous avez vu.
- Si vous devez itérer, prenez des données neuves : un autre marché, une période plus récente ou une autre taille de bougie.
Lire le résultat
- Des résultats proches dans et hors échantillon : encourageant, même si une seule coupure reste un petit échantillon.
- Bien pire hors échantillon : un signe classique de surajustement, ou d’un changement de régime.
- Trop peu de trades dans la période inédite : le test ne peut pas juger. Utilisez un historique plus long ou des bougies plus petites.
Au-delà d’une seule coupure
Les professionnels utilisent souvent l’analyse walk-forward, qui répète la coupure de nombreuses fois en faisant avancer la fenêtre. Une seule période de réserve est une version plus simple de la même idée, et elle détecte déjà beaucoup de choses.
Essayez avec n’importe quelle stratégie dans le labo et comparez la ligne de la période inédite au rendement de toute la période.