El sobreajuste (overfitting) significa que tus reglas describen el ruido de una muestra histórica en lugar de un patrón que se repite. Es la razón más común por la que una estrategia que luce excelente en un backtest decepciona con dinero real.
Cómo ocurre
Cada vez que pruebas una variación (otro umbral de RSI, otra longitud de media móvil, un filtro más) y te quedas con la que mejor se ve, estás buscando. Si buscas lo suficiente, algo saldrá bien por pura casualidad, igual que entre muchas personas lanzando monedas alguna sacará diez caras seguidas.
El problema no es una prueba concreta, sino cuántas hiciste y luego olvidaste. Investigadores como David Bailey y Marcos López de Prado han escrito mucho sobre esto, incluidos métodos como el ratio de Sharpe deflactado, que ajusta un resultado según el número de intentos que hay detrás.
Señales de alerta en un informe
- Muy pocas operaciones. Con pocos datos, unas cuantas operaciones afortunadas pueden producir casi cualquier curva.
- Un resultado que depende de unas pocas grandes ganancias. Si quitar un puñado de operaciones borra el beneficio, la ventaja puede no ser real.
- Parámetros curiosamente concretos. Una media de 37 velas que funciona mientras que 30 y 45 no, es una alarma.
- Un resultado fuerte dentro de la muestra y uno débil fuera de ella.
- Muchas reglas o condiciones en comparación con el número de operaciones.
La prueba sin las mejores operaciones
La prueba Sin las mejores operaciones de Backte.st recalcula la rentabilidad compuesta de las operaciones cerradas sin las cinco más rentables. Si la estrategia sigue ganando dinero, su resultado se reparte entre muchas operaciones. Si pasa a pérdidas, la mayor parte del beneficio vino de unos pocos valores atípicos, que son lo más difícil de repetir.
Hábitos que reducen el sobreajuste
- Escribe la regla antes de probarla. Decide qué esperas y por qué, y prueba una vez.
- Prefiere reglas simples. Menos condiciones significan menos formas de ajustarse al ruido.
- Reserva un periodo y úsalo una vez. Consulta las pruebas fuera de muestra.
- Comprueba parámetros cercanos. Un efecto real rara vez depende de un único número exacto. Consulta la robustez de parámetros.
- Prueba en varios mercados. Una regla que solo funciona en un ticker es sospechosa. Backte.st te deja ejecutar hasta 10 mercados con las mismas reglas.
- Cuenta tus intentos. Si probaste veinte variaciones, juzga a la ganadora con más dureza que si hubieras probado una.
Cómo se ve en la práctica
Construye una estrategia como una reversión RSI en el laboratorio, ejecútala en algunas acciones y ajusta los umbrales hasta que un mercado se vea genial. Ahora mira las pruebas: a menudo el periodo no visto o los parámetros cercanos se convierten en puntos débiles. Eso es el sobreajuste hecho visible.