Las pruebas fuera de muestra consisten en juzgar una estrategia con datos que no intervinieron en su diseño. Es una de las defensas más simples y eficaces contra el sobreajuste.
Dentro y fuera de la muestra
- Los datos dentro de la muestra son los que miraste al construir y ajustar las reglas.
- Los datos fuera de la muestra (reservados) se guardan aparte y solo se usan para comprobar las reglas finales.
Si el rendimiento se desmorona fuera de la muestra, el resultado dentro de la muestra probablemente describía ruido.
Cómo funciona la prueba del periodo no visto
En Backte.st la prueba Periodo no visto divide en el tiempo el histórico de cada mercado: el primer 70 % y el último 30 %. Evalúa el último 30 % por separado, como si nunca lo hubieras visto, e informa de su rentabilidad y del número de operaciones cerradas desde la fecha de corte.
Dividir por tiempo, y no al azar, es importante. Los mercados tienen tendencias y regímenes, y los precios de días cercanos están relacionados. Una división aleatoria filtraría información del futuro al pasado.
La trampa: un periodo reservado solo es no visto una vez
Si ejecutas una prueba, ves que el último 30 % fue mal, ajustas las reglas y repites hasta que se ve bien, el periodo reservado ya forma parte de tu proceso de diseño. Se ha convertido en datos dentro de la muestra. El informe lo dice explícitamente en sus limitaciones.
Formas prácticas de mantenerlo honesto:
- Decide primero tus reglas, usando solo la parte anterior del histórico si quieres explorar.
- Mira el resultado no visto una sola vez y anota lo que viste.
- Si tienes que iterar, busca datos nuevos: otro mercado, un periodo posterior u otro tamaño de vela.
Cómo leer el resultado
- Resultados parecidos dentro y fuera de la muestra: alentador, aunque una sola división sigue siendo una muestra pequeña.
- Mucho peor fuera de la muestra: una señal clásica de sobreajuste o de un cambio de régimen.
- Pocas operaciones en el periodo no visto: la prueba no puede juzgar. Usa un histórico más largo o velas más pequeñas.
Más allá de una sola división
Los profesionales suelen usar el análisis walk-forward, que repite la división muchas veces mientras la ventana avanza. Un único periodo reservado es una versión más sencilla de la misma idea, y ya detecta mucho.
Pruébalo con cualquier estrategia en el laboratorio y compara la línea del periodo no visto con la rentabilidad del periodo completo.