Testar fora da amostra significa avaliar uma estratégia com dados que não participaram da criação dela. É uma das defesas mais simples e eficazes contra o sobreajuste.
Dentro e fora da amostra
- Dados dentro da amostra são os que você olhou ao montar e ajustar as regras.
- Dados fora da amostra (reservados) ficam guardados e só servem para conferir as regras finais.
Se o desempenho desmorona fora da amostra, o resultado dentro da amostra provavelmente descrevia ruído.
Como funciona o teste de período não visto
No Backte.st, o teste Período não visto divide o histórico de cada mercado no tempo: os primeiros 70% e os últimos 30%. Ele avalia os últimos 30% separadamente, como se você nunca os tivesse visto, e informa o retorno e o número de operações fechadas desde a data de corte.
Dividir pelo tempo, e não aleatoriamente, é importante. Mercados têm tendências e regimes, e preços de dias próximos são relacionados. Uma divisão aleatória vazaria informação do futuro para o passado.
A pegadinha: um período reservado só é não visto uma vez
Se você roda um teste, vê que os últimos 30% foram mal, ajusta as regras e roda de novo até ficar bonito, o período reservado passou a fazer parte do seu processo de criação. Ele virou dado dentro da amostra. O relatório diz isso explicitamente nas limitações.
Formas práticas de manter a honestidade:
- Defina as regras primeiro, usando só a parte anterior do histórico se quiser explorar.
- Olhe o resultado não visto uma única vez e anote o que viu.
- Se precisar iterar, use dados novos: outro mercado, um período posterior ou outro tamanho de candle.
Como ler o resultado
- Resultados parecidos dentro e fora da amostra: animador, embora uma única divisão ainda seja uma amostra pequena.
- Muito pior fora da amostra: um sinal clássico de sobreajuste ou de mudança de regime.
- Poucas operações no período não visto: o teste não consegue avaliar. Use um histórico mais longo ou candles menores.
Além de uma única divisão
Profissionais costumam usar a análise walk-forward, que repete a divisão muitas vezes enquanto a janela avança. Um único período reservado é uma versão mais simples da mesma ideia e já pega muita coisa.
Experimente com qualquer estratégia no laboratório e compare a linha do período não visto com o retorno do período completo.