Sobreajuste (overfitting) significa que suas regras descrevem o ruído de uma amostra histórica, e não um padrão que se repete. É o motivo mais comum para uma estratégia que parece excelente no backtest decepcionar com dinheiro real.
Como acontece
Toda vez que você testa uma variação (outro limite de RSI, outra média móvel, mais um filtro) e fica com a que pareceu melhor, você está buscando. Busque o bastante e algo vai parecer bom por puro acaso, assim como, entre muitas pessoas jogando moedas, alguém vai tirar dez caras seguidas.
O problema não é um teste isolado. É o número de testes que você fez e depois esqueceu. Pesquisadores como David Bailey e Marcos López de Prado escreveram bastante sobre isso, incluindo métodos como o índice de Sharpe deflacionado, que ajusta um resultado pelo número de tentativas por trás dele.
Sinais de alerta em um relatório
- Pouquíssimas operações. Com poucos dados, algumas operações de sorte podem produzir quase qualquer curva.
- Um resultado que depende de poucas grandes vitórias. Se tirar um punhado de operações apaga o lucro, a vantagem pode não ser real.
- Parâmetros estranhamente específicos. Uma média de 37 candles que funciona enquanto 30 e 45 não funcionam é um alerta.
- Um resultado forte dentro da amostra e um fraco fora dela.
- Muitas regras ou condições em relação ao número de operações.
O teste sem as melhores operações
O teste Sem as melhores operações do Backte.st recalcula o retorno composto das operações fechadas sem as cinco mais lucrativas. Se a estratégia ainda ganha dinheiro, o resultado está distribuído por muitas operações. Se ela vira prejuízo, a maior parte do lucro veio de poucos casos extremos, que são os mais difíceis de repetir.
Hábitos que reduzem o sobreajuste
- Escreva a regra antes de testar. Decida o que espera e por quê, e teste uma vez.
- Prefira regras simples. Menos condições significam menos formas de se ajustar ao ruído.
- Reserve um período e use-o uma vez. Veja testes fora da amostra.
- Confira parâmetros vizinhos. Um efeito real raramente depende de um único número exato. Veja robustez de parâmetros.
- Teste em vários mercados. Uma regra que só funciona em um ticker é suspeita. O Backte.st permite rodar até 10 mercados com as mesmas regras.
- Conte suas tentativas. Se você testou vinte variações, julgue a vencedora com mais rigor do que se tivesse testado uma.
Como isso aparece na prática
Monte uma estratégia como uma reversão RSI no laboratório, rode em algumas ações e ajuste os limites até um mercado parecer ótimo. Agora olhe os testes: muitas vezes o período não visto ou os parâmetros vizinhos viram pontos fracos. Isso é o sobreajuste ficando visível.