Um backtest responde a uma pergunta específica: o que exatamente estas regras teriam feito com exatamente estes dados, sob estas premissas? Ele não diz o que vai acontecer depois. Ler bem um relatório é saber quais números têm peso e quais são fáceis de maquiar.
Comece pelas premissas, não pelo retorno
Antes de olhar qualquer resultado, verifique como o teste foi feito. No Backte.st, todo relatório lista as premissas em Dados e premissas:
- Os sinais usam candles fechados. Uma regra só pode reagir a um candle depois que ele fecha.
- As ordens são executadas na abertura seguinte, nunca no fechamento que gerou o sinal.
- Há custos em cada entrada e saída: corretagem e slippage, em pontos-base por lado.
- Uma posição por vez, sem alavancagem, stops ou alvos.
Se um relatório que você leu em outro lugar não informa as regras de execução e os custos, trate o retorno dele, no máximo, como um teto.
Retorno líquido e comprar e manter
O retorno líquido é a variação do valor da conta depois dos custos. Sozinho, ele diz pouco, porque a maioria dos mercados tem tendência. Por isso cada relatório também mostra comprar e manter com a mesma alocação: se sua estratégia investe 20% do capital por operação, a comparação mantém 20% do capital no mercado durante todo o período.
Uma estratégia que supera o comprar e manter pode ser pior na prática se fizer isso com muito mais operações (mais custos, mais impostos) ou com um drawdown mais profundo.
Drawdown máximo: o número que você vai sentir de verdade
O drawdown máximo é a pior queda do valor da conta, do pico ao fundo. Costuma ser o número que decide se uma pessoa de verdade mantém uma estratégia. Duas estratégias com o mesmo retorno parecem completamente diferentes se uma delas cortou a conta pela metade no caminho.
Lembre que o drawdown de um backtest é só a pior queda naquela sequência específica de operações. A ordem embaralhada das operações mostra o quanto ele poderia, de forma plausível, ser pior.
Número de operações: há evidência suficiente?
Um punhado de operações pode produzir quase qualquer retorno por sorte. O Backte.st marca um teste como Poucas operações em vez de fingir que consegue avaliá-lo. Se o seu relatório tem poucas operações fechadas, tente um histórico mais longo, candles menores ou mais mercados antes de tirar conclusões.
Os testes de robustez
O resultado principal é uma execução com um único conjunto de premissas. Os testes rodam as mesmas regras de novo em condições mais duras:
- Período não visto: os últimos 30% do histórico avaliados separadamente. Veja testes fora da amostra.
- Custos dobrados: corretagem e slippage dobrados. Veja custos de transação.
- Parâmetros vizinhos: cada período de indicador deslocado em ±10% e ±20%. Veja robustez de parâmetros.
- Entrada atrasada: cada ordem executada um candle depois. Veja viés de antecipação e timing.
- Sem as melhores operações: as cinco operações mais lucrativas são retiradas. Veja sobreajuste.
- Ordem embaralhada: 200 embaralhamentos da ordem das operações. Veja Monte Carlo.
Um teste resiste quando a estratégia ainda tem retorno positivo naquela condição, e ele precisa de pelo menos 10 operações fechadas para avaliar (20 para o embaralhamento). Um ponto fraco não significa que a ideia não vale nada. Ele mostra onde o resultado depende de algo frágil. Resistir a tudo é um bom começo, não uma prova de vantagem.
O que um relatório não pode dizer
- Ele não vê o futuro. Os regimes de mercado mudam.
- Ele só testa os mercados que você escolheu. Se você os escolheu porque subiram, leia sobre viés de sobrevivência.
- O período não visto só é não visto uma vez. Cada vez que você ajusta regras depois de olhar para ele, ele vira parte dos seus dados de treino.
Use um backtest para descartar ideias de forma rápida e barata. É aí que ele é mais honesto.