Um backtest dá uma única sequência de operações. O drawdown que você vê é a pior queda naquela ordem específica. Se as mesmas operações tivessem vindo em outra ordem, com várias perdas seguidas, a queda poderia ter sido bem mais funda. O embaralhamento Monte Carlo estima quanto.
A ideia
Pegue a lista de operações fechadas e seus retornos. Embaralhe a ordem aleatoriamente, reconstrua a curva de capital e meça o drawdown máximo. Repita muitas vezes. Agora você tem uma distribuição de drawdowns que o mesmo conjunto de operações poderia ter produzido.
Como o Backte.st faz
O teste Ordem embaralhada embaralha a ordem das operações 200 vezes e informa o drawdown do percentil 95: um nível que só 5% das sequências embaralhadas ultrapassaram. Ele usa uma semente aleatória fixa, então o mesmo relatório sempre dá o mesmo número.
Por que é útil
- Tamanho da posição. Se o drawdown embaralhado for muito mais fundo que o do backtest, talvez você queira arriscar menos por operação.
- Expectativas. Saber que uma queda de 30% é plausível ajuda a manter a estratégia numa fase ruim, ou a decidir de antemão que você não conseguiria.
- Comparações. Duas estratégias com retornos parecidos podem ter drawdowns embaralhados muito diferentes.
Limites para ter em mente
- Ignora perdas dentro das operações. O embaralhamento usa retornos de operações fechadas, então quedas enquanto uma posição está aberta não entram.
- Supõe que as operações são independentes. Na prática, operações perdedoras costumam se agrupar em certos regimes de mercado, e o embaralhamento desfaz esse agrupamento.
- Não inventa novos tipos de operação. Se o histórico nunca teve um crash, o embaralhamento também não terá.
- Precisa de operações suficientes. Com muito poucas, a distribuição não significa nada, e o teste indica poucas operações.
Usando junto com os outros testes
O embaralhamento responde «até onde poderia ir com estas operações?». Os outros testes perguntam se as próprias operações são confiáveis: se resistem fora da amostra, com custos maiores e sem as poucas melhores vitórias.
Abra os testes de robustez de qualquer execução no laboratório para ver o drawdown embaralhado ao lado do real.