표본 외 테스트란 전략을 만드는 데 쓰지 않은 데이터로 전략을 평가하는 것입니다. 과최적화 에 맞서는 가장 단순하고 효과적인 방어책 중 하나입니다.
표본 내와 표본 외
- 표본 내 데이터는 규칙을 만들고 조정할 때 본 데이터입니다.
- 표본 외(홀드아웃) 데이터는 따로 남겨 두고 최종 규칙을 확인할 때만 씁니다.
표본 외에서 성과가 무너진다면, 표본 내 결과는 아마 잡음을 묘사하고 있었던 것입니다.
미사용 기간 점검의 작동 방식
Backte.st의 미사용 기간 점검은 각 시장의 기간을 시간 순서로 나눕니다. 앞의 70%와 마지막 30%입니다. 마지막 30%를 한 번도 본 적 없는 것처럼 따로 평가하고, 분할 날짜 이후의 수익률과 청산 거래 수를 보여 줍니다.
무작위가 아니라 시간으로 나누는 것이 중요합니다. 시장에는 추세와 국면이 있고, 가까운 날의 가격은 서로 관련되어 있습니다. 무작위로 나누면 미래의 정보가 과거로 새어 들어갑니다.
함정: 홀드아웃은 한 번만 미사용입니다
테스트를 실행하고, 마지막 30%가 나빴던 것을 보고, 규칙을 조정해 보기 좋아질 때까지 다시 실행한다면 홀드아웃은 설계 과정의 일부가 된 것입니다. 표본 내 데이터가 된 것이죠. 리포트의 한계 항목에도 이 점이 분명히 적혀 있습니다.
정직함을 지키는 실용적인 방법:
- 규칙을 먼저 정하세요. 탐색하고 싶다면 기간의 앞부분만 사용합니다.
- 미사용 결과는 한 번만 보세요. 그리고 본 것을 적어 둡니다.
- 반복이 필요하다면 새 데이터를 쓰세요. 다른 시장, 이후 기간, 다른 캔들 크기 등입니다.
결과 읽기
- 표본 내외 결과가 비슷함: 고무적이지만, 한 번의 분할은 여전히 작은 표본입니다.
- 표본 외에서 훨씬 나쁨: 커브 피팅이나 국면 변화의 전형적인 신호입니다.
- 미사용 기간의 거래가 너무 적음: 점검으로 판단할 수 없습니다. 더 긴 기간이나 더 짧은 캔들을 쓰세요.
한 번의 분할을 넘어서
전문가들은 흔히 워크포워드 분석 을 씁니다. 창을 앞으로 옮겨 가며 분할을 여러 번 반복하는 방법입니다. 하나의 홀드아웃 기간은 같은 아이디어의 단순한 형태이며, 그래도 많은 문제를 잡아냅니다.
랩 에서 아무 전략이나 실행해 미사용 기간 행과 전체 기간 수익률을 비교해 보세요.