आउट-ऑफ़-सैंपल टेस्टिंग का मतलब है स्ट्रैटेजी को ऐसे डेटा पर परखना जिसका इस्तेमाल उसे बनाने में नहीं हुआ। यह ओवरफ़िटिंग के ख़िलाफ़ सबसे सरल और असरदार बचावों में से एक है।
इन-सैंपल और आउट-ऑफ़-सैंपल
- इन-सैंपल डेटा वह है जिसे आपने नियम बनाते और बदलते समय देखा।
- आउट-ऑफ़-सैंपल (होल्डआउट) डेटा अलग रखा जाता है और सिर्फ़ अंतिम नियमों की जाँच के लिए इस्तेमाल होता है।
अगर आउट-ऑफ़-सैंपल प्रदर्शन ढह जाए, तो इन-सैंपल नतीजा शायद शोर का वर्णन कर रहा था।
अनदेखी अवधि जाँच कैसे काम करती है
Backte.st में अनदेखी अवधि जाँच हर बाज़ार के इतिहास को समय के हिसाब से बाँटती है: पहला 70% और आख़िरी 30%। वह आख़िरी 30% को अलग से आँकती है, मानो आपने उसे कभी देखा ही न हो, और बँटवारे की तारीख़ के बाद का रिटर्न और बंद ट्रेडों की संख्या बताती है।
बेतरतीब के बजाय समय के हिसाब से बाँटना ज़रूरी है। बाज़ारों में ट्रेंड और दौर होते हैं, और पास-पास के दिनों की कीमतें आपस में जुड़ी होती हैं। बेतरतीब बँटवारा भविष्य की जानकारी को अतीत में लीक कर देगा।
पेच: होल्डआउट सिर्फ़ एक बार अनदेखा होता है
अगर आप टेस्ट चलाते हैं, देखते हैं कि आख़िरी 30% ख़राब रहा, नियम बदलते हैं और तब तक दोबारा चलाते हैं जब तक वह अच्छा न दिखे, तो होल्डआउट आपकी डिज़ाइन प्रक्रिया का हिस्सा बन गया। वह इन-सैंपल डेटा बन गया। रिपोर्ट अपनी सीमाओं में यह साफ़ लिखती है।
ईमानदार रहने के व्यावहारिक तरीके:
- पहले नियम तय करें, और खोजबीन करनी हो तो सिर्फ़ इतिहास के शुरुआती हिस्से का इस्तेमाल करें।
- अनदेखा नतीजा एक बार देखें और जो देखा उसे लिख लें।
- अगर बार-बार बदलना है, तो नया डेटा लें: दूसरा बाज़ार, बाद की अवधि या अलग कैंडल साइज़।
नतीजा कैसे पढ़ें
- इन और आउट-ऑफ़-सैंपल में मिलते-जुलते नतीजे: उत्साहजनक, हालाँकि एक बँटवारा अब भी छोटा सैंपल है।
- आउट-ऑफ़-सैंपल में बहुत बुरा: कर्व फ़िटिंग या बाज़ार के दौर में बदलाव का क्लासिक संकेत।
- अनदेखी अवधि में बहुत कम ट्रेड: जाँच फ़ैसला नहीं कर सकती। लंबा इतिहास या छोटी कैंडल इस्तेमाल करें।
एक बँटवारे से आगे
पेशेवर अक्सर वॉक-फ़ॉरवर्ड विश्लेषण इस्तेमाल करते हैं, जो विंडो को आगे खिसकाते हुए बँटवारा कई बार दोहराता है। एक होल्डआउट अवधि उसी विचार का सरल रूप है और फिर भी बहुत कुछ पकड़ लेती है।
लैब में कोई भी रणनीति आज़माएँ और अनदेखी अवधि वाली पंक्ति की तुलना पूरी अवधि के रिटर्न से करें।