इंटेलीजेंट टेस्ट जनरेशन
जब विद्यार्थियों का आकलन करने की बात आती है, तो टेस्ट पेपर-आधारित मूल्यांकन अभी भी दुनिया भर में सबसे लोकप्रिय तरीका है। एक टेस्ट पेपर का उद्देश्य एक बड़ी आबादी का मूल्यांकन करना, उनकी शैक्षणिक क्षमता के आधार पर उनका मूल्यांकन करना और उन्हें विभिन्न क्षमता बैंड में वर्गीकृत करना है। इसलिए, टेस्ट पेपर में कई प्रकार के विभेदन कारकों, पाठ्यक्रम कवरेज और कठिनाई भिन्नता वाले प्रश्नों को शामिल करने की आवश्यकता होती है। किसी भी व्यावसायिक अनुप्रयोग की अनुपस्थिति में ऐसे उच्च गुणवत्ता वाले टेस्ट जो कि परीक्षा के उस स्तर से मेल खाता है जिसके लिए टेस्ट किया जा रहा है, को ऑटो जनरेट करने के लिए, टेस्ट जनरेशन काफी हद तक एक मैनुअल और थकाऊ प्रक्रिया बनी हुई है।
वास्तविक परीक्षा पैटर्न, इसकी जटिलता और अन्य विशेषताओं से मेल खाने वाले टेस्ट पेपर को ऑटो-जनरेट करना एक NP-हार्ड कॉम्बिनेटरिक्स प्रॉब्लम है। यह अनिवार्य रूप से एक कॉम्प्लेक्स डिस्क्रीट ऑप्टिमाइजेशन प्रॉब्लम है जिसमें हम टेस्ट के प्रश्नों का चयन आमतौर पर 100 से कम, कुछ सैकड़ों हजारों प्रश्नों के सर्च स्थान से, कठिनाई स्तर के वितरण और प्रश्न स्तर पर समय-समय पर हल करने, टेस्ट स्तर पर पाठ्यक्रम कवरेज, महत्वपूर्ण कॉन्सेप्ट का वितरण जिनकी परीक्षा में आने की संभावना है, उन कॉन्सेप्ट की खोज जो पिछली परीक्षा में नहीं आये थे, प्रश्नों को हल करने के लिए आवश्यक कौशल वितरण, पिछले वर्ष के परीक्षा प्रश्न पैटर्न आदि जैसी कई बाधाओं का समाधान करने के लिए करते हैं।
Embibe ने एक इन-हाउस मशीन लर्निंग आधारित स्टैक विकसित किया है जो जेनेटिक एल्गोरिदम का उपयोग करता है और टेस्ट पेपर को ऑटो-जनरेट करने के लिए ग्रीडी इंटरमीडिएट स्टेप के साथ सिम्युलेटेड एनीलिंग का उपयोग करता है जो किसी भी परीक्षा के लिए पिछले N वर्षों के वास्तविक टेस्ट पेपर से निकटता से मेल खा सकता है। हमने किसी भी ऑटो-जनरेटेड पेपर की गुणवत्ता को मापने के लिए टेस्ट पेपर की गुणवत्ता को मापने का एक नया तरीका भी परिभाषित किया है। इन एल्गोरिदम की डिटेल इस पेपर में शामिल नहीं की गयी है।
केस स्टडी: चित्र 1 Embibe के ऑटोमेटेड टेस्ट जनरेशन सिस्टम द्वारा जनरेट किए गए टेस्ट पेपर के केस स्टडी के परिणाम दिखाता है। हमने 20 टेस्ट पेपर तैयार करने के लिए सिस्टम का इस्तेमाल किया और इन टेस्ट को हमारे प्लेटफॉर्म पर लगभग 8000 यादृच्छिक रूप से चुने विद्यार्थियों में वितरित किया गया। चित्र 1 विद्यार्थियों द्वारा प्राप्त अंकों के वितरण को बॉक्स प्लॉट के रूप में दर्शाता है, प्रत्येक टेस्ट पेपर के लिए एक बॉक्स प्लॉट। हम देख सकते हैं कि चार टेस्ट, टेस्ट -15, टेस्ट -16, टेस्ट -17 और टेस्ट -18 को छोड़कर, सभी टेस्ट में अंक वितरण समान है, जिनमें से सभी के अंक वितरण में सकारात्मक विषमता है। ऐसा इसलिए था क्योंकि इन-हाउस फैकल्टी ने इन टेस्ट पेपर्स में प्रश्नों के सेट को मैन्युअल रूप से संशोधित किया, जिससे इसके अंकों के वितरण में विषमता पैदा हो गई। इन परिणामों से संकेत मिलता है कि Embibe का ऑटोमेटेड टेस्ट जनरेशन सिस्टम लगातार ऐसे टेस्ट जनरेट करने में सक्षम है जो औसत छात्र प्रदर्शन के मीट्रिक का उपयोग करके मापे जाने पर प्रकृति में समान होते हैं।
