क्वेश्चन डिस्क्रिमिनेशन फैक्टर
टेस्ट सबसे पसंदीदा मूल्यांकन तकनीक है जिसका उपयोग छात्रों द्वारा लक्षित लर्निंग आउटकम के प्रदर्शन को मापने के लिए किया जाता है। इसलिए, छात्रों के लर्निंग गैप्स की पहचान करने और छात्रों की लर्निंग को बढ़ावा देने के लिए टेस्ट निष्पक्ष और प्रभावी होना चाहिए। इन लक्ष्यों को पूरा करने के लिए एक टेस्ट की क्षमता इस बात का समुच्चयन है कि टेस्ट का प्रत्येक प्रश्न कितना प्रासंगिक है। इस प्रकार, एक टेस्ट की विश्वसनीयता को आइटम एनालिसिस द्वारा बढ़ाया जा सकता है, जहां प्रत्येक प्रश्न या आइटम के लिए छात्रों के रिस्पांस का उपयोग टेस्ट प्रदर्शन का मूल्यांकन करने के लिए किया जाता है। आइटम एनालिसिस में महत्वपूर्ण तरीकों में से एक आइटम डिस्क्रिमिनेशन है जो विभिन्न छात्रों के बीच अंतर करने में एक प्रश्न की महत्ता को संदर्भित करता है। क्वेश्चन डिस्क्रिमिनेशन फैक्टर एक सूचकांक है जो मापता है कि एक प्रश्न विभिन्न यूजर समूहों के बीच कितनी अच्छी तरह अंतर कर सकता है। यह दर्शाता है कि कम अंक प्राप्त करने वाले छात्रों की तुलना में अधिक अंक प्राप्त करने वाले छात्रों के किसी एक प्रश्न के सही होने की संभावना अधिक होती है।
लक्षित लर्निंग आउटकम के मुताबिक विद्यार्थियों के प्रदर्शन को मापने के लिए, टेस्ट सबसे पसंदीदा मूल्यांकन तकनीक है। विद्यार्थियों के सीखने की प्रक्रिया में आने वाली बाधाओं की पहचान करने और लर्निंग को बढ़ावा देने के लिए, टेस्ट का निष्पक्ष और प्रभावी होना आवश्यक है। इन लक्ष्यों को प्राप्त करने में कोई टेस्ट कितना कारगर है, यह इस बात से तय होता है कि टेस्ट में शामिल प्रत्येक प्रश्न कितने प्रासंगिक हैं। इस प्रकार, एक टेस्ट की विश्वसनीयता को आइटम एनालिसिस द्वारा बढ़ाया जा सकता है, जहां प्रत्येक प्रश्न या आइटम के लिए विद्यार्थियों के रिस्पांस का उपयोग, टेस्ट प्रदर्शन का मूल्यांकन करने के लिए किया जाता है। आइटम एनालिसिस के महत्वपूर्ण तरीकों में से एक आइटम डिस्क्रिमिनेशन है जो विभिन्न विद्यार्थियों के बीच अंतर करने में किसी प्रश्न की महत्ता को संदर्भित करता है। क्वेश्चन डिस्क्रिमिनेशन फैक्टर एक सूचकांक है जो मापता है कि एक प्रश्न विभिन्न यूजर समूहों के बीच कितनी अच्छी तरह अंतर कर सकता है। यह दर्शाता है कि कम अंक प्राप्त करने वाले विद्यार्थियों की तुलना में अधिक अंक प्राप्त करने वाले विद्यार्थी के किसी एक प्रश्न के सही होने की संभावना अधिक होती है।
|
QDF = 0.11 |
QDF = 0.80 |
|
प्रश्न 1: कम आणविक भार के अल्कोहल होते हैं: a. सभी विलायकों में विलेय (सही विकल्प) b. जल में विलेय c. सभी विलायकों में अविलेय d. गर्म करने पर जल में विलेय |
प्रश्न 2: एस्पिरिन को जाना जाता है: a. ऐसीटिल सेलिसिलिक अम्ल (सही उत्तर) b. मेथिल सेलिसिलिक अम्ल c. ऐसीटिल सैलिसिलेट d. मेथिल सैलिसिलेट |
|
|
|
|
टेबल 1: निम्न QDF और उच्च QDF मानों के साथ सही और गलत प्रश्नों के लिए कुल अंकों के वितरण के बीच तुलना |
|
यहां, x-अक्ष प्राप्त किए गए कुल अंकों का प्रतिनिधित्व करता है और y-अक्ष छात्रों की सामान्यीकृत संख्या का प्रतिनिधित्व करता है। पीली रेखा उन छात्रों के कुल अंकों के वितरण को दर्शाती है, जिन्होंने प्रश्न गलत किया था। नीली रेखा उन छात्रों के कुल अंकों के वितरण को दर्शाती है जिन्होंने प्रश्न को सही किया। प्रश्न 1 में, प्रश्न को सही करने वाले छात्रों के कुल अंकों के बीच एक उच्च ओवरलैप है, जबकि प्रश्न 2 में, ओवरलैप बहुत कम है और इसलिए क्वेश्चन डिस्क्रिमिनेशन फैक्टर का मान प्रश्न 2 के लिए प्रश्न 1 की तुलना में अधिक है। अंतिम क्वेश्चन डिस्क्रिमिनेशन फैक्टर मान उपरोक्त विधि और परीक्षण मापदंडों का ठीक-ठीक परिणाम है।
Embibe ने दो अलग-अलग टेस्ट में छात्रों के प्रदर्शन की तुलना करने के लिए एक वेलिडेशन प्रयोग का आयोजन किया:
- बेसलाइन पॉलिसी: यहां, बुनियादी सत्य पर आधारित डेटाबेस से डिस्क्रिमिनेशन फैक्टर के कारण पूर्वाग्रह के बिना प्रश्नों का चयन किया जाता है, जो कठिनाई स्तरों और पाठ्यक्रम कवरेज पर अपेक्षित वितरण सुनिश्चित करता है।
- डिस्क्रिमिनेशन ऑनली पॉलिसी: यहां, बुनियादी सत्य पर आधारित डेटासेट से प्रश्नों का चयन किया जाता है, पाठ्यक्रम कवरेज सुनिश्चित करना – प्रत्येक अध्याय से कम से कम एक प्रश्न, और यह सुनिश्चित करना कि प्रश्नों का ओवरऑल डिस्क्रिमिनेशन फैक्टर किसी भी कठिनाई स्तर पर अधिकतम हो।
प्रयोग के लिए, कुल 312 छात्रों को 75 प्रश्नों वाला एक टेस्ट देने के लिए चुना गया था। टेस्ट के प्रदर्शन की तुलना दो सांख्यिकीय मैट्रिक्स से की गई:
- RMSE का उपयोग कर मूल्यांकन: आइटम रिस्पांस थ्योरी मॉडल का उपयोग करते हुए, हम प्रश्नों का सही उत्तर देने वाले मूल्यांकन सेट में प्रत्येक छात्र की प्रायिकता का अनुमान लगाते हैं और यदि वे जेनरेट किए गए टेस्ट पेपर का प्रयास करते हैं, छात्रों द्वारा प्राप्त किए गए अंक से औसत क्षमता की गणना कर सकते हैं। हम आइटम रिस्पांस थ्योरी मॉडल से प्रत्येक छात्र की बुनियादी वास्तविक क्षमता भी निर्धारित करते हैं। अंत में, हम बुनियादी वास्तविक क्षमता और सटीकता को मापने की अनुमानित क्षमता के बीच मूल माध्य वर्ग त्रुटि (रूट मीन स्क्वेर्ड एरर) की गणना करते हैं।
- स्पीयरमैन के ρ का उपयोग कर मूल्यांकन: यहां, हम बुनियादी सत्य आधारित डेटा और जेनरेट किए गए टेस्ट से प्राप्त छात्रों की क्षमताओं को क्रमबद्ध करते हैं और दो रैंकों के बीच रैंक कॉररिलेशन ρ निर्धारित करते हैं।
|
पॉलिसी |
RMSE |
रैंक corr ρ |
|
बेसलाइन पॉलिसी |
0.844 |
0.59 |
|
डिस्क्रिमिनेशन ऑनली पॉलिसी |
0.549 |
0.83 |
|
टेबल 2: अलग-अलग पॉलिसी द्वारा जेनरेट किए गए टेस्ट में RMSE (अनुमानित क्षमता और बुनियादी सत्य पर आधारित क्षमता ) और रैंक corr ρ के बीच तुलना |
||
साथ ही, हमने पाया कि डिस्क्रिमिनेशन ऑनली पॉलिसी टेस्ट, बेसलाइन पॉलिसी टेस्ट की तुलना में अंकों (95 प्रतिशत वाले छात्रों का स्कोर – 5 प्रतिशत वाले छात्रों का स्कोर) में 24.8% बेहतर विस्तार करती है।
इसलिए, टेस्ट में उच्च क्वेश्चन डिस्क्रिमिनेशन फैक्टर वाले प्रश्नों के उपयोग से समान लक्षित शिक्षण लक्ष्यों के तहत छात्रों के बीच अंतर करने की शक्ति के संदर्भ में टेस्ट की गुणवत्ता में सुधार होता है। साथ ही, इनका उपयोग कंटेंट की गुणवत्ता में सुधार करने के लिए किया जाता है जहां हम नकारात्मक क्वेश्चन डिस्क्रिमिनेशन फैक्टर वाले प्रश्नों की पहचान करते हैं और उनकी प्रासंगिकता और स्पष्टता में सुधार करते हैं।
संदर्भ:
- Soma Dhavala, Chirag Bhatia, Joy Bose, Keyur Faldu, Aditi Avasthi, “Auto Generation of Diagnostic Assessments and their Quality Evaluation,” July 2020, EDM.
- Vincent LeBlanc, Michael A. A. Cox, “Interpretation of the point-biserial correlation coefficient in the context of a school examination,” January 2017, The Quantitative Methods for Psychology 13(1):46-56
- Linden, W. D., and R. Hambleton. “Handbook of Modern Item Response Theory.” (1997), Biometrics 54:1680
- Desai, Nishit, Keyur Faldu, Achint Thomas, and Aditi Avasthi. “System and method for generating an assessment paper and measuring the quality thereof.” U.S. Patent Application 16/684,434, filed October 1, 2020.
- “Autogeneration of Diagnostic Test and Their Quality Evaluation – EDM:2020”, EDM 2020 presentation, Jul 2020, https://www.youtube.com/watch?v=7wZz0ckqWFs
- Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for behavioral analysis and recommendations.” U.S. Patent Application 16/586,525, filed October 1, 2020
