फ्री टेक्स्ट आंसर आधारित प्रश्नों का स्वचालित मूल्यांकन
अधिकांश प्रतियोगी परीक्षाओं में प्रतिभागियों को वस्तुनिष्ठ प्रकार के प्रश्नों को हल करना पड़ता है, जैसे कि ऐसे प्रश्न जिनमें दिए गए उत्तर विकल्पों में से एक या अधिक सही उत्तरों के चयन की आवश्यकता होती है या ऐसे प्रश्न जिनमें प्रतिभागियों को एक संख्यात्मक मान दर्ज करना होता है। वस्तुनिष्ठ प्रकार के ऐसे प्रश्नों पर आधारित टेस्ट का मूल्यांकन काफी सरल-स्पष्ट होता है।
हालांकि, ऐसी कई परीक्षाएं हैं, उदाहरण के लिए बोर्ड परीक्षा जिसमें टेक्स्ट आंसर (निबंधात्मक उत्तर) वाले प्रश्न शामिल होते हैं। निबंध में स्कोर को लक्षित करने के लिए कुछ सफल समाधानों के साथ टेक्स्ट आंसर का मूल्यांकन अभी भी एक ओपन रीसर्च प्रॉब्लम बना हुआ है। Embibe बड़े पैमाने पर लर्निंग आउटकम प्रदान करने वाला एक AI प्लेटफ़ॉर्म है [7] और यह इस तरह के फ्री-टेक्स्ट आंसर आधारित प्रश्नों के साथ पर्सनलाइज्ड टेस्ट बनाने में मदद कर सकता है। साथ ही, प्रासंगिक नॉलेज ग्राफ में छात्रों के कॉन्सेप्ट की विशेषज्ञता का मूल्यांकन कर सकता है [6] [8]। एक साधारण मूल्यांकनकर्ता का विकास करने के लिए, उन्नत NLP/NLU के उपयोग की आवश्यकता होती है ताकि, वह विभिन्न शैलियों व शैक्षणिक डोमेन में टेक्स्ट आंसर प्राप्त कर सके। यह Embibe के लिए भी रुचि का क्षेत्र है।
हम इस प्रॉब्लम को दो सब-प्रॉब्लम में बाँट सकते हैं।
- एंटिटी लिंकिंग
- सिमैन्टिक सिमिलैरिटी
एंटिटी लिंकिंग
एंटिटी लिंकिंग में, हम छोटे रूप/संक्षिप्ताक्षर और अन्य नाम से भी पहचाने जाने वाले-प्रकार के एंटिटी (यानी टेक्स्ट) को शामिल करते हैं।
उदाहरण के लिए, संक्षिप्ताक्षर जैसे-
“PMC “: “पॉलेन मदर सेल”,
“MMC “: “मेगास्पोर मदर सेल”,
“PEN”: “प्राइमरी एन्डोस्पर्म न्यूक्लीअस”,
“PEC”: “प्राइमरी एन्डोस्पर्म सेल”,
“LH “: “ल्यूटिनाइजिंग हार्मोन”,
“FSH “: “फॉलिकल स्टिम्युलेटिंग हॉर्मोन”
और अन्य नाम से भी जाना जाता है, जैसे-
“मशरूम”: “टॉडस्टूल”,
“जर्म”: “माइक्रोब्स”,
“बैक्टीरिया”: “माइक्रोब्स”,
“यीस्ट”: “माइक्रोब्स”,
“रीन्यूएबल”: “इनएक्सहॉस्टिबल”,
“ट्रेट्स”: “कैरेक्टरस्टिक”,
हम रासायनिक नाम एंटिटी को भी मैप कर सकते हैं जैसे,
‘(NH4)(NO3)’ : ‘अमोनियम नाइट्रेट’,
‘(NH4)2C2O4’ : ‘अमोनियम ऑक्सालेट’,
‘Ag2O’ : ‘सिल्वर ऑक्साइड’,
‘Ag2SO4’ : ‘सिल्वर सल्फेट’,
‘Al(NO3)3’ : ‘एल्युमिनियम नाइट्रेट’,
इन मैपिंग का उपयोग करते हुए, हम संक्षिप्त और समान शब्दों को मैप कर सकते हैं और फिर उनका वास्तविक उत्तरों से मिलान कर सकते हैं।
सिमैन्टिक सिमिलैरिटी
दो वाक्यों का समान अर्थ हो सकता है। हम प्राकृतिक भाषा समझ और ज्ञान आधारित लर्निग के हमारे अत्याधुनिक रीसर्च एवं डोमेन-सन्निहित ज्ञान का उपयोग करके और भाषा मॉडल संभावनाओं का उल्लेख करके सिमैन्टिक सिमिलैरिटी (अर्थ संबंधी समानता) स्थापित करते हैं [3][4][5]।
हम छात्र के उत्तर के इनपुट को प्राप्त कर सकते हैं और इसकी तुलना वास्तविक उत्तर के इनपुट से कर सकते हैं। यदि उनके बीच की कोज्या दूरी निश्चित सीमा से कम है, तो हम उन्हें समान मान सकते हैं और उत्तर को सही के रूप में चिह्नित कर सकते हैं।
हम सेल्फ-अटेंशन पर आधारित मॉडल जैसे, BERT[1] और RoBERTa[2] का उपयोग छात्र के उत्तर और सही उत्तर के इनपुट को प्राप्त करने के लिए कर सकते हैं और उनके बीच समानता प्राप्त करने के लिए, उनके बीच निहित कोज्या दूरी की गणना कर सकते हैं।
संदर्भ
[3] Faldu, Keyur, Amit Sheth, Prashant Kikani, and Hemang Akabari. “KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding.” arXiv preprint arXiv:2104.08145 (2021).
[4] Gaur, Manas, Ankit Desai, Keyur Faldu, and Amit Sheth. “Explainable AI Using Knowledge Graphs.” In ACM CoDS-COMAD Conference. 2020.
[5] Gaur, Manas, Keyur Faldu, and Amit Sheth. “Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable?.” IEEE Internet Computing 25, no. 1 (2021): 51-59.
[6] Dhavala, Soma, Chirag Bhatia, Joy Bose, Keyur Faldu, and Aditi Avasthi. “Auto Generation of Diagnostic Assessments and Their Quality Evaluation.” International Educational Data Mining Society (2020).
[7] “#RAISE2020 – Embibe – AI-Powered learning outcomes platform for personalized education”, MyGov India, Oct 2020, https://www.youtube.com/watch?v=kuwFtHgN3qU
[8] Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for recommending personalized content using contextualized knowledge base.” U.S. Patent Application 16/586,512, filed October 1, 2020.
