शिक्षकों के लिए मिनटों में प्रश्न रैंडमाइजेशन टेस्ट तैनात करें
प्रश्न यादृच्छिकरण परीक्षण प्रत्येक छात्र को अलग-अलग प्रश्न क्रम, उत्तर अनुक्रम, या प्रश्न सेट प्रस्तुत करते हैं, जिससे उत्तर कुंजी की नकल करना या पड़ोसी की स्क्रीन देखना बेकार हो जाता है। इसका मुख्य लाभ अनधिकृत साझाकरण के अवसरों में कमी है, लेकिन यह तकनीक तभी निष्पक्ष रहती है जब अंतर्निहित प्रश्न पूल समान कठिनाई स्तर के साथ बनाए गए हों और दोहराव से बचने के लिए पर्याप्त गहराई हो।
TL;DR:
- यादृच्छिकरण तब सबसे अच्छा काम करता है जब प्रश्न पूल गहरे और अच्छी तरह से संतुलित हों, ओवरलैप को कम करने के लिए प्रति 10 प्रश्नों पर कम से कम 100 से 200 आइटम हों।
- कई यादृच्छिकरण तकनीकों को मिलाने से धोखाधड़ी की कठिनाई काफी बढ़ जाती है, विशेष रूप से जब प्रश्न, उत्तर विकल्प और वितरण एक साथ भिन्न किए जाते हैं।
- उचित सेटअप में परिणाम और कठिनाई के आधार पर प्रश्नों को टैग करना, सीड के साथ पूर्वावलोकन करना और प्रत्येक छात्र को मिले संस्करण का विस्तृत रिकॉर्ड बनाए रखना शामिल है।
- कम प्रश्न-से-पूल अनुपात के साथ कई छोटे सब-पूल का उपयोग करना बड़ी कक्षाओं में ओवरलैप और क्रमिक दोहराव को कम करने के लिए सिद्ध है।
- Talent Approved जैसे स्वचालित मूल्यांकन यादृच्छिकरण और धोखाधड़ी-रोधी उपायों को सुव्यवस्थित करते हैं, सेटअप समय को उल्लेखनीय रूप से कम करते हुए निष्पक्षता और सुरक्षा सुनिश्चित करते हैं।
विषय-सूची
- प्रश्न यादृच्छिकरण क्या है और यह क्यों महत्वपूर्ण है
- प्रश्न यादृच्छिकरण के प्रकार और तकनीकें
- LMS या मूल्यांकन वर्कफ़्लो में यादृच्छिकरण कैसे सेट करें
- यादृच्छिक परीक्षणों को निष्पक्ष रखने के लिए डिज़ाइन की सर्वोत्तम प्रथाएँ
- कार्यान्वयन चेकलिस्ट: सेटिंग्स, मेटाडेटा और रन-डे जाँच
- यादृच्छिकरण की सीमाएँ और पूरक अखंडता उपकरण
- मैन्युअल सेटअप कार्य के बिना यादृच्छिक, भूमिका-विशिष्ट परीक्षण बनाएं
- लेखक का दृष्टिकोण: वास्तव में क्या काम आता है
- स्रोत
- FAQ
प्रश्न यादृच्छिकरण क्या है और यह क्यों महत्वपूर्ण है
प्रश्न यादृच्छिकरण में दो संबंधित क्रियाएँ शामिल हैं: आइटम के प्रकट होने के क्रम को फेरबदल करना, और एक बड़े पूल से प्रश्न खींचना ताकि अलग-अलग छात्र पूरी तरह से अलग-अलग उपसमूह देखें। पहला तरीका किसी के पड़ोसी की स्क्रीन देखकर उत्तर स्थिति से उत्तर स्थिति का मिलान करने से बचाता है। दूसरा तरीका, जिसे अक्सर randomly selected question exams (RSQE) कहा जाता है, उस छात्र से बचाता है जिसने कल परीक्षा दी और आज परीक्षा देने वाले किसी मित्र को उत्तर टेक्स्ट करता है।
संस्थान इस पर तीन व्यावहारिक कारणों से निर्भर करते हैं:
- दूरस्थ और ऑनलाइन परीक्षण ने उस भौतिक नियंत्रण को हटा दिया जो एक प्रॉक्टर के पास किसी कमरे में होता था।
- स्वचालित ग्रेडिंग सिस्टम को संरचित आइटम की आवश्यकता होती है, इसलिए यादृच्छिकरण मैन्युअल समीक्षा कार्य जोड़े बिना स्केल करता है।
- बड़े पाठ्यक्रम अनुभाग सत्रों में एक ही आइटम बैंक का पुन: उपयोग करते हैं, और यादृच्छिकरण उस पुन: उपयोग को रिसाव बनने से रोकता है।
यादृच्छिकरण प्रॉक्टरिंग या साहित्यिक चोरी का पता लगाने का विकल्प नहीं है। यह एक संरचनात्मक परत है जो उन अन्य उपकरणों को पहले स्थान पर धोखाधड़ी के लाभ को सिकोड़कर अधिक प्रभावी बनाती है।
प्रश्न यादृच्छिकरण के प्रकार और तकनीकें
चार तकनीकें अधिकांश शिक्षकों की जरूरतों को पूरा करती हैं, और ये एक-दूसरे के ऊपर लागू होती हैं।
- प्रश्न क्रम फेरबदल करें। आइटम का वही सेट प्रत्येक छात्र के लिए अलग क्रम में प्रकट होता है, जो सरल "उत्तर स्थिति तुलना" धोखाधड़ी को विफल करता है।
- उत्तर विकल्प फेरबदल करें। बहुविकल्पीय आइटम के भीतर, विकल्प स्वयं घूमते हैं, इसलिए "उत्तर C है" साझा करने योग्य उपयोगी जानकारी नहीं रहती।
- सब-पूल से यादृच्छिक चयन। हर छात्र को समान 40 प्रश्न मिलने के बजाय, प्रत्येक छात्र दर्जनों समकक्ष सब-पूल से कुछ प्रश्न निकालता है, इसलिए कोई भी दो परीक्षण एक जैसे नहीं दिखते।
- एक-प्रश्न-एक-समय वितरण। छात्र अगला आइटम प्रकट होने से पहले एक आइटम देखते और उत्तर देते हैं, जो पूरी परीक्षा को स्कैन करने और वास्तविक समय में उत्तरों का समन्वय करने से रोकता है।
सभी चारों को मिलाने से धोखाधड़ी की लागत नाटकीय रूप से बढ़ जाती है, क्योंकि एक छात्र को न केवल उत्तर बल्कि स्थिति, शब्दावली और गति का भी किसी ऐसे व्यक्ति के साथ समन्वय करना होगा जो वास्तव में अलग परीक्षा दे रहा हो। एक चेतावनी: कुछ आइटम फेरबदल नहीं होने चाहिए। यदि "उपरोक्त में से कोई नहीं" जैसा विकल्प हमेशा अंत में रहता है, तो उस स्थिति को लॉक करते हुए बाकी को फेरबदल करना आइटम को तार्किक रूप से सही रखता है।
प्रो टिप: प्रकाशित करने से पहले प्रीव्यू मोड में एक फेरबदल की गई क्विज़ चलाएं। गलती से अव्यवस्थित हुए फिक्स्ड-आंसर विकल्प लॉन्च के बाद शिक्षकों द्वारा रिपोर्ट की जाने वाली सबसे सामान्य यादृच्छिकरण बग हैं।
LMS या मूल्यांकन वर्कफ़्लो में यादृच्छिकरण कैसे सेट करें
अधिकांश लर्निंग मैनेजमेंट सिस्टम और सर्वे प्लेटफ़ॉर्म में पहले से ही वे नियंत्रण होते हैं जिनकी आपको आवश्यकता है। काम किसी छिपी हुई सेटिंग को खोजने के बारे में कम और आपकी सामग्री को इस तरह व्यवस्थित करने के बारे में अधिक है ताकि वे सेटिंग्स पूर्वानुमानित रूप से व्यवहार करें।
- लेबल किए गए आइटम बैंक बनाएं। प्रश्नों को विषय और कठिनाई के अनुसार समूहित करें, और प्रत्येक को उस सीखने के परिणाम के लिए टैग करें जिसे वह मापता है, ताकि एक यादृच्छिक ड्रॉ अभी भी सही सामग्री को कवर करे।
- ड्रॉ नियम सेट करें। एक विशाल बैंक से खींचने के बजाय प्रति अनुभाग "इस पूल से X प्रश्न खींचें" कॉन्फ़िगर करें, और जहाँ उचित हो वहाँ उत्तर-विकल्प फेरबदल चालू करें।
- सीड के साथ पूर्वावलोकन करें। Qualtrics जैसे प्लेटफ़ॉर्म randomize-block सुविधाओं का दस्तावेज़ीकरण करते हैं जो आपको एक परीक्षण ड्रॉ उत्पन्न करने और छात्रों के देखने से पहले आउटपुट की पुष्टि करने देते हैं।
- जो लॉक करना जरूरी हो उसे लॉक करें। फिक्स्ड-पोजीशन उत्तर और किसी भी आवास-संबंधी सेटिंग्स (विस्तारित समय, स्क्रीन रीडर) को फेरबदल से अप्रभावित रहना चाहिए।
- मैपिंग निर्यात करें। यह रिकॉर्ड रखें कि किस सीड या ड्रॉ ने कौन सा संस्करण बनाया, ताकि ग्रेडिंग और अपील उस सटीक परीक्षण को संदर्भित कर सके जो छात्र ने दिया।
Canvas और इसी तरह के सिस्टम में आइटम बैंक ठीक इसी वर्कफ़्लो के लिए बनाए गए हैं, जो एक साझा बैंक से प्रति छात्र एक अलग उपसमूह उत्पन्न करते हैं। RSQE डिज़ाइन के एक Monte Carlo अध्ययन में पाया गया कि सब-पूल की संख्या और ड्रॉ अनुपात सीधे यह निर्धारित करते हैं कि दो छात्रों के अंत में कितनी बार ओवरलैपिंग प्रश्न होते हैं, यही कारण है कि अगला अनुभाग पूल की गहराई को विस्तार से कवर करता है।
यादृच्छिक परीक्षणों को निष्पक्ष रखने के लिए डिज़ाइन की सर्वोत्तम प्रथाएँ
यादृच्छिकरण तभी काम करता है जब जिन पूल से वह खींचता है वे अच्छी तरह से बने हों। प्रति सब-पूल पाँच आइटम वाला एक उथला पूल चाहे जितना अच्छा शफल एल्गोरिदम हो, एक बड़ी कक्षा में लगातार प्रश्न दोहराएगा।
इस पर सबसे मजबूत साक्ष्य 600 यादृच्छिक रूप से चुनी गई प्रश्न परीक्षाओं के 2022 के Monte Carlo विश्लेषण से आता है, जिसमें पाया गया कि कम प्रश्न-से-पूल अनुपात के साथ कई सब-पूल का उपयोग करना, 5 से 10 प्रतिशत की सीमा में, छात्रों के बीच दोहराए गए और क्रमिक-ओवरलैप प्रश्नों को तेजी से कम करता है। व्यवहार में, इसका मतलब है कि 40 के बजाय 100 से 200 सब-पूल आइटम से खींचने पर 10-प्रश्न परीक्षा बेहतर काम करती है।
केवल गहराई पर्याप्त नहीं है। कुछ अन्य नियम भी उतने ही महत्वपूर्ण हैं:
- सब-पूल के भीतर प्रत्येक आइटम को लगभग समान कठिनाई पर समान सीखने के परिणाम का परीक्षण करना चाहिए, ताकि कोई भी छात्र संयोग से आसान या कठिन संस्करण न निकाले।
- प्रत्येक परीक्षण विंडो के बाद पूल को रिटायर और पुनः भरें, विशेष रूप से उच्च-नामांकन पाठ्यक्रमों के लिए जहाँ एक ही परीक्षा कई अनुभागों या सेमेस्टर में चलती है।
- यदि आप टेम्पलेट से आइटम उत्पन्न करते हैं, तो नए आइटम को लाइव पूल में जोड़ने से पहले एक कठिनाई जाँच, ऐतिहासिक प्रदर्शन डेटा या अनुकरणीय item response theory (IRT) ड्रॉ चलाएं।
यादृच्छिक बहुविकल्पीय परीक्षाओं पर ऐतिहासिक प्रयोगों में सामान्यतः औसत प्रदर्शन में कोई मापनीय गिरावट नहीं पाई गई जब आइटम को कठिनाई के लिए ठीक से कैलिब्रेट किया गया हो। यह निष्कर्ष पूरी तरह से पहले कैलिब्रेशन कार्य करने पर निर्भर करता है।
कार्यान्वयन चेकलिस्ट: सेटिंग्स, मेटाडेटा और रन-डे जाँच
रोलआउट को एक बड़े कॉन्फ़िगरेशन सत्र के रूप में नहीं बल्कि तीन चरणों के रूप में मानें।
- परीक्षा से पहले: प्रत्येक आइटम को विषय, कठिनाई और परिणाम के अनुसार टैग करें। कम ड्रॉ अनुपात के साथ सब-पूल बनाएं। एक पायलट पूर्वावलोकन चलाएं और पुष्टि करें कि फिक्स्ड-आंसर स्थितियाँ फेरबदल के बाद भी बनी रहती हैं।
- परीक्षा के दौरान: जैसे-जैसे छात्र परीक्षण के माध्यम से काम करते हैं, सत्र लॉग की निगरानी करें, और पुष्टि करें कि एक्सेसिबिलिटी आवास, विस्तारित समय, स्क्रीन रीडर संगतता, यादृच्छिकरण सेटिंग्स के माध्यम से बिना ओवरराइड किए बने रहे।
- परीक्षा के बाद: पूर्ण सीड-से-छात्र मैपिंग निर्यात करें ताकि आप ठीक से पुनर्निर्माण कर सकें कि प्रत्येक छात्र को कौन सा संस्करण मिला। सबमिशन में एक बुनियादी उत्तर-पैटर्न स्कैन चलाएं, और समीक्षा के लिए निष्पक्षता मेट्रिक्स लॉग करें।
प्रो टिप: सीड-से-छात्र मैपिंग उसी दिन स्टोर करें जब आप परीक्षा देते हैं, न कि तीन सप्ताह बाद रिग्रेड अनुरोध आने पर। यह पुनर्निर्माण करना कि किस छात्र ने कौन सा संस्करण लिया, जितनी देर आप प्रतीक्षा करते हैं उतना कठिन होता जाता है।
बड़े समूहों का प्रबंधन करने वाली टीमें अक्सर इस चेकलिस्ट को एक व्यापक उच्च-मात्रा मूल्यांकन वर्कफ़्लो में शामिल कर लेती हैं ताकि रन-डे के चरण प्रत्येक परीक्षण चक्र में एक बार की हड़बड़ी के बजाय नियमित बन जाएं।
यादृच्छिकरण की सीमाएँ और पूरक अखंडता उपकरण
यादृच्छिकरण धोखाधड़ी के अवसर को संकुचित करता है। यह तथ्य के बाद इसका पता नहीं लगाता, और यह गारंटी नहीं देता कि परीक्षण का प्रत्येक संस्करण समान रूप से कठिन है।
- सांख्यिकीय पहचान अभी भी महत्वपूर्ण है। एक यादृच्छिकरण p-मान परीक्षण छात्रों के बीच संदिग्ध रूप से समान उत्तर पैटर्न को फ्लैग कर सकता है, भले ही प्रश्नों को स्वयं फेरबदल किया गया हो या विभिन्न सब-पूल से खींचा गया हो।
- इसे प्रॉक्टरिंग और लॉग के साथ जोड़ें। सत्र रिकॉर्डिंग और टाइमस्टैम्प की गई गतिविधि लॉग ऐसे व्यवहार को पकड़ती हैं जो अकेले यादृच्छिकरण नहीं कर सकता, जैसे परीक्षा के बीच में ब्राउज़र टैब स्विच करना।
- IRT से निष्पक्षता जाँचें। 100 पर्म्युटेशन और प्रति छात्र 500 रन में item response theory सिमुलेशन का उपयोग करके University of Illinois के विश्लेषण में पाया गया कि अधिकांश यादृच्छिक-पूल परीक्षाएँ उचित रूप से निष्पक्ष थीं, जब किसी विशेष पूल ड्रॉ के बहुत आसान या बहुत कठिन होने पर फ्लैग करने के लिए mean absolute deviation जैसे मेट्रिक्स का उपयोग किया गया।
जब निष्पक्षता जाँच किसी समस्या को फ्लैग करती है, तो आमतौर पर सुधार सब-पूल को फिर से डिज़ाइन करना होता है, न कि यादृच्छिकरण को पूरी तरह छोड़ देना।
मैन्युअल सेटअप कार्य के बिना यादृच्छिक, भूमिका-विशिष्ट परीक्षण बनाएं
ऊपर कवर की गई हर चीज़, आइटम टैग करना, सब-पूल बनाना, फिक्स्ड उत्तर लॉक करना, यह ट्रैक करना कि प्रत्येक व्यक्ति को कौन सा संस्करण मिला, इसे हाथ से कॉन्फ़िगर करने में वास्तविक घंटे लगते हैं। Talent Approved उस सेटअप को मिनटों तक कम कर देता है। इसकी Magic Create सुविधा किसी जॉब डिस्क्रिप्शन या कौशल की सूची से सीधे एक भूमिका-विशिष्ट कौशल मूल्यांकन बनाती है, फिर पुन: उपयोग योग्य प्रश्न लाइब्रेरी पर ड्रॉ करती है ताकि आप हर बार जब आप नियुक्त करें तो एक खाली पूल से शुरू न करें।
प्लेटफ़ॉर्म की धोखाधड़ी-रोधी परत, स्क्रीन और वेबकैम मॉनिटरिंग, सत्र रिप्ले और पूर्ण सीड मैपिंग, चेकलिस्ट के परिचालन पक्ष को स्वचालित रूप से संभालती है, और AI-जनरेटेड सारांश का मतलब है कि आपको निष्पक्षता का न्याय करने या विसंगतियों को फ्लैग करने के लिए प्रत्येक उम्मीदवार की कच्ची प्रतिक्रियाओं की मैन्युअल समीक्षा नहीं करनी होगी। क्योंकि Talent Approved बिना किसी सब्सक्रिप्शन के प्रति पूर्ण उम्मीदवार मूल्यांकन $5 चार्ज करता है, उच्च-मात्रा भर्ती दौर चलाने वाली टीमों को इस गाइड में वर्णित वही यादृच्छिक, सुरक्षित परीक्षण बुनियादी ढाँचा मिलता है, बिना उस सॉफ़्टवेयर के लिए भुगतान किए जिसे वे साल में दो बार उपयोग करते हैं। एक मूल्यांकन बनाना शुरू करें और देखें कि एक जॉब डिस्क्रिप्शन कितनी जल्दी एक लाइव, छेड़छाड़-प्रतिरोधी परीक्षण में बदल जाता है।
लेखक का दृष्टिकोण: वास्तव में क्या काम आता है
अधिकांश टीमें शफल सेटिंग्स में अधिक निवेश करती हैं और पूल की गहराई में कम निवेश करती हैं। किसी भी शफलिंग टॉगल की तुलना में कम ड्रॉ अनुपात वाला एक व्यापक सब-पूल निष्पक्षता के लिए अधिक काम करता है। उच्च-दांव वाले मूल्यांकन आवश्यकता से अधिक सब-पूल के साथ शुरू करें, उन्हें पायलट करें, और यह बताने दें कि परीक्षा के बाद के निष्पक्षता डेटा, न कि अंतर्ज्ञान, आपको बताएं कि पूल कहाँ बहुत पतले हैं।
— Jimmie
स्रोत
- Canvas क्विज़ में प्रश्नों और उत्तर विकल्पों को फेरबदल करना
- ऑनलाइन परीक्षाओं में दोहराए गए और क्रमिक प्रश्नों को संबोधित करने के लिए व्यावहारिक यादृच्छिक रूप से चुनी गई प्रश्न परीक्षा डिज़ाइन
- क्या हम निष्पक्ष हैं? यादृच्छिक प्रश्न पूल के साथ कंप्यूटर विज्ञान परीक्षाओं के स्कोर प्रभावों की मात्रा निर्धारित करना
FAQ
यादृच्छिकरण परीक्षण क्या है?
मूल्यांकन डिज़ाइन में, यादृच्छिकरण परीक्षण प्रत्येक परीक्षार्थी को अलग-अलग प्रश्न क्रम, उत्तर अनुक्रम, या आइटम सेट प्रस्तुत करने को संदर्भित करता है, जिसे अक्सर एक सांख्यिकीय यादृच्छिकरण p-मान परीक्षण के साथ जोड़ा जाता है जो बाद में छात्रों के बीच संदिग्ध उत्तर-पैटर्न समानता का पता लगाने के लिए उपयोग किया जाता है।
किसी प्रश्न का यादृच्छिक होने का क्या मतलब है?
एक यादृच्छिक प्रश्न या तो प्रत्येक परीक्षार्थी के लिए अलग स्थिति में दिखाई देता है, इसके उत्तर विकल्प फेरबदल किए गए होते हैं, या इसे समकक्ष आइटम के एक पूल से खींचा जाता है ताकि अलग-अलग छात्रों को एक ही प्रश्न भी न दिखे।
सबसे अधिक यादृच्छिक किए जाने वाले पाँच प्रकार के परीक्षण प्रश्न कौन से हैं?
बहुविकल्पीय, सही/गलत, मिलान, रिक्त स्थान भरें, और लघु-उत्तर आइटम सभी आमतौर पर यादृच्छिक किए जाते हैं, हालाँकि बहुविकल्पीय को सबसे परिष्कृत उपचार मिलता है क्योंकि प्रश्न क्रम और उत्तर-विकल्प क्रम दोनों स्वतंत्र रूप से फेरबदल हो सकते हैं।
मैं परीक्षण को अनुचित बनाए बिना प्रश्नों को कैसे यादृच्छिक करूं?
कम प्रश्न-से-पूल अनुपात के साथ कई सब-पूल का उपयोग करें, आम तौर पर 5 से 10 प्रतिशत, और यह सुनिश्चित करें कि लाइव होने से पहले सब-पूल में प्रत्येक आइटम समान कठिनाई पर समान परिणाम का परीक्षण करे।
क्या Talent Approved मूल्यांकन प्रश्नों को स्वचालित रूप से यादृच्छिक कर सकता है?
हाँ। Talent Approved की पुन: उपयोग योग्य प्रश्न लाइब्रेरी और Magic Create सुविधा भर्तीकर्ताओं को स्क्रैच से पूल को मैन्युअल रूप से कॉन्फ़िगर किए बिना यादृच्छिक आइटम चयन और अंतर्निहित धोखाधड़ी-रोधी मॉनिटरिंग के साथ भूमिका-विशिष्ट मूल्यांकन बनाने देती है।