TalentApproved

आंशिक क्रेडिट स्कोरिंग और Rasch के लिए 3 स्प्रेडशीट फॉर्मूले

आंशिक क्रेडिट स्कोरिंग और Rasch के लिए 3 स्प्रेडशीट फॉर्मूले

आंशिक क्रेडिट स्कोरिंग एक सर्वस्व-या-कुछ-नहीं परिणाम के बजाय एक सीमा के साथ अंक प्रदान करती है, जिससे किसी परीक्षार्थी को उत्तर के उस हिस्से का श्रेय मिलता है जो सही है। शिक्षक इसका उपयोग इसलिए करते हैं क्योंकि यह उस आंशिक ज्ञान को मापता है जिसे द्विभाजक, सही-या-गलत स्कोरिंग नष्ट कर देती है, और अच्छी तरह से डिज़ाइन किए गए आंशिक-क्रेडिट फ़ंक्शन यादृच्छिक अनुमान से मिलने वाले लाभ को दबाते हैं। यह बहुभागीय प्रश्नों, बहु-प्रतिक्रिया प्रश्नों और रूब्रिक के विरुद्ध ग्रेड की गई निर्मित प्रतिक्रियाओं पर सबसे उपयुक्त बैठता है, विशेष रूप से जब आपको एक साधारण पास/फेल स्कोर से अधिक सूक्ष्म नैदानिक जानकारी की आवश्यकता होती है।

TL;DR:

  • आंशिक क्रेडिट स्कोरिंग बहुभागीय, बहु-प्रतिक्रिया और निर्मित-प्रतिक्रिया प्रश्नों पर सरल सही-या-गलत दृष्टिकोण की तुलना में छात्र ज्ञान को बेहतर ढंग से कैप्चर करती है।
  • सबसेट-चयन और रैखिक दंड जैसी विधियाँ अनुमान को नियंत्रित करती हैं, लेकिन स्पष्ट निर्देशों की आवश्यकता होती है और स्कोरिंग व रेटर प्रशिक्षण में जटिलता पैदा कर सकती हैं।
  • अनुभवजन्य शोध दर्शाता है कि आंशिक क्रेडिट विश्वसनीयता और भेदभाव में सुधार करती है, विशेष रूप से बड़े पैमाने पर या अनुमान लगाने की प्रवृत्ति वाले बहु-प्रतिक्रिया प्रश्नों के साथ।
  • अधिकांश कक्षा मूल्यांकनों को Rasch आंशिक क्रेडिट जैसे उन्नत मॉडल की आवश्यकता नहीं होती, जो बड़े पैमाने के परीक्षण कार्यक्रमों और प्रमाणन परीक्षाओं के लिए आरक्षित हैं।
  • समर्पित उपकरणों का उपयोग जो रूब्रिक अनुप्रयोग, रेटर की निरंतरता और स्कोरिंग पारदर्शिता को स्वचालित करते हैं, कार्यान्वयन को सरल बनाता है और उचित, सुसंगत आंशिक क्रेडिट मूल्यांकन सुनिश्चित करता है।
Talent Approved
CV से परे कौशल का मूल्यांकन करें
Talent Approved नियोक्ताओं को संरचित, भूमिका-विशिष्ट मूल्यांकन बनाने और उम्मीदवार की क्षमताओं की अधिक आत्मविश्वास के साथ समीक्षा करने में मदद करता है।

विषय-सूची

आंशिक क्रेडिट स्कोरिंग का अर्थ और इसका उपयोग कब करें

द्विभाजक स्कोरिंग किसी उत्तर को या तो पूरी तरह सही या पूरी तरह गलत मानती है, एक अंक या शून्य। आंशिक क्रेडिट स्कोरिंग उस द्विआधारी सीमा को तोड़ती है। एक छात्र जो बहु-प्रतिक्रिया प्रश्न पर चार में से तीन सही विकल्प चुनता है, या जो बहु-चरणीय समस्या की स्थापना सही करता है लेकिन अंतिम गणना में गड़बड़ा जाता है, उसे उसके द्वारा वास्तव में प्रदर्शित किए गए के अनुपात में क्रेडिट मिलता है।

आंशिक क्रेडिट का तर्क तीन व्यावहारिक परिणामों पर टिका है। पहला, यह उस आंशिक ज्ञान को कैप्चर करता है जिसे कड़ा सही/गलत नियम मिटा देता है, जो कई उचित उप-उत्तरों वाले प्रश्नों पर सबसे महत्वपूर्ण है। दूसरा, उचित रूप से निर्मित स्कोरिंग फ़ंक्शन यादृच्छिक अनुमान के अपेक्षित मान को नकारात्मक बना सकते हैं, जिससे अनुमान लगाना एक तर्कसंगत रणनीति नहीं रहती — यह प्रभाव स्कोरिंग-फ़ंक्शन शोध में औपचारिक रूप से मॉडल किया गया है। तीसरा, बहु-प्रतिक्रिया प्रश्नों पर अनुभवजन्य तुलनाओं में पाया गया कि आंशिक-क्रेडिट विधियों ने द्विभाजक स्कोरिंग की तुलना में विश्वसनीयता और प्रश्न भेदभाव दोनों में सुधार किया।

आपको हर जगह आंशिक क्रेडिट की आवश्यकता नहीं है। एकल सही उत्तरों वाली शब्दावली प्रश्नोत्तरी से इसे कोई लाभ नहीं मिलता और यह केवल स्कोरिंग जटिलता बढ़ाती है। आंशिक क्रेडिट का उपयोग तब करें जब प्रश्न वास्तव में बहुभागीय हों, जब बहु-प्रतिक्रिया प्रश्नों में दो से अधिक उचित विकल्प हों, या जब निर्मित प्रतिक्रिया को स्पष्ट, ग्रेड योग्य घटकों वाले रूब्रिक में विभाजित किया जा सके।

सामान्य आंशिक-क्रेडिट स्कोरिंग विधियाँ

हर संदर्भ में कोई एक फ़ॉर्मूला नहीं जीतता। इस क्षेत्र की क्लासिक समीक्षाएँ विधियों की एक श्रृंखला सूचीबद्ध करती हैं और लगातार एक सार्वभौमिक विजेता के बजाय समझौतों को पाती हैं, इसलिए सही विकल्प प्रश्न प्रारूप और इस बात पर निर्भर करता है कि आप किससे बचाव करना चाहते हैं — चाहे वह अनुमान लगाना हो, रेटर की असंगति हो, या खुद स्कोरिंग की जटिलता हो।

  • आनुपातिक (संख्या-सही) स्कोरिंग। अंक कुल संभावित चयनों में से सही चयनों के अंश के बराबर होते हैं। गणना करना सरल है, छात्रों को समझाना आसान है, लेकिन बहु-प्रतिक्रिया प्रश्नों पर खेल के प्रति संवेदनशील है जहाँ सब कुछ चुनने से आधार स्कोर की गारंटी मिलती है।
  • सबसेट-चयन (SS) स्कोरिंग। पूरा क्रेडिट तभी जब सटीक सही सबसेट चुना जाए; उन सबसेट के लिए आंशिक क्रेडिट जो कुंजी के उचित मिलान हैं, गलत विकल्पों के लिए दंड के साथ।순수 आनुपातिक स्कोरिंग की तुलना में बेहतर अनुमान नियंत्रण, थोड़े अधिक जटिल नियम की व्याख्या की कीमत पर।
  • संशोधित Zapechelnyuk-शैली फ़ंक्शन। ये एक गणितीय रूप से व्युत्पन्न दंड संरचना का उपयोग करते हैं जो इस प्रकार डिज़ाइन की गई है कि अंधा अनुमान लगाने का अपेक्षित मान नकारात्मक हो जाए, जिससे अनुमान की समस्या को सीधे संबोधित किया जाता है न कि केवल सहन किया जाता है।
  • रैखिक-दंड मॉडल। स्कोर सही चयनों की संख्या माइनस गलत चयनों की भारित गणना के बराबर होता है। दंड भार को समायोजित करके ट्यून करने योग्य, जो आपको यह कैलिब्रेट करने देता है कि आप अत्यधिक चयन को कितनी आक्रामकता से हतोत्साहित करना चाहते हैं।
  • रूब्रिक-आधारित अंशांकन। निर्मित प्रतिक्रियाओं को एक क्रमबद्ध रूब्रिक (उदाहरण के लिए 0 से 4) के विरुद्ध स्कोर किया जाता है, फिर कुल प्रश्न अंकों के अंश में परिवर्तित किया जाता है। यह निबंधों, बहु-चरणीय गणित समस्याओं और प्रयोगशाला रिपोर्ट के लिए मानक दृष्टिकोण है।

आनुपातिक स्कोरिंग बहु-चयन और बहु-रिक्त प्रश्नों के लिए उपयुक्त है जहाँ प्रारूप सरल है और अनुमान का जोखिम कम है। सबसेट-चयन और रैखिक-दंड मॉडल बहु-प्रतिक्रिया प्रश्नों के लिए उपयुक्त हैं जहाँ विकर्षक इतने आकर्षक हैं कि यादृच्छिक चयन स्कोर बढ़ा सकता है। रूब्रिक-आधारित अंशांकन वास्तव में खुली निर्मित प्रतिक्रियाओं के लिए एकमात्र सही विकल्प है, क्योंकि विभाजित करने के लिए कोई स्पष्ट "सही की संख्या" नहीं होती।

विधियों में समझौते का पैटर्न सुसंगत है: सरल फ़ॉर्मूले (आनुपातिक स्कोरिंग) छात्रों और प्रशिक्षकों के लिए समझने में सबसे आसान हैं लेकिन अनुमान के विरुद्ध सबसे कमजोर हैं, जबकि दंड-आधारित और सबसेट विधियाँ अनुमान को बेहतर नियंत्रित करती हैं लेकिन स्पष्ट निर्देशों की माँग करती हैं ताकि छात्र समझें कि चयन कैसे तौले जाते हैं। रूब्रिक-आधारित स्कोरिंग एक अलग जोखिम उठाती है: रेटर असंगति, जिसे कोई भी फ़ॉर्मूला अपने आप ठीक नहीं कर सकता।

आंशिक क्रेडिट की गणना कैसे करें: कार्य किए गए उदाहरण

ऊपर के फ़ॉर्मूले तब तक बेकार हैं जब तक आप खुद संख्याएँ नहीं चला सकते। यहाँ तीन कार्य किए गए उदाहरण हैं जिन्हें आप सीधे स्प्रेडशीट में स्थानांतरित कर सकते हैं।

1. चार-विकल्प बहु-चयन प्रश्न पर आनुपातिक स्कोरिंग।

मान लीजिए एक प्रश्न में छह कुल विकल्पों में से चार सही विकल्प हैं, जो 4 अंक का है। एक छात्र 4 में से 3 सही विकल्प और 0 विकर्षक चुनता है।

स्कोर = (सही चयन / कुल सही विकल्प) × प्रश्न अंक स्कोर = (3 / 4) × 4 = 3.0 अंक

2. विकर्षक दंड के साथ सबसेट-चयन।

वही प्रश्न: 4 सही विकल्प, 2 विकर्षक, कुल 4 अंक। इस बार छात्र 3 सही विकल्प और 1 विकर्षक चुनता है।

स्कोर = [(सही चयन / कुल सही) − (चुने गए विकर्षक / कुल विकर्षक)] × प्रश्न अंक, शून्य पर फ्लोर किया गया स्कोर = [(3/4) − (1/2)] × 4 = [0.75 − 0.5] × 4 = 1.0 अंक

इसे केवल-आनुपातिक विधि से तुलना करें, जो विकर्षक को पूरी तरह नजरअंदाज करती और समान प्रतिक्रिया के लिए 3.0 अंक देती। यह अंतर ही उन प्रश्नों पर दंड-आधारित विधियों का संपूर्ण तर्क है जहाँ विकर्षक वास्तव में आकर्षक हैं।

तीन आंशिक क्रेडिट फ़ॉर्मूलों की तुलना

3. 20-अंक प्रश्न पर रूब्रिक-से-अंश रूपांतरण।

एक बहु-चरणीय गणित समस्या को 0 से 4 रूब्रिक पर ग्रेड किया जाता है: 0 (कोई वैध दृष्टिकोण नहीं), 1 (केवल सही सेटअप), 2 (सही विधि, बड़ी गलती), 3 (सही विधि, छोटी गलती), 4 (पूरी तरह सही)। प्रश्न कुल 20 अंक का है।

भिन्नात्मक स्कोर = (अर्जित रूब्रिक अंक / अधिकतम रूब्रिक अंक) × प्रश्न अंक जो छात्र रूब्रिक पर 3 अर्जित करता है उसे मिलता है: (3/4) × 20 = 15 अंक

उस रूपांतरण को एक कक्षा रोस्टर में चलाएँ और आपको एक वितरण मिलेगा जो सरल प्रतिशत-सही हिस्टोग्राम जैसा बिल्कुल नहीं दिखता: स्कोर रूब्रिक बैंड (0, 5, 10, 15, 20) के आसपास क्लस्टर होते हैं न कि लगातार फैलते हैं — जो जानने योग्य बात है इससे पहले कि आप इसके आसपास ग्रेड कर्व बनाएँ।

प्रो टिप: परीक्षा विंडो खुलने से पहले इन तीन फ़ॉर्मूलों को एक साझा स्प्रेडशीट टेम्पलेट में नामित फ़ंक्शन के रूप में बनाएँ। छात्रों के उत्तर जमा करने के बाद स्कोरिंग फ़ॉर्मूला जोड़ना वह स्थान है जहाँ अधिकांश स्कोरिंग विवाद शुरू होते हैं।

सांख्यिकीय मॉडल और IRT: Rasch आंशिक क्रेडिट मॉडल

भिन्नात्मक स्कोरिंग फ़ॉर्मूले उत्तर देते हैं "इस प्रतिक्रिया ने कितने अंक अर्जित किए।" आइटम प्रतिक्रिया सिद्धांत (IRT) एक अलग प्रश्न का उत्तर देता है: "यह प्रतिक्रिया वास्तव में कितनी क्षमता इंगित करती है, एक बार जब हम प्रत्येक प्रतिक्रिया श्रेणी तक पहुँचने की कठिनाई को ध्यान में रखते हैं।" यह अंतर तब महत्वपूर्ण हो जाता है जब आप एकल-कक्षा ग्रेडिंग से उस किसी भी संदर्भ में जाते हैं जहाँ स्कोर को फ़ॉर्म, समूहों या वर्षों में तुलना करने योग्य होना चाहिए।

Rasch आंशिक क्रेडिट मॉडल, जिसे Geoff Masters ने विकसित किया, क्रमबद्ध प्रतिक्रिया श्रेणियों वाले प्रश्नों तक मानक द्विभाजक Rasch मॉडल का विस्तार करता है। "4 में से चरण 2" को केवल "4 में से चरण 4" का आधा मानने के बजाय, Rasch PCM प्रत्येक आसन्न श्रेणी जोड़ी के बीच संक्रमण के लिए एक अलग थ्रेशोल्ड पैरामीटर अनुमानित करता है। रूब्रिक पर 1 से 2 तक जाने के लिए 2 से 3 तक जाने की तुलना में काफी अधिक प्रदर्शित क्षमता की आवश्यकता हो सकती है, और मॉडल यह प्रत्येक चरण को समान मानने के बजाय कैप्चर करता है।

रूब्रिक श्रेणियों के बीच असमान थ्रेशोल्ड

व्यावहारिक लाभ पैरामीटर पृथक्करण है: परीक्षार्थी की अनुमानित क्षमता और प्रश्न के श्रेणी थ्रेशोल्ड एक-दूसरे से स्वतंत्र रूप से अनुमानित किए जा सकते हैं, जो क्रॉस-फ़ॉर्म तुलनाओं को पहले स्थान पर सांख्यिकीय रूप से उचित बनाता है।

अतिरिक्त जटिलता कब उचित है?

  • बड़े पैमाने के परीक्षण कार्यक्रम, जहाँ हजारों प्रतिक्रियाओं को कई परीक्षा फ़ॉर्म में सुसंगत व्याख्या की आवश्यकता होती है।
  • लिंकिंग और समकक्षता, जब छात्रों के विभिन्न समूह किसी परीक्षा के विभिन्न संस्करण लेते हैं और स्कोर का प्रत्येक पर एक ही अर्थ होना चाहिए।
  • सटीक प्रश्न अंशांकन, जब आपको यह जानना हो कि रूब्रिक पर "2" और "3" के बीच कितनी क्षमता का अंतर है, न कि समान अंतराल मानना।
  • विभेदक प्रश्न कार्यप्रणाली जाँच, जहाँ आपको यह पुष्टि करनी हो कि किसी प्रश्न के आंशिक-क्रेडिट चरण जनसांख्यिकीय समूहों में सुसंगत रूप से व्यवहार करते हैं, इससे पहले कि आप समग्र स्कोर पर भरोसा करें।

एकल कक्षा प्रश्नोत्तरी को लगभग कभी भी Rasch अंशांकन की आवश्यकता नहीं होती। राष्ट्रीय स्तर पर प्रशासित, परीक्षण विंडो में पुन: उपयोग की जाने वाली और वास्तविक परिणामों के साथ पास/फेल निर्णयों के लिए निर्भर प्रमाणन परीक्षा को लगभग हमेशा होती है। "स्प्रेडशीट फ़ॉर्मूला उपयोग करें" और "IRT सॉफ़्टवेयर उपयोग करें" के बीच की रेखा वास्तव में दाँव और पैमाने के बारे में है, प्रश्न प्रारूप के बारे में नहीं।

कार्यान्वयन सर्वोत्तम अभ्यास: डिज़ाइन, कॉन्फ़िगरेशन और रिपोर्टिंग

आंशिक क्रेडिट को सही ढंग से लागू करना किसी भी छात्र के प्रश्न देखने से पहले शुरू होता है, और यह स्कोर जनरेट होने पर समाप्त नहीं होता। तीन चरण जानबूझकर ध्यान देने योग्य हैं: डिज़ाइन, प्लेटफ़ॉर्म कॉन्फ़िगरेशन, और रिपोर्टिंग।

डिज़ाइन चेकलिस्ट। कोई भी एकल प्रश्न लिखने से पहले, स्कोरिंग नियम तय करें — पायलटिंग के बाद असंगति प्रकट होने पर नहीं।

  • रूब्रिक या बिंदु-आवंटन नियम उसी समय लिखें जब आप प्रश्न लिखते हैं, बाद में नहीं।
  • समान प्रश्नों में एक सुसंगत बिंदु पैमाने का उपयोग करें ताकि छात्र अनुमान लगा सकें कि आंशिक क्रेडिट कैसे वितरित होता है।
  • बड़े पैमाने पर तैनात करने से पहले नए रूब्रिक को वास्तविक या अभ्यास प्रतिक्रियाओं के एक छोटे नमूने पर पायलट करें, और जहाँ दो रेटर असहमत हों वहाँ एंकर विवरण समायोजित करें।
  • प्रत्येक स्कोर बैंड के लिए 3 से 5 एंकर प्रतिक्रियाएँ परिभाषित करें, एक अभ्यास जो रूब्रिक-आधारित आंशिक क्रेडिट स्कोरिंग पर शोध द्वारा समर्थित है जो स्वीकार्य अंतर-रेटर सहमति तक पहुँचने के लिए उदाहरण स्क्रिप्ट के विरुद्ध रेटरों को प्रशिक्षित करने की सिफारिश करता है।

LMS और प्लेटफ़ॉर्म कॉन्फ़िगरेशन। अधिकांश लर्निंग मैनेजमेंट सिस्टम परीक्षा-स्तरीय सेटिंग्स के बजाय प्रश्न-स्तरीय विकल्पों के अंदर आंशिक-क्रेडिट सेटिंग्स छुपाते हैं, इसलिए यह मानने के बजाय कि एक वैश्विक टॉगल सब कुछ कवर करता है, प्रत्येक प्रश्न प्रकार की जाँच व्यक्तिगत रूप से करें। पुष्टि करें कि छात्रों को दिखाई जाने वाली प्रतिक्रिया भिन्नात्मक स्कोर, रूब्रिक स्तर, या दोनों प्रदर्शित करती है, क्योंकि केवल एक गोल कुल दिखाना यह छुपा सकता है कि अंक वास्तव में कहाँ खोए गए। जब भी संभव हो कच्चा, बिना गोला किया डेटा निर्यात करें। जल्दी गोल करना और बाद में पुनर्गणना करना एक बड़े रोस्टर में मूक ग्रेडिंग त्रुटियाँ पेश करने के सबसे तेज़ तरीकों में से एक है।

रिपोर्टिंग। कच्चा भिन्नात्मक स्कोर और गोल कुल दोनों रिपोर्ट करें, और छात्र तक पहुँचने वाली स्कोर रिपोर्ट में स्पष्ट रूप से कहें। जो छात्र बिना किसी संदर्भ के "15/20" देखता है उसे यह जानने का कोई तरीका नहीं है कि उसने 5 अंक एक बड़ी गलती से खोए या कई छोटी गलतियों से। स्कोर रिपोर्ट के साथ संलग्न एक पंक्ति की व्याख्या कि आंशिक क्रेडिट कैसे गणना की गई, शुरू होने से पहले अधिकांश विवादों को हल करती है। संरचित मूल्यांकनों के लिए स्कोरिंग रूब्रिक बनाने वाली टीमें अतिरिक्त रूब्रिक डिज़ाइन मार्गदर्शन और टेम्पलेट पा सकती हैं जो भिन्नात्मक स्कोरिंग दृष्टिकोण के साथ सीधे जुड़ते हैं।

विश्वसनीयता, वैधता और अनुमान दमन

विश्वसनीयता वह प्रश्न है जो तय करता है कि आंशिक क्रेडिट अतिरिक्त जटिलता के लायक था या नहीं। यदि स्कोरिंग परिवर्तन आपके मूल्यांकन की निरंतरता में मापनीय सुधार नहीं करता, तो अतिरिक्त रेटर प्रशिक्षण और गणना ओवरहेड को उचित ठहराना कठिन है।

अनुभवजन्य रिकॉर्ड यहाँ अनुकूल रूप से झुकता है। बहु-प्रतिक्रिया प्रश्नों पर स्कोरिंग विधियों की तुलनात्मक अध्ययनों ने पाया कि आंशिक-क्रेडिट दृष्टिकोण ने सरल द्विभाजक स्कोरिंग की तुलना में विश्वसनीयता और भेदभाव में सुधार किया, विशेष रूप से दो से अधिक प्रतिक्रिया विकल्पों वाले प्रश्नों के लिए जहाँ सही/गलत विभाजन सार्थक भिन्नता को नष्ट कर देता है। अलग से, नकारात्मक अपेक्षित अनुमान मूल्य के आसपास डिज़ाइन किए गए स्कोरिंग फ़ंक्शन पर सैद्धांतिक कार्य ने पाया कि ये फ़ंक्शन सादे सही-या-गलत स्कोरिंग की तुलना में विश्वसनीयता और भेदभाव शक्ति दोनों में सुधार करते हैं, विशेष रूप से एक बार जब अनुमान दंड शामिल हो जाता है।

तीन व्यावहारिक जाँचें बताती हैं कि स्विच आपके अपने डेटा में भुगतान कर रहा है या नहीं:

प्रश्न-कुल सहसंबंध। आंशिक क्रेडिट पर स्विच करने के बाद इसे पुनः गणना करें। एक प्रश्न जिसका कुल स्कोर के साथ सहसंबंध सुधरता है वह नई स्कोरिंग नियम के तहत मजबूत प्रदर्शनकर्ताओं को कमजोर लोगों से बेहतर तरीके से अलग कर रहा है।

पहले और बाद में Cronbach का अल्फा। उसी परीक्षण डेटासेट को दोनों स्कोरिंग नियमों से चलाएँ और अल्फा मानों की सीधे तुलना करें। एक सार्थक वृद्धि एक मजबूत संकेत है कि आंशिक क्रेडिट ने वह जानकारी कैप्चर की जिसे बाइनरी संस्करण ने त्याग दिया था।

IRT फिट आँकड़े, जहाँ Rasch या अन्य IRT मॉडल पहले से उपयोग में है। श्रेणी थ्रेशोल्ड जो अव्यवस्थित निकलते हैं — अर्थात एक उच्च रूब्रिक स्कोर उच्च अनुमानित क्षमता से मेल नहीं खाता — एक ऐसे रूब्रिक को चिह्नित करते हैं जिसे संशोधन की आवश्यकता है, चाहे कच्ची विश्वसनीयता संख्याएँ कुछ भी कहें।

यह सब मुफ्त नहीं आता। स्कोरिंग जटिलता प्रत्येक जोड़े गए फ़ॉर्मूला भिन्नरूप के साथ बढ़ती है, रेटर परिवर्तनशीलता एक जीवंत चिंता बन जाती है जिस क्षण आप कोई रूब्रिक-आधारित घटक पेश करते हैं, और प्रशासनिक लागत तब बढ़ती है जब आपको एक सरल उत्तर कुंजी से परे सॉफ़्टवेयर या स्प्रेडशीट बुनियादी ढाँचे की आवश्यकता होती है। उन लागतों को अपने वास्तविक दाँव के विरुद्ध तौलें। साप्ताहिक प्रश्नोत्तरी शायद ही कभी ओवरहेड को उचित ठहराती है; प्रमाणन परीक्षा लगभग हमेशा करती है।

बहु-प्रतिक्रिया प्रश्नों के लिए स्कोरिंग टेम्पलेट

बहु-प्रतिक्रिया प्रश्न — जहाँ एक छात्र लंबी सूची से कई विकल्प चुनता है — वहीं हैं जहाँ अनुमान लगाना परीक्षण की वैधता को सबसे अधिक नुकसान पहुँचाता है। एक छात्र जो छह विकल्पों में से चार सही उत्तरों वाले "सभी सही उत्तर चुनें" प्रश्न पर हर विकल्प चुनता है, वह भोले आनुपातिक स्कोरिंग के तहत हमेशा आंशिक क्रेडिट प्राप्त करेगा, चाहे वह कुछ भी जानता हो या नहीं।

समाधान अपेक्षित मूल्य के इर्द-गिर्द निर्मित एक स्कोरिंग टेम्पलेट है। एक सामान्य संरचना: p1 अंक तब दें जब छात्र सटीक कुंजी (पूरा सही सेट) चुनता है, या कुछ फ़ॉर्मूलेशन में, जब हर विकर्षक सही तरीके से बाहर किया जाता है; अन्यथा एक pc − m फ़ॉर्मूला लागू करें, जहाँ pc सही का अनुपात है और m कुंजी के बाहर चयनों के अनुसार मापा गया दंड है। लक्ष्य, जैसा कि औपचारिक स्कोरिंग-फ़ंक्शन शोध बताता है, यह सुनिश्चित करना है कि गणित स्वयं लापरवाह अत्यधिक-चयन को हतोत्साहित करे।

  • दंड (m) को इस तरह आकार दें कि हर विकल्प चुनने, या यादृच्छिक रूप से चुनने का अपेक्षित मूल्य नकारात्मक या अधिकतम शून्य हो।
  • प्रश्न तैनात करने से पहले अपने दंड को "सब कुछ चुनें" प्रतिक्रिया के विरुद्ध परखें। यदि वह प्रतिक्रिया शून्य से ऊपर स्कोर करती है, तो दंड बहुत छोटा है।
  • इसे एक वास्तविक ईमानदार आंशिक-ज्ञान प्रतिक्रिया के विरुद्ध भी परखें। यदि एक छात्र जो 4 में से 3 सही विकल्पों को सही ढंग से पहचानता है, और दोनों विकर्षकों को बाहर करता है, लेकिन किसी ऐसे व्यक्ति से भी बदतर स्कोर करता है जिसने व्यापक रूप से अनुमान लगाया, तो दंड बहुत बड़ा है।

प्रश्न का वाक्यांश फ़ॉर्मूले जितना ही महत्वपूर्ण है। "सभी सही उत्तर चुनें" पढ़ने वाले निर्देश बिना दंड पर किसी मार्गदर्शन के छात्रों को अनुमान लगाने की ओर धकेलते हैं, क्योंकि शब्दों में कोई नकारात्मक संकेत नहीं है। एक छोटी पंक्ति जोड़ें जिसमें कहा जाए कि गलत चयन स्कोर को कम करते हैं, और आपको अधिक ईमानदार आंशिक-ज्ञान रिपोर्टिंग मिलती है, क्योंकि छात्रों के पास अब उन विकल्पों को चुनने का कोई प्रोत्साहन नहीं है जिनके बारे में वे अनिश्चित हैं।

स्केल करने से पहले व्यवसायी शासन चेकलिस्ट

पायलट समूह से परे आंशिक क्रेडिट लागू करने से पहले, ये चार जाँचें चलाएँ:

  1. रूब्रिक स्पष्टता। पुष्टि करें कि प्रत्येक रूब्रिक स्तर का एक स्पष्ट, अवलोकन योग्य एंकर विवरण है, न कि केवल "अधिकतर सही" जैसा अस्पष्ट लेबल।
  2. अंतर-रेटर विश्वसनीयता। बड़े पैमाने पर एकल रेटर के स्कोर पर भरोसा करने से पहले दो रेटरों द्वारा 20 से 30 नमूना प्रतिक्रियाओं को स्वतंत्र रूप से स्कोर करवाएँ और सहमति जाँचें।
  3. पायलट तुलना। उसी प्रतिक्रिया सेट को पुराने स्कोरिंग नियम और नए आंशिक-क्रेडिट नियम दोनों के तहत स्कोर करें, और विश्वसनीयता व ग्रेड वितरण की साथ-साथ तुलना करें।
  4. संवेदनशीलता विश्लेषण। अपने दंड भार या बिंदु आवंटन को थोड़ा बदलें और विश्लेषण दोबारा चलाएँ। स्कोरिंग-मॉडल मार्गदर्शन इस चरण की सिफारिश करता है क्योंकि छोटे भार परिवर्तन विश्वसनीयता परिणाम पलट सकते हैं या उम्मीदवार रैंकिंग को पूरी तरह पुनर्क्रमित कर सकते हैं।

हर स्कोरिंग निर्णय का दस्तावेज़ीकरण करें — जिसमें यह भी शामिल है कि एक विशेष फ़ॉर्मूला या दंड आकार क्यों चुना गया — एक ऐसे प्रारूप में जिसे हितधारक बाद में समीक्षा कर सकें। यह रिकॉर्ड एक उचित पायलट को एक उचित नीति में बदलता है।

जब आंशिक क्रेडिट अपनी जटिलता का औचित्य सिद्ध करती है

आंशिक क्रेडिट एक वास्तविक प्रशासनिक मूल्य टैग के साथ एक मापन उन्नयन है, और अन्यथा दिखावा करना पहली बार इसे पायलट करने वाले किसी भी व्यक्ति के साथ अन्याय है। विश्वसनीयता और भेदभाव में लाभ अच्छी तरह से प्रलेखित है, लेकिन जोड़ा गया बोझ भी: अधिक रेटर प्रशिक्षण, अधिक जटिल फ़ॉर्मूले, किसी दिए गए प्रश्न पर "आंशिक" का वास्तव में क्या अर्थ है इस पर असहमति के लिए अधिक जगह।

शोध पर मेरी ईमानदार राय यह है कि अधिकांश कक्षा-स्तरीय मूल्यांकनों को Rasch अंशांकन, सबसेट-चयन दंड, या ऊपर कवर की गई अधिक विस्तृत मशीनरी की आवश्यकता नहीं है। एक स्पष्ट रूब्रिक और आनुपातिक अंशांकन अधिकांश वास्तविक कक्षा आवश्यकताओं को पूरा करता है। जहाँ आंशिक क्रेडिट अपनी जटिलता का औचित्य सिद्ध करती है वह बड़े पैमाने पर है: प्रमाणन परीक्षाएँ, बहु-फ़ॉर्म परीक्षण कार्यक्रम, और कोई भी मूल्यांकन जहाँ एक गलत स्कोरिंग धारणा तीस के बजाय हजारों परीक्षार्थियों में गुणित होती है।

परिचालन बोझ ठीक वह जगह है जहाँ अच्छे प्लेटफ़ॉर्म टूलिंग गणना बदलती है, विशेष रूप से यदि आप वैश्विक भर्ती को स्वचालित करना और अनुपालन जोखिम कम करना चाहते हैं। एक उपकरण जो रूब्रिक अनुप्रयोग को स्वचालित करता है, रेटर निरंतरता को ट्रैक करता है, और स्कोरिंग निर्णयों को लॉग करता है, वह अधिकांश घर्षण को हटा देता है जो शिक्षकों को आंशिक क्रेडिट पायलट करने से रोकता है। पहले पायलट करें, विश्वसनीयता लाभ को अतिरिक्त लागत के विरुद्ध मापें, और दृष्टिकोण को तभी स्केल करें जब संख्याएँ वास्तव में इसे उचित ठहराएँ।

— Jimmie

बुनियादी ढाँचा खुद बनाए बिना आंशिक-क्रेडिट मूल्यांकन बनाएँ

आंशिक क्रेडिट स्कोरिंग में अधिकांश घर्षण गणित नहीं है। यह बुनियादी ढाँचा है: सुसंगत रूब्रिक लिखना, रेटरों को संरेखित रखना, और यह भरोसा करना कि किसी ने परीक्षण में हेरफेर नहीं किया। Talent Approved बिना सदस्यता के पे-एज़-यू-गो मॉडल के आसपास बना है, इसलिए आप केवल प्रति पूर्ण उम्मीदवार मूल्यांकन भुगतान करते हैं, और उस स्कोरिंग सॉफ़्टवेयर लाइसेंसिंग के ओवरहेड से बचते हैं जिसकी आपको कभी-कभी ही आवश्यकता हो सकती है।

Talent Approved

प्लेटफ़ॉर्म की Magic Create सुविधा नौकरी विवरण या कौशल सूची से सीधे एक भूमिका-विशिष्ट, रूब्रिक-तैयार मूल्यांकन बनाती है, जो मैन्युअल प्रश्न-लेखन चरण को पूरी तरह समाप्त कर देती है। स्क्रीन और वेबकैम मॉनिटरिंग के साथ सेशन रिप्ले सहित अंतर्निहित एंटी-चीट उपकरण, आंशिक-क्रेडिट परिणामों की अखंडता की रक्षा उसी तरह करते हैं जैसे रेटर प्रशिक्षण निर्मित-प्रतिक्रिया रूब्रिक की रक्षा करता है। AI-जनरेटेड प्रदर्शन सारांश भिन्नात्मक स्कोर को पठनीय उम्मीदवार रैंकिंग में बदलते हैं, बिना आपकी टीम को हाथ से कच्चे रूब्रिक गणित की व्याख्या करने के लिए मजबूर किए।

यदि आप छात्रों को ग्रेड देने के बजाय कौशल का मूल्यांकन कर रहे हैं, और स्कोरिंग बुनियादी ढाँचे के स्वामित्व के बिना आंशिक-क्रेडिट शैली की स्कोरिंग चाहते हैं, तो कौशल मूल्यांकन मूल्य निर्धारण पृष्ठ देखें और पता करें कि आपके अगले भर्ती दौर के लिए पायलट मूल्यांकन की लागत क्या होगी।

स्रोत

FAQ

आंशिक क्रेडिट की गणना कैसे करते हैं?

अर्जित अंकों (सही चयन, रूब्रिक स्तर, या सबसेट मिलान) को उस प्रश्न के लिए अधिकतम संभव अंकों से विभाजित करें, फिर प्रश्न के कुल अंक मूल्य से गुणा करें। सबसेट-चयन और रैखिक-दंड विधियाँ उस अंतिम गुणन से पहले गलत चयनों के लिए एक भारित दंड घटाती हैं।

क्रेडिट स्कोरिंग दृष्टिकोण के तीन मुख्य प्रकार क्या हैं?

मूल्यांकन डिज़ाइन में, तीन व्यापक दृष्टिकोण हैं: द्विभाजक (सही/गलत) स्कोरिंग, आंशिक-क्रेडिट स्कोरिंग (आनुपातिक, सबसेट-चयन, या दंड-आधारित फ़ॉर्मूले), और निर्मित प्रतिक्रियाओं के लिए रूब्रिक-आधारित भिन्नात्मक स्कोरिंग। प्रत्येक अलग प्रश्न प्रारूपों के लिए उपयुक्त है, और हर संदर्भ में कोई एकल दृष्टिकोण श्रेष्ठ नहीं है।

आंशिक-क्रेडिट स्कोरिंग प्रणाली को सबसे अधिक क्या कमजोर करता है?

अस्पष्ट रूब्रिक एंकर और असंगत रेटर प्रशिक्षण सबसे सामान्य विफलता बिंदु हैं, क्योंकि वे स्कोरकर्ताओं के बीच असहमति पैदा करते हैं जिसे कोई फ़ॉर्मूला बाद में सुधार नहीं कर सकता। दूसरा नजदीकी है एक दंड शब्द जो बहुत छोटे आकार का है, जो यादृच्छिक अनुमान को सांख्यिकीय रूप से लाभदायक छोड़ देता है बजाय इसे दबाने के।

क्या आंशिक क्रेडिट वास्तव में परीक्षण विश्वसनीयता में सुधार करती है?

बहु-प्रतिक्रिया प्रश्नों पर अनुभवजन्य तुलनाओं ने पाया कि आंशिक-क्रेडिट स्कोरिंग ने द्विभाजक स्कोरिंग की तुलना में विश्वसनीयता और भेदभाव दोनों में सुधार किया, विशेष रूप से जब स्कोरिंग फ़ंक्शन गलत चयनों को दंडित करता है। लाभ स्वचालित नहीं है। यह रूब्रिक स्पष्टता और दंड आकार पर निर्भर करता है।

क्या कोई प्लेटफ़ॉर्म कौशल मूल्यांकन के लिए आंशिक-क्रेडिट स्कोरिंग संभाल सकता है?

हाँ। Talent Approved अपनी Magic Create मूल्यांकन बिल्डर और एंटी-चीट मॉनिटरिंग के साथ रूब्रिक-आधारित स्कोरिंग का समर्थन करता है, जिससे भर्ती टीमें गणना बुनियादी ढाँचा खुद बनाए बिना भिन्नात्मक स्कोरिंग तर्क लागू कर सकती हैं। वर्तमान मूल्य निर्धारण कौशल मूल्यांकन पृष्ठ पर सूचीबद्ध है।