AI के साथ मूल्यांकन स्कोरिंग रूब्रिक्स बनाएं जिन्हें शिक्षक पायलट और स्केल कर सकें

AI के साथ मूल्यांकन स्कोरिंग रूब्रिक्स बनाएं जिन्हें शिक्षक पायलट और स्केल कर सकें

मूल्यांकन स्कोरिंग रूब्रिक ऐसे संरचित उपकरण हैं जो व्यक्तिपरक ग्रेडिंग को एक सुसंगत और तर्कसंगत प्रक्रिया में बदलते हैं। हर कार्यात्मक रूब्रिक के चार हिस्से होते हैं: एक कार्य विवरण, वे मानदंड जिन्हें आप माप रहे हैं, प्रदर्शन स्तर जो गुणवत्ता श्रेणियों को दर्शाते हैं, और विवरणक जो बताते हैं कि प्रत्येक स्तर वास्तव में कैसा दिखता है। यह गाइड एक रूब्रिक बनाने, उसे वास्तविक छात्र कार्य पर आज़माने, और विश्वसनीयता जाँच करने की प्रक्रिया से गुज़रती है जो कई ग्रेडर को एक ही पृष्ठ पर बनाए रखती है।


TL;DR:

  • विश्वसनीय स्कोरिंग के लिए मानदंडों को सबसे प्रभावशाली पहलुओं तक सीमित करना ज़रूरी है, आमतौर पर तीन से छह, ताकि भ्रम से बचा जा सके और सुसंगतता बनाए रखी जा सके।
  • नॉर्मिंग सत्र ग्रेडर को स्वतंत्र रूप से नमूना कार्य स्कोर करके और विवरणक व्याख्या को स्पष्ट करने के लिए विसंगतियों पर चर्चा करके अंशांकित करने में मदद करते हैं।
  • मापने योग्य, अवलोकन योग्य विवरणकों से शुरुआत करना और वास्तविक छात्र कार्य पर रूब्रिक का पायलट परीक्षण करना ग्रेडिंग की सटीकता और निष्पक्षता सुनिश्चित करता है।
  • सिंगल-पॉइंट रूब्रिक या मेटा-रूब्रिक का उपयोग करने से दायरे का विस्तार कम होता है और बड़े मूल्यांकन वॉल्यूम में सुसंगत अनुप्रयोग के लिए प्रशिक्षण सरल बनता है।
  • AI-संचालित मूल्यांकन उपकरण बड़े पैमाने पर रूब्रिक मानदंडों को लगातार दोहरा सकते हैं, जिससे मानवीय विचलन कम होता है और मूल्यांकन प्रक्रिया तेज़ होती है।

विषय-सूची

स्कोरिंग रूब्रिक क्या हैं? आपको जिन चार भागों की ज़रूरत है

एक स्कोरिंग रूब्रिक केवल उतना ही उपयोगी है जितनी उसकी संरचना। चार मुख्य भागों में से एक को छोड़ दें और ग्रेडिंग फिर से अनुमान पर वापस आ जाती है — यही वह समस्या है जिसे हल करने के लिए रूब्रिक मौजूद हैं।

विश्लेषणात्मक रूब्रिक प्रत्येक मानदंड को अपने पैमाने पर स्कोर करते हैं, फिर परिणामों को जोड़ते हैं। यदि आप किसी लैब रिपोर्ट को परिकल्पना स्पष्टता, पद्धति और डेटा विश्लेषण पर अलग-अलग ग्रेड कर रहे हैं, तो आप एक विश्लेषणात्मक मॉडल का उपयोग कर रहे हैं। इसे लागू करने में अधिक समय लगता है, लेकिन यह छात्र को ठीक-ठीक बताता है कि उसने अंक कहाँ खोए, जो इसे जटिल, विकासात्मक कार्यों के लिए मानक विकल्प बनाता है।

समग्र रूब्रिक गुणवत्ता की सामान्य छाप के आधार पर सब कुछ एक ही समग्र स्कोर में समेट देते हैं। ये तेज़ होते हैं, इसी कारण बड़े नामांकन वाले पाठ्यक्रम और समयबद्ध लेखन मूल्यांकन इन पर निर्भर करते हैं, लेकिन जब छात्र सुधार करना चाहते हैं तो उन्हें कम दिशा-निर्देश मिलते हैं।

सिंगल-पॉइंट रूब्रिक एक कॉलम में केवल "दक्ष" स्तर का वर्णन करते हैं, और दोनों तरफ ग्रेडर के लिए विशिष्ट नोट लिखने की जगह छोड़ते हैं कि कार्य कहाँ आगे निकला या कहाँ कम पड़ा। ये तैयारी का समय कम करते हैं और, NC State के शिक्षण संसाधनों के मार्गदर्शन के अनुसार, पूरी तरह भरे हुए ग्रिड की तुलना में अधिक व्यक्तिगत फीडबैक देते हैं, क्योंकि ग्रेडर अपने शब्दों में लिखते हैं बजाय किसी तैयार वाक्यांश को चुनने के।

तीनों में से चुनाव उद्देश्य पर निर्भर करता है:

चरण-दर-चरण स्कोरिंग रूब्रिक कैसे बनाएँ

एक ऐसा रूब्रिक बनाना जो उपयोग में टिकाऊ हो, एक विशिष्ट क्रम का पालन करता है। एक कदम छोड़ें और आपको ग्रेडिंग के दौरान पता चलेगा, जब इसे ठीक करना महंगा होता है।

  1. सीखने के परिणाम से शुरुआत करें। एक वाक्य का कार्य विवरण लिखें जो इस बात से जुड़ा हो कि छात्रों को क्या प्रदर्शित करना चाहिए, न कि केवल क्या जमा करना चाहिए।
  2. 3 से 6 मानदंड चुनें। इससे अधिक होने पर ग्रेडर स्किम करने लगते हैं; कम होने पर आप वास्तव में परिणाम नहीं माप रहे। प्रत्येक मानदंड किसी ऐसी चीज़ से जुड़ा होना चाहिए जो आपने वास्तव में पढ़ाई।
  3. 3 से 5 प्रदर्शन स्तर निर्धारित करें। Utah Tech का मूल्यांकन कार्यालय स्पष्टता और उपयोगिता के लिए उस सीमा के भीतर रहने की सलाह देता है; उससे अधिक स्तर होने पर रेटर उन्हें विश्वसनीय रूप से अलग नहीं कर सकते।
  4. अवलोकन योग्य विवरणक लिखें। "मजबूत तर्क प्रस्तुत करता है" अस्पष्ट है। "प्रत्येक दावे को कम से कम दो पाठ्य साक्ष्यों से समर्थित करता है" अवलोकन योग्य है। Cornell का Center for Teaching Innovation विशेष रूप से "interesting" या "creative" जैसे शब्दों के विरुद्ध चेतावनी देता है क्योंकि दो ग्रेडर उन्हें हर बार अलग तरह से व्याख्यायित करेंगे।
  5. भार-निर्धारण पर निर्णय लें। यदि प्रारूपण की तुलना में पद्धति अधिक महत्वपूर्ण है, तो इसे संख्यात्मक रूप से बताएँ। एक सरल एकत्रीकरण चार मानदंडों को कुल को समान रूप से विभाजित करने के बजाय 30/30/25/15 प्रतिशत पर भार दे सकता है।
  6. वास्तविक छात्र कार्य पर पायलट करें और संशोधित करें। Cornell का मार्गदर्शन इसे अंतिम रूप देने से पहले वास्तविक प्रस्तुतियों के विरुद्ध ड्राफ्ट का परीक्षण करने की ओर इशारा करता है, और जो अभ्यासकर्ता नियमित रूप से ऐसा करते हैं, उन्हें पता चलता है कि तीन से दस नमूना पत्रों का स्कोरिंग आमतौर पर यह उजागर करने के लिए पर्याप्त है कि एक विवरणक दो आसन्न स्तरों के बीच भेद करने में कहाँ विफल होता है।

Pro Tip: कोई भी वास्तविक ग्रेड लगाने से पहले अपने ड्राफ्ट रूब्रिक से पाँच पत्रों के ढेर को ग्रेड करें। यदि आप लगातार यह नहीं बता सकते कि कोई पत्र "विकासशील" के बजाय "दक्ष" में क्यों आया, तो समस्या विवरणक में है, छात्र के कार्य में नहीं।

रूब्रिक टेम्पलेट जिन्हें आप आज अपना सकते हैं

टेम्पलेट समय बचाते हैं, लेकिन केवल तभी जब आप भाषा को अपने अनुशासन के अनुसार समायोजित करते हैं, न कि इसे पूरी तरह कॉपी करते हैं।

एक छोटे निबंध के लिए एक संक्षिप्त विश्लेषणात्मक रूब्रिक थीसिस स्पष्टता, साक्ष्य उपयोग और संगठन को चार स्तरों पर स्कोर कर सकती है: अनुकरणीय, दक्ष, विकासशील और प्रारंभिक। पहले प्रत्येक मानदंड को समान रूप से भार दें, फिर एक बार देखें कि छात्र वास्तव में कहाँ संघर्ष करते हैं। 12/12 का कुल स्कोर तभी सार्थक बनता है जब प्रत्येक स्तर के तहत विवरणक इतने विशिष्ट हों कि एक सहयोगी अंध स्कोरिंग करते हुए उसी संख्या पर पहुँचे।

एक समग्र रूब्रिक समयबद्ध इन-क्लास प्रतिक्रिया के लिए अच्छी तरह काम करती है। अलग-अलग मानदंडों के बजाय, प्रति स्कोर बैंड एक पैराग्राफ-लंबाई का बेंचमार्क विवरण लिखें, और छात्र के कार्य को निकटतम समग्र विवरण से मिलाएँ। कुछ प्रोग्राम इसे "स्टैक" विधि से और तेज़ करते हैं: पहले बिना ग्रेड किए गए पत्रों को मोटे ढेरों में छाँटें, फिर प्रत्येक ढेर के भीतर संख्याएँ असाइन करें।

एक सिंगल-पॉइंट टेम्पलेट आपके मानदंडों को बाईं ओर सूचीबद्ध करता है, केवल "अपेक्षाओं को पूरा करता है" कॉलम भरा होता है। "नीचे" और "ऊपर" कॉलम हस्तलिखित नोट के लिए खाली छोड़ें:

  • मानदंड कॉलम: कौशल का नाम (थीसिस, साक्ष्य, यांत्रिकी)।
  • अपेक्षाओं को पूरा करता है कॉलम: ठोस कार्य का वर्णन करने वाला एक स्पष्ट वाक्य।
  • चिंताएँ / शक्तियाँ कॉलम: लक्षित टिप्पणियों के लिए खाली जगह।

इनमें से किसी को भी विषयों में अपनाने का अर्थ ज़्यादातर शब्दावली बदलना है। एक लैब प्रैक्टिकम रूब्रिक "थीसिस स्पष्टता" को "परिकल्पना निर्माण" से बदलती है, जबकि एक प्रस्तुति रूब्रिक में मौखिक वितरण के लिए एक मानदंड जोड़ा जाता है जिसकी लिखित-निबंध रूब्रिक को कभी आवश्यकता नहीं होती।

व्यक्तिगत छात्रों की ग्रेडिंग बनाम प्रोग्राम परिणामों का मूल्यांकन

रूब्रिक स्कोर का अर्थ इस बात पर निर्भर करता है कि इसे कौन पढ़ रहा है। जब आप ग्रेडिंग कर रहे होते हैं, तो संख्या एक छात्र की होती है और उनके विशिष्ट कार्य पर फीडबैक को प्रेरित करती है। जब आप परिणाम मूल्यांकन कर रहे होते हैं, तो वही रूब्रिक डेटा पूरी कक्षा या प्रोग्राम में एकत्रित हो जाता है, और व्यक्ति एक पैटर्न में विलीन हो जाता है।

व्यक्तिगत छात्रों की ग्रेडिंग बनाम प्रोग्राम परिणामों का मूल्यांकन — सारांश आरेख

Cornell का मूल्यांकन मार्गदर्शन इस अंतर को सीधे तौर पर रेखांकित करता है: शिक्षण फीडबैक के लिए मानदंड-दर-मानदंड विश्लेषणात्मक विवरण की आवश्यकता होती है, जबकि प्रोग्राम-स्तरीय निर्णयों के लिए कई छात्रों में एकत्रित रुझानों की आवश्यकता होती है। यदि किसी स्नातक समूह के 60 प्रतिशत छात्र डेटा-विश्लेषण मानदंड पर "विकासशील" या उससे नीचे स्कोर करते हैं, तो यह एक छात्र के लिए फीडबैक नहीं है। यह एक संकेत है कि पाठ्यक्रम में बदलाव की आवश्यकता है।

व्यावहारिक रिपोर्टिंग चरण:

  • केवल कुल औसत नहीं, बल्कि प्रति मानदंड एक माध्य और एक वितरण की गणना करें।
  • उन मानदंडों को चिह्नित करें जहाँ स्कोर निचले छोर पर केंद्रित हों। यही आपका पाठ्यक्रम कमज़ोर बिंदु है।
  • परिणामों के साथ अपनी पायलटिंग और नॉर्मिंग प्रक्रिया का दस्तावेज़ीकरण करें। प्रत्यायन समीक्षक देखना चाहते हैं कि रूब्रिक को स्वयं मान्य किया गया था, न केवल यह कि स्कोर मौजूद हैं।

नॉर्मिंग और विश्वसनीयता: कई ग्रेडर को सुसंगत रखना

एक रूब्रिक केवल उतना ही विश्वसनीय है जितने इसे लागू करने वाले मनुष्य। दो ग्रेडर एक ही विवरणक पढ़ सकते हैं और अलग-अलग स्कोर पर पहुँच सकते हैं, जब तक कि उन्होंने पहले अंशांकन न किया हो।

एक नॉर्मिंग सत्र एक स्पष्ट पैटर्न का पालन करता है, UC Berkeley के GSI Teaching & Resource Center के मार्गदर्शन के अनुसार: कुछ साझा छात्र नमूने एकत्र करें, प्रत्येक ग्रेडर को बिना चर्चा के स्वतंत्र रूप से स्कोर करने दें, फिर समूह के रूप में परिणामों की तुलना करें। जहाँ भी स्कोर अलग होते हैं, वहाँ की बातचीत यह उजागर करती है कि कौन सा विवरणक अस्पष्ट था। वह समाधान चरण विवरणकों को अलगाव में फिर से लिखने और यह उम्मीद करने की तुलना में समस्याओं को तेज़ी से पकड़ता है कि वे दूसरी बार अधिक स्पष्ट रूप से पढ़े जाएँगे।

तीन-चरणीय रूब्रिक नॉर्मिंग प्रक्रिया

दो विवरणक समस्याएँ लगातार सामने आती हैं: आसन्न स्तरों के बीच ओवरलैपिंग भाषा ("अच्छा" साक्ष्य बनाम "मजबूत" साक्ष्य, बिना किसी मापने योग्य अंतर के) और अस्पष्ट क्वालिफायर जिनका अर्थ अलग-अलग पाठकों के लिए अलग होता है। समाधान आमतौर पर मात्रात्मक भाषा है: उद्धृत स्रोतों की संख्या, प्रति पृष्ठ विशिष्ट त्रुटियाँ, एक विशेषण के बजाय एक गणनीय विशेषता।

Pro Tip: यदि दो प्रशिक्षित ग्रेडर आपके पैमाने पर एक ही पत्र को एक से अधिक पूर्ण स्तर से अलग स्कोर करते हैं, तो ग्रेडर को दोष न दें। पहले उन दो स्तरों को अलग करने वाले विवरणक को फिर से लिखें।

सर्वोत्तम अभ्यास जो रूब्रिक को उपयोगी बनाए रखते हैं

रूब्रिक डिज़ाइन में एकमात्र सबसे बड़ी विफलता दायरे का विस्तार है। बारह मानदंडों वाला रूब्रिक अधिक सटीक ग्रेड नहीं देता; यह केवल अधिक समय लेता है और असंगति को आमंत्रित करता है, क्योंकि कोई भी ग्रेडर सामग्री पढ़ते हुए एक साथ बारह अलग-अलग मानकों को ध्यान में नहीं रख सकता।

  • मानदंडों को उन कुछ पहलुओं तक सीमित करें जो वास्तव में आपके माप रहे परिणाम के लिए मायने रखते हैं।
  • स्तरों में समानांतर विवरणक संरचना का उपयोग करें ताकि "दक्ष" और "विकासशील" डिग्री में भिन्न हों, न कि पूरी तरह अलग वाक्य संरचना में।
  • ग्रेडिंग शुरू होने के बाद नहीं, बल्कि असाइनमेंट की नियत तारीख से पहले छात्रों को रूब्रिक दें। यह एक रोडमैप के रूप में काम करता है, न कि बाद में प्रकट किए गए स्कोरकार्ड के रूप में।
  • उसी रूब्रिक भाषा का उपयोग करते हुए सहकर्मी या स्व-मूल्यांकन का निर्माण करें ताकि छात्र केवल एक निर्णय प्राप्त करने के बजाय मानदंडों को आत्मसात करें।
  • जब संभव हो तो पूरे रूब्रिक को एक पृष्ठ पर रखें। यदि यह फिट नहीं होता, तो मानदंड सूची शायद बहुत लंबी है।

मूल्यांकन कार्यालयों से एक सुसंगत लेकिन सीमित संकेत: सिंगल-पॉइंट या मेटा-रूब्रिक प्रारूप से शुरू करना और केवल तभी जटिलता जोड़ना जब पायलटिंग इसे आवश्यक साबित करे, उसे रोकने में मदद करता है जिसे अभ्यासकर्ता रूब्रिक क्रीप कहते हैं — जहाँ एक साफ उपकरण धीरे-धीरे ऐसे मानदंड जमा करता है जिनका वास्तव में कोई उपयोग नहीं करता।

TalentApproved रूब्रिक-आधारित मूल्यांकन में कहाँ फिट बैठता है

ऊपर बताई गई हर बात एक कक्षा के लिए ठीक से स्केल होती है। एक ही मानदंड के विरुद्ध दर्जनों उम्मीदवारों को स्कोर करने वाली एक हायरिंग टीम में यह कठिन हो जाता है। TalentApproved की Magic Create सुविधा नौकरी विवरण या कौशल सूची से भूमिका-विशिष्ट मूल्यांकन बनाती है, प्रश्नों को मानदंडों से इस तरह मैप करती है जैसे एक अच्छी तरह से निर्मित रूब्रिक मानदंडों को सीखने के परिणामों से मैप करती है। AI-जनित सारांश उन मानदंडों के विरुद्ध प्रतिक्रियाओं को लगातार स्कोर करते हैं, जबकि सत्र रीप्ले और एंटी-चीट मॉनिटरिंग दूरस्थ परीक्षण की वैधता की उसी तरह रक्षा करती है जैसे इन-पर्सन नॉर्मिंग ग्रेडिंग सुसंगतता की रक्षा करती है। उम्मीदवार मूल्यांकन मानदंड पर संबंधित पठन हायरिंग-पक्ष अनुप्रयोग को अधिक गहराई से कवर करता है।

मैंने क्या सीखा: रूब्रिक विवरण और ग्रेडिंग समय के बीच संतुलन

जो रूब्रिक वास्तव में उपयोग में आते हैं वे सबसे व्यापक नहीं हैं। वे वो हैं जिन्हें एक ग्रेडर प्रति सबमिशन दो मिनट से कम में नैदानिक मूल्य खोए बिना लागू कर सकता है — जिसका अर्थ आमतौर पर उन मानदंडों को काटना है जिन्हें आप रखने के लिए प्रलोभित होते हैं।

इस सप्ताह तीन काम करें: अपने अगले असाइनमेंट के लिए तीन से छह मानदंडों का उपयोग करते हुए एक रूब्रिक का मसौदा तैयार करें, इसे लाइव करने से पहले तीन वास्तविक नमूनों पर पायलट करें, और यदि आप किसी और के साथ ग्रेड करते हैं, तो दो साझा पत्रों पर पंद्रह मिनट का नॉर्मिंग सत्र चलाएँ।

— Jimmie

TalentApproved के साथ अपनी रूब्रिक प्रथा को बढ़ाएँ

एक बढ़िया रूब्रिक बनाना प्रबंधनीय है। समीक्षकों के बीच शून्य विचलन के साथ पचास उम्मीदवार सबमिशन में इसे लगातार लागू करना वह जगह है जहाँ अधिकांश मैन्युअल प्रक्रियाएँ टूट जाती हैं। TalentApproved ठीक उसी अंतराल के लिए बना है: अपने मानदंडों के विरुद्ध हर प्रतिक्रिया को हाथ से स्कोर करने के बजाय, Magic Create एक भूमिका विवरण को मिनटों में एक संरचित, रूब्रिक-संरेखित मूल्यांकन में बदल देता है, और AI-जनित सारांश आपके स्कोरिंग तर्क को हर बार एक ही तरह से लागू करते हैं, चाहे वह उम्मीदवार तीन हो या उम्मीदवार तीन सौ।

Talent Approved

एंटी-चीट मॉनिटरिंग और सत्र रीप्ले का अर्थ है कि आप जो स्कोर एकत्रित कर रहे हैं उन पर भरोसा कर सकते हैं — वही वैधता चिंता जो कक्षा में नॉर्मिंग सत्रों को प्रेरित करती है। यदि आप देखना चाहते हैं कि मानदंड-आधारित स्कोरिंग एक शैक्षणिक रूब्रिक से एक हायरिंग वर्कफ़्लो में कैसे अनुवाद होती है, तो T-शेप्ड कौशल मूल्यांकन गाइड पेशेवर कौशल प्रोफाइल के लिए रूब्रिक भाषा को अनुकूलित करने की प्रक्रिया से गुज़रती है। TalentApproved प्लेटफ़ॉर्म का अन्वेषण करके शुरुआत करें और किसी ऐसे भूमिका विवरण से अपना पहला मूल्यांकन बनाएँ जो आपके पास पहले से है।

रूब्रिक डिज़ाइन पर गहराई से जाने के लिए

व्यावहारिक टेम्पलेट पुस्तकालयों के लिए, Utah Tech का मूल्यांकन कार्यालय और NC State के शिक्षण संसाधन दोनों प्रारूपों में डाउनलोड करने योग्य उदाहरण प्रदान करते हैं। Cornell का Center for Teaching Innovation निर्माण प्रक्रिया को विस्तार से कवर करता है, जबकि Northern Illinois University का Center for Innovative Teaching and Learning अनुशासन-विशिष्ट अनुकूलन के लिए उपयोगी है। प्रत्यायन-तैयार मानदंडों के लिए, AAC&U VALUE रूब्रिक मानक संदर्भ बिंदु बने हुए हैं।

स्रोत

FAQ

मैं किसी मूल्यांकन के लिए स्कोरिंग रूब्रिक कैसे बनाऊँ?

रूब्रिक को एक विशिष्ट सीखने के परिणाम से संरेखित करें, 3 से 6 मानदंड चुनें, 3 से 5 प्रदर्शन स्तर निर्धारित करें, प्रत्येक स्तर के लिए अवलोकन योग्य विवरणक लिखें, फिर इसे अंतिम रूप देने से पहले वास्तविक छात्र कार्य पर पायलट करें।

स्कोरिंग रूब्रिक क्या हैं?

स्कोरिंग रूब्रिक संरचित मूल्यांकन उपकरण हैं जो किसी कार्य को नामित मानदंडों में विभाजित करते हैं और प्रत्येक प्रदर्शन स्तर पर गुणवत्ता कैसी दिखती है इसका वर्णन करते हैं, व्यक्तिपरक ग्रेडिंग को सुसंगत मानकों से प्रतिस्थापित करते हैं।

मूल्यांकन रूब्रिक क्या है?

एक मूल्यांकन रूब्रिक वही उपकरण है जिसे किसी कक्षा या प्रोग्राम में सीखने के परिणामों को मापने के लिए लागू किया जाता है, अक्सर व्यक्तिगत फीडबैक के लिए विशुद्ध रूप से स्कोर करने के बजाय पैटर्न खोजने के लिए एकत्रित किया जाता है।

स्कोरिंग रूब्रिक के चार मूल भाग क्या हैं?

चार भाग हैं: कार्य विवरण, मूल्यांकन मानदंड, प्रदर्शन स्तर, और विवरणक जो बताते हैं कि प्रत्येक प्रदर्शन स्तर कैसा दिखता है।

क्या AI उपकरण कई मूल्यांकनों में रूब्रिक को लगातार लागू करने में मदद कर सकते हैं?

हाँ। TalentApproved जैसे प्लेटफ़ॉर्म बड़ी मात्रा में प्रतिक्रियाओं में समान मानदंडों को लगातार लागू करने के लिए AI-जनित स्कोरिंग सारांश का उपयोग करते हैं, जो मानव ग्रेडर के लिए नॉर्मिंग जो हासिल करती है उसे प्रतिबिंबित करता है।