TalentApproved

আংশিক ক্রেডিট স্কোরিং এবং Rasch-এর জন্য ৩টি স্প্রেডশিট সূত্র

আংশিক ক্রেডিট স্কোরিং এবং Rasch-এর জন্য ৩টি স্প্রেডশিট সূত্র

আংশিক ক্রেডিট স্কোরিং একটি সর্ব-বা-কিছু-না ফলাফলের পরিবর্তে একটি পরিসীমা জুড়ে পয়েন্ট বরাদ্দ করে, একজন পরীক্ষার্থীকে উত্তরের যে অংশটি সঠিক তার জন্য পুরস্কৃত করে। শিক্ষাবিদরা এটি ব্যবহার করেন কারণ এটি আংশিক জ্ঞান পরিমাপ করে যা দ্বিভাজক, সঠিক-বা-ভুল স্কোরিং নষ্ট করে দেয়, এবং সুনির্মিত আংশিক-ক্রেডিট ফাংশনগুলি এলোমেলো অনুমান থেকে পাওয়ার সুবিধা দমন করে। এটি বহু-অংশ বিশিষ্ট আইটেম, একাধিক-প্রতিক্রিয়া প্রশ্ন এবং একটি রুব্রিকের বিপরীতে গ্রেড করা নির্মিত প্রতিক্রিয়াগুলিতে সবচেয়ে ভালো মানানসই, বিশেষত যখন আপনার একটি সাধারণ পাস/ফেল স্কোরের চেয়ে আরও সূক্ষ্ম ডায়াগনস্টিক তথ্যের প্রয়োজন হয়।

সংক্ষেপে:

  • আংশিক ক্রেডিট স্কোরিং বহু-অংশ, একাধিক-প্রতিক্রিয়া এবং নির্মিত-প্রতিক্রিয়া আইটেমগুলিতে সাধারণ সঠিক-বা-ভুল পদ্ধতির চেয়ে শিক্ষার্থীর জ্ঞান আরও ভালোভাবে ধারণ করে।
  • সাবসেট-সিলেকশন এবং লিনিয়ার পেনাল্টির মতো পদ্ধতিগুলি অনুমান নিয়ন্ত্রণ করে, তবে স্পষ্ট নির্দেশাবলী প্রয়োজন এবং স্কোরিং ও রেটার প্রশিক্ষণে জটিলতা আনতে পারে।
  • অভিজ্ঞতামূলক গবেষণা দেখায় যে আংশিক ক্রেডিট নির্ভরযোগ্যতা এবং পার্থক্যকরণ উন্নত করে, বিশেষত বড় পরিসরে বা একাধিক-প্রতিক্রিয়া আইটেমগুলিতে যেখানে অনুমান করার প্রবণতা বেশি।
  • বেশিরভাগ শ্রেণিকক্ষের মূল্যায়নে Rasch আংশিক ক্রেডিটের মতো উন্নত মডেলের প্রয়োজন নেই, যা বড় মাপের পরীক্ষা কার্যক্রম এবং সার্টিফিকেশন পরীক্ষার জন্য সংরক্ষিত।
  • ডেডিকেটেড টুল ব্যবহার করা যা রুব্রিক প্রয়োগ, রেটার সামঞ্জস্যতা এবং স্কোরিং স্বচ্ছতা স্বয়ংক্রিয় করে তোলে, বাস্তবায়ন সহজ করে এবং ন্যায্য, সামঞ্জস্যপূর্ণ আংশিক ক্রেডিট মূল্যায়ন নিশ্চিত করে।
Talent Approved
CV-এর বাইরে দক্ষতা মূল্যায়ন করুন
Talent Approved নিয়োগকর্তাদের কাঠামোগত, ভূমিকা-নির্দিষ্ট মূল্যায়ন তৈরি করতে এবং আরও আত্মবিশ্বাসের সাথে প্রার্থীর সক্ষমতা পর্যালোচনা করতে সহায়তা করে।

বিষয়বস্তুর তালিকা

আংশিক ক্রেডিট স্কোরিং কী বোঝায় এবং কখন ব্যবহার করবেন

দ্বিভাজক স্কোরিং একটি উত্তরকে হয় সম্পূর্ণ সঠিক অথবা সম্পূর্ণ ভুল হিসেবে বিবেচনা করে, এক পয়েন্ট বা শূন্য মূল্যমান। আংশিক ক্রেডিট স্কোরিং সেই দ্বিভাজন ভেঙে দেয়। একজন শিক্ষার্থী যে একটি একাধিক-প্রতিক্রিয়া আইটেমে চারটির মধ্যে তিনটি সঠিক বিকল্প বেছে নেয়, অথবা একটি বহু-ধাপের সমস্যার সেটআপ ঠিকঠাক করে কিন্তু চূড়ান্ত গণনায় ভুল করে, সে আসলে যা প্রদর্শন করেছে তার অনুপাতে ক্রেডিট পায়।

আংশিক ক্রেডিটের পক্ষে যুক্তি তিনটি ব্যবহারিক ফলাফলের উপর দাঁড়িয়ে আছে। প্রথমত, এটি আংশিক জ্ঞান ধারণ করে যা একটি কঠোর সঠিক/ভুল নিয়ম মুছে ফেলে, যা এমন আইটেমগুলিতে সবচেয়ে গুরুত্বপূর্ণ যেখানে কয়েকটি যুক্তিসংগত উপ-উত্তর রয়েছে। দ্বিতীয়ত, সঠিকভাবে নির্মিত স্কোরিং ফাংশনগুলি একটি এলোমেলো অনুমানের প্রত্যাশিত মান নেতিবাচক করে তুলতে পারে, তাই অনুমান করা একটি যুক্তিসংগত কৌশল হওয়া বন্ধ হয়ে যায়, একটি প্রভাব যা স্কোরিং-ফাংশন গবেষণায় আনুষ্ঠানিকভাবে মডেল করা হয়েছে। তৃতীয়ত, একাধিক-প্রতিক্রিয়া আইটেমগুলিতে অভিজ্ঞতামূলক তুলনায় দেখা গেছে যে আংশিক-ক্রেডিট পদ্ধতিগুলি দ্বিভাজক স্কোরিংয়ের তুলনায় নির্ভরযোগ্যতা এবং আইটেম পার্থক্যকরণ উভয়ই উন্নত করেছে।

আপনার সর্বত্র আংশিক ক্রেডিটের প্রয়োজন নেই। একটি একক সঠিক উত্তর সহ শব্দভান্ডার কুইজ এ থেকে কিছুই পায় না এবং কেবল স্কোরিং জটিলতা বাড়ায়। আংশিক ক্রেডিটের জন্য পৌঁছান যখন আইটেমগুলি সত্যিকারের বহু-অংশ বিশিষ্ট হয়, যখন একাধিক-প্রতিক্রিয়া প্রশ্নগুলিতে দুইটির বেশি প্রশংসনীয় নির্বাচন থাকে, অথবা যখন একটি নির্মিত প্রতিক্রিয়াকে পৃথক, গ্রেডযোগ্য উপাদান সহ একটি রুব্রিকে বিভাজন করা যায়।

সাধারণ আংশিক-ক্রেডিট স্কোরিং পদ্ধতি

প্রতিটি প্রসঙ্গে কোনো একটি সূত্র জয়ী হয় না। ক্ষেত্রের ক্লাসিক পর্যালোচনাগুলি বিভিন্ন পদ্ধতির একটি পরিসীমা তালিকাভুক্ত করে এবং ধারাবাহিকভাবে একটি সর্বজনীন বিজয়ীর পরিবর্তে আপোসের সন্ধান পায়, তাই সঠিক পছন্দ আইটেম বিন্যাস এবং আপনি কীসের বিরুদ্ধে সুরক্ষা দিতে চাইছেন তার উপর নির্ভর করে, তা অনুমান, রেটার অসামঞ্জস্যতা, বা স্কোরিং জটিলতা যাই হোক না কেন।

  • আনুপাতিক (সংখ্যা-সঠিক) স্কোরিং। পয়েন্ট সমান মোট সম্ভাব্য নির্বাচনের মধ্যে সঠিক নির্বাচনের ভগ্নাংশ। গণনা করা সহজ, শিক্ষার্থীদের কাছে ব্যাখ্যা করা সহজ, কিন্তু একাধিক-প্রতিক্রিয়া আইটেমগুলিতে কৌশলের জন্য দুর্বল যেখানে সবকিছু নির্বাচন করা একটি বেসলাইন স্কোর নিশ্চিত করে।
  • সাবসেট-সিলেকশন (SS) স্কোরিং। সম্পূর্ণ ক্রেডিট কেবল তখনই যখন ঠিক সঠিক সাবসেট বেছে নেওয়া হয়; আংশিক ক্রেডিট সাবসেটগুলির জন্য প্রদান করা হয় যা কীয়ের সঠিক মিল, অন্তর্ভুক্ত বিভ্রান্তিকারীদের জন্য জরিমানা সহ। বিশুদ্ধ আনুপাতিক স্কোরিংয়ের চেয়ে ভালো অনুমান নিয়ন্ত্রণ, ব্যাখ্যা করার জন্য সামান্য আরও জটিল নিয়মের মূল্যে।
  • পরিবর্তিত Zapechelnyuk-শৈলী ফাংশন। এগুলি একটি গাণিতিকভাবে প্রাপ্ত জরিমানা কাঠামো ব্যবহার করে যা ডিজাইন করা হয়েছে যাতে অন্ধ অনুমানের প্রত্যাশিত মান নেতিবাচক হয়, শুধু অনুমান সহ্য করার পরিবর্তে সরাসরি অনুমানের সমস্যাটি মোকাবেলা করে।
  • লিনিয়ার-পেনাল্টি মডেল। স্কোর সমান সঠিক নির্বাচনের সংখ্যা বিয়োগ ভুল নির্বাচনের একটি ওজনযুক্ত গণনা। জরিমানা ওজন সামঞ্জস্য করে টিউনযোগ্য, যা আপনাকে অতিরিক্ত-নির্বাচন নিরুৎসাহিত করতে আপনি কতটা আক্রমণাত্মকভাবে চান তা ক্যালিব্রেট করতে দেয়।
  • রুব্রিক-ভিত্তিক ভগ্নাংশায়ন। নির্মিত প্রতিক্রিয়াগুলি একটি ক্রমানুসারী রুব্রিকের বিপরীতে স্কোর করা হয় (উদাহরণস্বরূপ, 0 থেকে 4), তারপর মোট আইটেম পয়েন্টের একটি ভগ্নাংশে রূপান্তরিত হয়। এটি রচনা, বহু-ধাপের গণিত সমস্যা এবং ল্যাব রিপোর্টের জন্য মানক পদ্ধতি।

আনুপাতিক স্কোরিং একাধিক-নির্বাচন এবং বহু-ফাঁকা আইটেমগুলির জন্য উপযুক্ত যেখানে বিন্যাস সহজ এবং অনুমানের ঝুঁকি কম। সাবসেট-সিলেকশন এবং লিনিয়ার-পেনাল্টি মডেলগুলি একাধিক-প্রতিক্রিয়া আইটেমগুলির জন্য উপযুক্ত যেখানে বিভ্রান্তিকারীগুলি এত আকর্ষণীয় যে এলোমেলো নির্বাচন স্কোর বাড়িয়ে দিতে পারে। রুব্রিক-ভিত্তিক ভগ্নাংশায়ন মুক্ত-শেষ নির্মিত প্রতিক্রিয়াগুলির জন্য সত্যিই একমাত্র ভালো বিকল্প, যেহেতু বিভাজন করার কোনো বিচ্ছিন্ন "সংখ্যা সঠিক" নেই।

বিনিময়ের ধরনটি পদ্ধতিজুড়ে সামঞ্জস্যপূর্ণ: সহজ সূত্র (আনুপাতিক স্কোরিং) শিক্ষার্থী এবং প্রশিক্ষকদের বোঝার জন্য সহজতম কিন্তু অনুমানের বিরুদ্ধে সবচেয়ে দুর্বল, আর পেনাল্টি-ভিত্তিক এবং সাবসেট পদ্ধতিগুলি অনুমান আরও ভালোভাবে নিয়ন্ত্রণ করে কিন্তু স্পষ্ট নির্দেশাবলী দাবি করে যাতে শিক্ষার্থীরা বুঝতে পারে কীভাবে নির্বাচনগুলি ওজন করা হয়। রুব্রিক-ভিত্তিক স্কোরিং সম্পূর্ণ ভিন্ন ঝুঁকি বহন করে: রেটার অসামঞ্জস্যতা, যা কোনো সূত্র একা ঠিক করতে পারে না।

আংশিক ক্রেডিট কীভাবে গণনা করবেন: কার্যকর উদাহরণ

উপরের সূত্রগুলি অকেজো যতক্ষণ না আপনি নিজে সংখ্যাগুলি চালাতে পারেন। এখানে তিনটি কার্যকর উদাহরণ রয়েছে যা আপনি সরাসরি একটি স্প্রেডশিটে স্থানান্তর করতে পারেন।

১. চার-বিকল্পের একাধিক-নির্বাচন আইটেমে আনুপাতিক স্কোরিং।

ধরুন একটি আইটেমে মোট ছয়টি পছন্দের মধ্যে চারটি সঠিক বিকল্প রয়েছে, যার মূল্য ৪ পয়েন্ট। একজন শিক্ষার্থী ৪টি সঠিক বিকল্পের মধ্যে ৩টি নির্বাচন করে এবং ০টি বিভ্রান্তিকারী।

স্কোর = (সঠিক নির্বাচন / মোট সঠিক বিকল্প) × আইটেম পয়েন্ট স্কোর = (৩ / ৪) × ৪ = ৩.০ পয়েন্ট

২. বিভ্রান্তিকারী জরিমানা সহ সাবসেট-সিলেকশন।

একই আইটেম: ৪টি সঠিক বিকল্প, ২টি বিভ্রান্তিকারী, মোট ৪ পয়েন্ট। এবার শিক্ষার্থী ৩টি সঠিক বিকল্প এবং ১টি বিভ্রান্তিকারী নির্বাচন করে।

স্কোর = [(সঠিক নির্বাচিত / মোট সঠিক) − (বিভ্রান্তিকারী নির্বাচিত / মোট বিভ্রান্তিকারী)] × আইটেম পয়েন্ট, শূন্যে নামানো হয় স্কোর = [(৩/৪) − (১/২)] × ৪ = [০.৭৫ − ০.৫] × ৪ = ১.০ পয়েন্ট

আনুপাতিক-শুধু পদ্ধতির সাথে তুলনা করুন, যা বিভ্রান্তিকারীকে সম্পূর্ণ উপেক্ষা করত এবং একই প্রতিক্রিয়ার জন্য ৩.০ পয়েন্ট প্রদান করত। সেই পার্থক্যই হলো এমন আইটেমগুলিতে পেনাল্টি-ভিত্তিক পদ্ধতির সম্পূর্ণ যুক্তি যেখানে বিভ্রান্তিকারীগুলি সত্যিকার অর্থে আকর্ষণীয়।

তিনটি আংশিক ক্রেডিট সূত্রের তুলনা

৩. ২০-পয়েন্টের প্রশ্নে রুব্রিক-থেকে-ভগ্নাংশ রূপান্তর।

একটি বহু-ধাপের গণিত সমস্যা ০ থেকে ৪ রুব্রিকে গ্রেড করা হয়: ০ (কোনো বৈধ পদ্ধতি নেই), ১ (শুধু সঠিক সেটআপ), ২ (সঠিক পদ্ধতি, বড় ত্রুটি), ৩ (সঠিক পদ্ধতি, ছোট ত্রুটি), ৪ (সম্পূর্ণ সঠিক)। প্রশ্নটির মোট মূল্য ২০ পয়েন্ট।

ভগ্নাংশ স্কোর = (অর্জিত রুব্রিক পয়েন্ট / সর্বোচ্চ রুব্রিক পয়েন্ট) × আইটেম পয়েন্ট একজন শিক্ষার্থী যে রুব্রিকে ৩ অর্জন করে সে পায়: (৩/৪) × ২০ = ১৫ পয়েন্ট

একটি ক্লাস রোস্টারে সেই রূপান্তর চালান এবং আপনি একটি বিতরণ পাবেন যা একটি সাধারণ শতাংশ-সঠিক হিস্টোগ্রামের মতো দেখায় না: স্কোরগুলি ক্রমাগতভাবে ছড়িয়ে পড়ার পরিবর্তে রুব্রিক ব্যান্ডের চারপাশে (০, ৫, ১০, ১৫, ২০) জমা হয়, যা গ্রেড কার্ভ তৈরির আগে জানা মূল্যবান।

পেশাদার পরামর্শ: পরীক্ষার উইন্ডো খোলার আগে একটি ভাগ করা স্প্রেডশিট টেমপ্লেটে এই তিনটি সূত্রকে নামযুক্ত ফাংশন হিসেবে তৈরি করুন। শিক্ষার্থীরা ইতিমধ্যে উত্তর জমা দেওয়ার পরে একটি স্কোরিং সূত্র পুনরায় তৈরি করা হলো সেখান থেকেই বেশিরভাগ স্কোরিং বিবাদ শুরু হয়।

পরিসংখ্যান মডেল এবং IRT: Rasch আংশিক ক্রেডিট মডেল

ভগ্নাংশ স্কোরিং সূত্রগুলি উত্তর দেয় "এই প্রতিক্রিয়া কতটি পয়েন্ট অর্জন করেছে।" আইটেম রেসপন্স থিওরি (IRT) একটি ভিন্ন প্রশ্নের উত্তর দেয়: "এই প্রতিক্রিয়া আসলে কতটুকু সক্ষমতা নির্দেশ করে, একবার আমরা প্রতিটি প্রতিক্রিয়া বিভাগে পৌঁছানো কতটা কঠিন তা বিবেচনায় নিলে।" একটি একক-শ্রেণিকক্ষ গ্রেডিং থেকে যেকোনো প্রসঙ্গে যাওয়ার পরে সেই পার্থক্যটি গুরুত্বপূর্ণ হয় যেখানে স্কোরগুলি ফর্ম, কোহর্ট বা বছর জুড়ে তুলনা করতে হবে।

Geoff Masters দ্বারা বিকশিত Rasch আংশিক ক্রেডিট মডেল, ক্রমানুসারী প্রতিক্রিয়া বিভাগ সহ আইটেমগুলিতে মানক দ্বিভাজক Rasch মডেল প্রসারিত করে। "ধাপ ৪ এর ২" কে কেবল "ধাপ ৪ এর ৪" এর অর্ধেক মূল্য হিসেবে না গণনা করে, Rasch PCM সংলগ্ন প্রতিটি জোড়া বিভাগের মধ্যে রূপান্তরের জন্য একটি পৃথক থ্রেশহোল্ড প্যারামিটার অনুমান করে। একটি রুব্রিকে ১ থেকে ২ স্কোরে যেতে ২ থেকে ৩ তে যাওয়ার চেয়ে উল্লেখযোগ্যভাবে বেশি প্রদর্শিত সক্ষমতার প্রয়োজন হতে পারে, এবং মডেলটি প্রতিটি ধাপ সমান ধরে নেওয়ার পরিবর্তে সেটি ধারণ করে।

রুব্রিক বিভাগের মধ্যে অসম থ্রেশহোল্ড

ব্যবহারিক ফলাফল হলো প্যারামিটার বিচ্ছিন্নতা: একজন পরীক্ষার্থীর অনুমানকৃত সক্ষমতা এবং একটি আইটেমের বিভাগ থ্রেশহোল্ডগুলি একে অপরের থেকে স্বাধীনভাবে অনুমান করা যায়, যা প্রথম স্থানে ক্রস-ফর্ম তুলনাকে পরিসংখ্যানগতভাবে প্রতিরক্ষাযোগ্য করে।

যোগ করা জটিলতা কখন তার মূল্য অর্জন করে?

  • বড় মাপের পরীক্ষা কার্যক্রম, যেখানে হাজার হাজার প্রতিক্রিয়াকে একাধিক পরীক্ষা ফর্ম জুড়ে সামঞ্জস্যপূর্ণ ব্যাখ্যার প্রয়োজন।
  • লিঙ্কিং এবং সমতুল্যকরণ, যখন শিক্ষার্থীদের বিভিন্ন গ্রুপ একটি পরীক্ষার বিভিন্ন সংস্করণ নেয় এবং স্কোরগুলি প্রতিটিতে একই অর্থ বহন করতে হয়।
  • নির্ভুল আইটেম ক্যালিব্রেশন, যখন আপনাকে ঠিক জানতে হবে একটি রুব্রিকে "২" এবং "৩" এর মধ্যে কতটুকু সক্ষমতা আলাদা করে, সমান ব্যবধান ধরে নেওয়ার পরিবর্তে।
  • ডিফারেন্শিয়াল আইটেম ফাংশনিং চেক, যেখানে আপনাকে নিশ্চিত করতে হবে যে একটি আইটেমের আংশিক-ক্রেডিট ধাপগুলি সমষ্টিগত স্কোর বিশ্বাস করার আগে জনসংখ্যাগত গ্রুপ জুড়ে সামঞ্জস্যপূর্ণভাবে আচরণ করে।

একটি একক শ্রেণিকক্ষ কুইজে প্রায় কখনই Rasch ক্যালিব্রেশনের প্রয়োজন হয় না। একটি সার্টিফিকেশন পরীক্ষা যা জাতীয়ভাবে পরিচালিত হয়, পরীক্ষার উইন্ডোগুলি জুড়ে পুনরায় ব্যবহার করা হয়, এবং বাস্তব পরিণতি সহ পাস/ফেল সিদ্ধান্তের জন্য নির্ভর করা হয় প্রায় সবসময়ই করে। "একটি স্প্রেডশিট সূত্র ব্যবহার করুন" এবং "IRT সফ্টওয়্যার ব্যবহার করুন" এর মধ্যে রেখাটি সত্যিই আইটেম বিন্যাস সম্পর্কে নয়, এটি দাঁড়িপাল্লা এবং পরিসর সম্পর্কে।

বাস্তবায়নের সর্বোত্তম অনুশীলন: ডিজাইন, কনফিগারেশন এবং রিপোর্টিং

আংশিক ক্রেডিট সঠিকভাবে পাওয়া শুরু হয় যেকোনো শিক্ষার্থী আইটেম দেখার অনেক আগে, এবং স্কোর তৈরি হলে এটি শেষ হয় না। তিনটি পর্যায়ে ইচ্ছাকৃত মনোযোগ প্রয়োজন: ডিজাইন, প্ল্যাটফর্ম কনফিগারেশন এবং রিপোর্টিং।

ডিজাইন চেকলিস্ট। একটি একক আইটেম লেখার আগে, স্কোরিং নিয়মটি নির্ধারণ করুন, পাইলটিং অসামঞ্জস্যতা প্রকাশ করার পরে নয়।

  • আইটেমটি লেখার সাথে একই সময়ে রুব্রিক বা পয়েন্ট-বরাদ্দ নিয়ম লিখুন, পরে নয়।
  • একই ধরনের আইটেম জুড়ে একটি সামঞ্জস্যপূর্ণ পয়েন্ট স্কেল ব্যবহার করুন যাতে শিক্ষার্থীরা আংশিক ক্রেডিট কীভাবে বিতরণ করা হয় তা অনুমান করতে পারে।
  • বড় মাপে স্থাপন করার আগে বাস্তব বা অনুশীলন প্রতিক্রিয়াগুলির একটি ছোট নমুনায় নতুন রুব্রিক পাইলট করুন, এবং যেখানে দুজন রেটার একমত না হন সেখানে অ্যাঙ্কর বিবরণ সামঞ্জস্য করুন।
  • নির্মিত-প্রতিক্রিয়া রুব্রিকের জন্য প্রতি স্কোর ব্যান্ডে ৩ থেকে ৫টি অ্যাঙ্কর প্রতিক্রিয়া সংজ্ঞায়িত করুন, একটি অনুশীলন যা রুব্রিক-ভিত্তিক আংশিক ক্রেডিট স্কোরিং বিষয়ক গবেষণা দ্বারা সমর্থিত যা গ্রহণযোগ্য আন্তঃ-রেটার চুক্তিতে পৌঁছানোর জন্য অনুকরণীয় স্ক্রিপ্টের বিরুদ্ধে রেটার প্রশিক্ষণের সুপারিশ করে।

LMS এবং প্ল্যাটফর্ম কনফিগারেশন। বেশিরভাগ লার্নিং ম্যানেজমেন্ট সিস্টেম আংশিক-ক্রেডিট সেটিংসগুলি পরীক্ষা-স্তরের সেটিংসের পরিবর্তে আইটেম-স্তরের বিকল্পগুলির ভেতরে লুকিয়ে রাখে, তাই একটি গ্লোবাল টগল সবকিছু কভার করে ধরে নেওয়ার পরিবর্তে প্রতিটি প্রশ্নের ধরন পৃথকভাবে পরীক্ষা করুন। শিক্ষার্থীদের দেখানো প্রতিক্রিয়া ভগ্নাংশ স্কোর, রুব্রিক স্তর, বা উভয় প্রদর্শন করে কিনা তা নিশ্চিত করুন, যেহেতু শুধুমাত্র একটি গোলাকার মোট দেখানো ঠিক কোথায় পয়েন্ট হারানো হয়েছিল তা অস্পষ্ট করতে পারে। যখনই সম্ভব কাঁচা, অগোলাকার স্কোরিং ডেটা রপ্তানি করুন। আগে গোলাকার করা এবং পরে পুনরায় গণনা করা একটি বড় রোস্টার জুড়ে নীরব গ্রেডিং ত্রুটি প্রবেশ করানোর দ্রুততম উপায়গুলির একটি।

রিপোর্টিং। কাঁচা ভগ্নাংশ স্কোর এবং গোলাকার মোট উভয়ই রিপোর্ট করুন, এবং শিক্ষার্থীর কাছে পৌঁছানো যেকোনো স্কোর রিপোর্টে স্পষ্টভাবে তা বলুন। একজন শিক্ষার্থী যে কোনো প্রসঙ্গ ছাড়া "১৫/২০" দেখে সে জানতে পারে না যে সে ৫ পয়েন্ট হারিয়েছে একটি বড় ত্রুটিতে নাকি কয়েকটি ছোট ত্রুটিতে। আংশিক ক্রেডিট কীভাবে গণনা করা হয়েছিল তার একটি একক-লাইন ব্যাখ্যা, স্কোর রিপোর্টে সংযুক্ত, শুরু হওয়ার আগেই বেশিরভাগ বিবাদ সমাধান করে। কাঠামোগত মূল্যায়নের জন্য স্কোরিং রুব্রিক তৈরি করা দলগুলি অতিরিক্ত রুব্রিক ডিজাইন গাইডেন্স এবং টেমপ্লেট খুঁজে পেতে পারে যা সরাসরি ভগ্নাংশ স্কোরিং পদ্ধতির সাথে যুক্ত।

নির্ভরযোগ্যতা, বৈধতা এবং অনুমান দমন

নির্ভরযোগ্যতা হলো সেই প্রশ্ন যা নির্ধারণ করে আংশিক ক্রেডিট যোগ করা জটিলতার মূল্য ছিল কিনা। যদি একটি স্কোরিং পরিবর্তন আপনার মূল্যায়নের সামঞ্জস্যতা পরিমাপযোগ্যভাবে উন্নত না করে, তাহলে অতিরিক্ত রেটার প্রশিক্ষণ এবং গণনা ওভারহেড ন্যায়সঙ্গত করা কঠিন।

অভিজ্ঞতামূলক রেকর্ড এখানে অনুকূলভাবে ঝুঁকে আছে। একাধিক-প্রতিক্রিয়া আইটেমগুলিতে স্কোরিং পদ্ধতির তুলনামূলক গবেষণাগুলি দেখায় যে আংশিক-ক্রেডিট পদ্ধতিগুলি সাধারণ দ্বিভাজক স্কোরিংয়ের তুলনায় নির্ভরযোগ্যতা এবং পার্থক্যকরণ উন্নত করেছে, বিশেষত দুইটির বেশি প্রতিক্রিয়া বিকল্প সহ আইটেমগুলির জন্য যেখানে একটি সঠিক/ভুল বিভাজন অর্থবহ বৈচিত্র্য ফেলে দেয়। আলাদাভাবে, নেতিবাচক প্রত্যাশিত অনুমান মান ঘিরে ডিজাইন করা স্কোরিং ফাংশনগুলির তাত্ত্বিক কাজ দেখায় যে এই ফাংশনগুলি সাধারণ সঠিক-বা-ভুল স্কোরিংয়ের তুলনায় নির্ভরযোগ্যতা এবং পার্থক্যকরণ ক্ষমতা উভয়ই উন্নত করে, বিশেষত একবার একটি অনুমান জরিমানা তৈরি হলে।

তিনটি ব্যবহারিক পরীক্ষা আপনাকে বলে যে পরিবর্তনটি আপনার নিজের ডেটায় ফল দিচ্ছে কিনা:

আইটেম-মোট সম্পর্ক। আংশিক ক্রেডিটে পরিবর্তনের পরে এটি পুনরায় গণনা করুন। একটি আইটেম যার মোট স্কোরের সাথে সম্পর্ক উন্নত হয় তা নতুন স্কোরিং নিয়মের অধীনে শক্তিশালী পারফর্মার থেকে দুর্বল পারফর্মারদের আলাদা করার আরও ভালো কাজ করছে।

আগে এবং পরে Cronbach-এর আলফা। একই পরীক্ষা ডেটাসেট উভয় স্কোরিং নিয়মের মধ্য দিয়ে চালান এবং সরাসরি আলফা মান তুলনা করুন। একটি অর্থবহ বৃদ্ধি একটি শক্তিশালী সংকেত যে আংশিক ক্রেডিট সেই তথ্য ধারণ করেছে যা বাইনারি সংস্করণ বাতিল করেছে।

IRT ফিট পরিসংখ্যান, যেখানে একটি Rasch বা অন্য IRT মডেল ইতিমধ্যে ব্যবহারে আছে। বিভাগ থ্রেশহোল্ড যা বিশৃঙ্খল হয়ে আসে, অর্থাৎ একটি উচ্চতর রুব্রিক স্কোর একটি উচ্চতর অনুমানকৃত সক্ষমতার সাথে সামঞ্জস্যপূর্ণ নয়, এমন একটি রুব্রিক চিহ্নিত করে যা কাঁচা নির্ভরযোগ্যতা সংখ্যা যাই বলুক না কেন সংশোধনের প্রয়োজন।

এর কোনোটিই বিনামূল্যে আসে না। প্রতিটি যোগ করা সূত্র বৈকল্পিকের সাথে স্কোরিং জটিলতা বাড়ে, আপনি যেকোনো রুব্রিক-ভিত্তিক উপাদান প্রবর্তনের মুহূর্তে রেটার পরিবর্তনশীলতা একটি জীবন্ত উদ্বেগ হয়ে ওঠে, এবং যখন আপনার একটি সাধারণ উত্তর কীর বাইরে সফ্টওয়্যার বা স্প্রেডশিট অবকাঠামো প্রয়োজন হয় তখন প্রশাসনিক খরচ বাড়ে। সেই খরচগুলি আপনার প্রকৃত দাঁড়িপাল্লার বিরুদ্ধে ওজন করুন। একটি সাপ্তাহিক কুইজ খুব কমই ওভারহেড ন্যায্যতা দেয়; একটি সার্টিফিকেশন পরীক্ষা প্রায় সবসময়ই করে।

একাধিক-প্রতিক্রিয়া আইটেমগুলির জন্য স্কোরিং টেমপ্লেট

একাধিক-প্রতিক্রিয়া আইটেম, যেখানে একজন শিক্ষার্থী একটি দীর্ঘতর তালিকা থেকে বেশ কয়েকটি বিকল্প নির্বাচন করে, হলো সেখানে যেখানে অনুমান একটি পরীক্ষার বৈধতার সবচেয়ে বেশি ক্ষতি করে। একজন শিক্ষার্থী যে ছয়টি পছন্দের মধ্যে চারটি সঠিক উত্তর সহ একটি "সবগুলো সঠিক নির্বাচন করুন" আইটেমে প্রতিটি বিকল্প নির্বাচন করে সে সাধারণ আনুপাতিক স্কোরিংয়ের অধীনে সর্বদা আংশিক ক্রেডিট পাবে, তারা কিছু জানুক বা না জানুক।

সমাধান হলো প্রত্যাশিত মানের উপর নির্মিত একটি স্কোরিং টেমপ্লেট। একটি সাধারণ কাঠামো: যখন শিক্ষার্থী ঠিক কীটি নির্বাচন করে (সম্পূর্ণ সঠিক সেট) তখন p1 পয়েন্ট প্রদান করুন, অথবা কিছু ফর্মুলেশনে, যখন প্রতিটি বিভ্রান্তিকারী সঠিকভাবে বাদ দেওয়া হয়; অন্যথায় একটি pc − m সূত্র প্রয়োগ করুন, যেখানে pc হলো সঠিকের অনুপাত এবং m হলো কী এর বাইরের নির্বাচনগুলিতে স্কেল করা জরিমানা। লক্ষ্য, যেমন আনুষ্ঠানিক স্কোরিং-ফাংশন গবেষণা ব্যাখ্যা করে, হলো নিশ্চিত করা যে গণিত নিজেই অযত্নশীল অতিরিক্ত-নির্বাচনকে নিরুৎসাহিত করে।

  • জরিমানা (m) এমনভাবে আকার দিন যাতে প্রতিটি বিকল্প নির্বাচন করার প্রত্যাশিত মান, বা এলোমেলোভাবে নির্বাচন করা, নেতিবাচক বা সর্বোচ্চ শূন্য হয়।
  • আইটেম স্থাপন করার আগে একটি "সবকিছু নির্বাচন করুন" প্রতিক্রিয়ার বিরুদ্ধে আপনার জরিমানা পরীক্ষা করুন। যদি সেই প্রতিক্রিয়া শূন্যের উপরে স্কোর করে, তাহলে জরিমানা খুব ছোট।
  • একটি সত্যিকারের সৎ আংশিক-জ্ঞান প্রতিক্রিয়ার বিরুদ্ধেও পরীক্ষা করুন। যদি একজন শিক্ষার্থী ৪টি সঠিক বিকল্পের মধ্যে ৩টি সঠিকভাবে চিহ্নিত করে, এবং উভয় বিভ্রান্তিকারী বাদ দেয়, কিন্তু যে ব্যক্তি ব্যাপকভাবে অনুমান করেছিল তার চেয়ে খারাপ স্কোর করে, তাহলে জরিমানা খুব বড়।

আইটেম বাক্যগঠন ফর্মুলার পিছনে সমান গুরুত্বপূর্ণ। "সব সঠিক উত্তর নির্বাচন করুন" পড়ে এমন নির্দেশাবলী জরিমানা সম্পর্কে কোনো নির্দেশনা ছাড়াই শিক্ষার্থীদের অনুমান করতে ঠেলে দেয়, যেহেতু বাক্যগঠনে নিজেই কোনো নেতিবাচক সংকেত নেই। একটি ছোট লাইন যোগ করুন যা বলে যে ভুল নির্বাচন স্কোর কমায়, এবং আপনি আরও সৎ আংশিক-জ্ঞান রিপোর্টিং পাবেন, কারণ শিক্ষার্থীরা আর কেবল হেজ করতে অনিশ্চিত বিকল্প নির্বাচন করার প্রণোদনা পায় না।

স্কেল করার আগে অনুশীলনকারী পরিচালনা চেকলিস্ট

একটি পাইলট গ্রুপের বাইরে আংশিক ক্রেডিট চালু করার আগে, এই চারটি পরীক্ষা চালান:

  1. রুব্রিক স্পষ্টতা। নিশ্চিত করুন যে প্রতিটি রুব্রিক স্তরে একটি স্বতন্ত্র, পর্যবেক্ষণযোগ্য অ্যাঙ্কর বিবরণ রয়েছে, "বেশিরভাগ সঠিক"-এর মতো অস্পষ্ট লেবেল নয়।
  2. আন্তঃ-রেটার নির্ভরযোগ্যতা। একক স্তরে স্কেলে একক রেটারের স্কোর বিশ্বাস করার আগে দুজন রেটারকে স্বাধীনভাবে একই ২০ থেকে ৩০টি নমুনা প্রতিক্রিয়া স্কোর করতে দিন এবং চুক্তি পরীক্ষা করুন।
  3. পাইলট তুলনা। পুরানো স্কোরিং নিয়ম এবং নতুন আংশিক-ক্রেডিট নিয়ম উভয়ের অধীনে একই প্রতিক্রিয়া সেট স্কোর করুন, এবং নির্ভরযোগ্যতা এবং গ্রেড বিতরণ পাশাপাশি তুলনা করুন।
  4. সংবেদনশীলতা বিশ্লেষণ। আপনার জরিমানা ওজন বা পয়েন্ট বরাদ্দ সামান্য পরিবর্তন করুন এবং বিশ্লেষণটি পুনরায় চালান। স্কোরিং-মডেল গাইডেন্স এই পদক্ষেপটির সুপারিশ করে কারণ ছোট ওজন পরিবর্তন নির্ভরযোগ্যতার ফলাফল উল্টে দিতে পারে বা প্রার্থীর র‌্যাংকিং সম্পূর্ণরূপে পুনর্বিন্যস্ত করতে পারে।

প্রতিটি স্কোরিং সিদ্ধান্ত নথিভুক্ত করুন, কেন একটি নির্দিষ্ট সূত্র বা জরিমানার আকার বেছে নেওয়া হয়েছিল সহ, এমন একটি বিন্যাসে যা স্টেকহোল্ডাররা পরে পর্যালোচনা করতে পারেন। সেই রেকর্ডই একটি প্রতিরক্ষাযোগ্য পাইলটকে একটি প্রতিরক্ষাযোগ্য নীতিতে পরিণত করে।

যখন আংশিক ক্রেডিট তার জটিলতার মূল্য দেয়

আংশিক ক্রেডিট একটি পরিমাপ আপগ্রেড যার একটি বাস্তব প্রশাসনিক মূল্য ট্যাগ রয়েছে, এবং অন্যথায় ভান করা এটি প্রথমবার পাইলট করা যেকারো প্রতি অবিচার করে। নির্ভরযোগ্যতা এবং পার্থক্যকরণে লাভ ভালোভাবে নথিভুক্ত, কিন্তু যোগ করা বোঝাও: আরও রেটার প্রশিক্ষণ, আরও জটিল সূত্র, একটি নির্দিষ্ট আইটেমে "আংশিক" আসলে কী বোঝায় সে সম্পর্কে মতবিরোধের আরও জায়গা।

গবেষণার উপর আমার সৎ পড়া হলো যে বেশিরভাগ শ্রেণিকক্ষ-স্তরের মূল্যায়নে Rasch ক্যালিব্রেশন, সাবসেট-সিলেকশন জরিমানা, বা উপরে কভার করা আরও বিস্তৃত যন্ত্রপাতির কোনোটির প্রয়োজন নেই। একটি স্পষ্ট রুব্রিক এবং আনুপাতিক ভগ্নাংশায়ন বেশিরভাগ বাস্তব শ্রেণিকক্ষের প্রয়োজন কভার করে। যেখানে আংশিক ক্রেডিট তার জটিলতার মূল্য দেয় তা হলো বড় মাপে: সার্টিফিকেশন পরীক্ষা, বহু-ফর্ম পরীক্ষা কার্যক্রম, এবং যেকোনো মূল্যায়ন যেখানে একটি ভুল স্কোরিং অনুমান ত্রিশজনের পরিবর্তে হাজার হাজার পরীক্ষার্থীর মধ্যে যৌগ হয়।

অপারেশনাল বোঝা ঠিক সেই জায়গা যেখানে ভালো প্ল্যাটফর্ম টুলিং হিসাবটি পরিবর্তন করে, বিশেষত যদি আপনি বৈশ্বিক নিয়োগ স্বয়ংক্রিয় করতে এবং সম্মতির ঝুঁকি কমাতে চান। একটি টুল যা রুব্রিক প্রয়োগ স্বয়ংক্রিয় করে, রেটার সামঞ্জস্যতা ট্র্যাক করে এবং স্কোরিং সিদ্ধান্ত লগ করে তা বেশিরভাগ ঘর্ষণ দূর করে যা শিক্ষাবিদদের আংশিক ক্রেডিট পাইলট করা থেকে বিরত রাখে। প্রথমে পাইলট করুন, যোগ করা খরচের বিপরীতে নির্ভরযোগ্যতা লাভ পরিমাপ করুন, এবং সংখ্যাগুলি আসলে এটি ন্যায্যতা দেওয়ার পরে কেবল পদ্ধতিটি স্কেল করুন।

— Jimmie

নিজে অবকাঠামো না বানিয়ে আংশিক-ক্রেডিট মূল্যায়ন তৈরি করুন

আংশিক ক্রেডিট স্কোরিংয়ে বেশিরভাগ ঘর্ষণ গণিতে নয়। এটি অবকাঠামোতে: সামঞ্জস্যপূর্ণ রুব্রিক লেখা, রেটারদের সঠিক রাখা, এবং বিশ্বাস করা যে কেউ পরীক্ষায় কৌশল খেলেনি। Talent Approved একটি পে-অ্যাজ-ইউ-গো মডেলের উপর তৈরি কোনো সাবস্ক্রিপশন ছাড়াই, তাই আপনি প্রতি সম্পন্ন প্রার্থী মূল্যায়নে মাত্র পেমেন্ট করুন, এবং স্কোরিং সফ্টওয়্যার লাইসেন্সিংয়ের ওভারহেড এড়িয়ে যান যা আপনার মাঝে মাঝে প্রয়োজন হতে পারে।

Talent Approved

প্ল্যাটফর্মের Magic Create ফিচার একটি চাকরির বিবরণ বা দক্ষতার তালিকা থেকে সরাসরি একটি ভূমিকা-নির্দিষ্ট, রুব্রিক-প্রস্তুত মূল্যায়ন তৈরি করে, যা ম্যানুয়াল আইটেম-লেখার পর্যায়টি সম্পূর্ণ বাদ দেয়। অন্তর্নির্মিত অ্যান্টি-চিট টুল, স্ক্রিন এবং ওয়েবক্যাম মনিটরিং সহ সেশন রিপ্লে, আংশিক-ক্রেডিট ফলাফলের অখণ্ডতা রক্ষা করে একইভাবে রেটার প্রশিক্ষণ একটি নির্মিত-প্রতিক্রিয়া রুব্রিক রক্ষা করে। AI-জেনারেটেড পারফরম্যান্স সারাংশ আপনার দলকে হাতে কাঁচা রুব্রিক গণিত ব্যাখ্যা করতে বাধ্য না করে ভগ্নাংশ স্কোরগুলিকে পাঠযোগ্য প্রার্থী র‌্যাংকিংয়ে পরিণত করে।

যদি আপনি শিক্ষার্থীদের গ্রেড দেওয়ার পরিবর্তে দক্ষতা মূল্যায়ন করছেন, এবং স্কোরিং অবকাঠামো নিজে পরিচালনা না করে আংশিক-ক্রেডিট শৈলীর স্কোরিং চান, তাহলে দক্ষতা মূল্যায়ন মূল্য নির্ধারণ পৃষ্ঠা দেখুন এবং দেখুন আপনার পরবর্তী নিয়োগের রাউন্ডের জন্য একটি পাইলট মূল্যায়নের খরচ কত হবে।

সূত্র

প্রায়শই জিজ্ঞাসিত প্রশ্ন

আংশিক ক্রেডিট কীভাবে গণনা করবেন?

অর্জিত পয়েন্টগুলি (সঠিক নির্বাচন, রুব্রিক স্তর, বা সাবসেট মিল) সেই আইটেমের সর্বোচ্চ সম্ভাব্য পয়েন্ট দিয়ে ভাগ করুন, তারপর আইটেমের মোট পয়েন্ট মান দিয়ে গুণ করুন। সাবসেট-সিলেকশন এবং লিনিয়ার-পেনাল্টি পদ্ধতিগুলি সেই চূড়ান্ত গুণের আগে ভুল নির্বাচনের জন্য একটি ওজনযুক্ত জরিমানা বিয়োগ করে।

ক্রেডিট স্কোরিং পদ্ধতির তিনটি প্রধান ধরন কী কী?

মূল্যায়ন ডিজাইনে, তিনটি বিস্তৃত পদ্ধতি হলো দ্বিভাজক (সঠিক/ভুল) স্কোরিং, আংশিক-ক্রেডিট স্কোরিং (আনুপাতিক, সাবসেট-সিলেকশন, বা পেনাল্টি-ভিত্তিক সূত্র), এবং নির্মিত প্রতিক্রিয়াগুলির জন্য রুব্রিক-ভিত্তিক ভগ্নাংশ স্কোরিং। প্রতিটি ভিন্ন আইটেম বিন্যাসের সাথে মানানসই, এবং কোনো একটি পদ্ধতি প্রতিটি প্রসঙ্গে শ্রেষ্ঠ নয়।

একটি আংশিক-ক্রেডিট স্কোরিং সিস্টেমকে সবচেয়ে বেশি কী ক্ষুণ্ণ করে?

অস্পষ্ট রুব্রিক অ্যাঙ্কর এবং অসামঞ্জস্যপূর্ণ রেটার প্রশিক্ষণ সবচেয়ে সাধারণ ব্যর্থতার বিন্দু, যেহেতু তারা স্কোরারদের মধ্যে মতবিরোধ প্রবর্তন করে যা ঘটনার পরে কোনো সূত্র সংশোধন করতে পারে না। দ্বিতীয় নিকটবর্তী হলো খুব ছোট আকারের একটি জরিমানা শব্দ, যা এলোমেলো অনুমানকে দমন করার পরিবর্তে পরিসংখ্যানগতভাবে লাভজনক রেখে যায়।

আংশিক ক্রেডিট কি আসলে পরীক্ষার নির্ভরযোগ্যতা উন্নত করে?

একাধিক-প্রতিক্রিয়া আইটেমগুলিতে অভিজ্ঞতামূলক তুলনাগুলি দেখায় যে আংশিক-ক্রেডিট স্কোরিং দ্বিভাজক স্কোরিংয়ের তুলনায় নির্ভরযোগ্যতা এবং পার্থক্যকরণ উভয়ই উন্নত করেছে, বিশেষত যখন স্কোরিং ফাংশন ভুল নির্বাচনগুলিকে জরিমানা করে। লাভটি স্বয়ংক্রিয় নয়। এটি রুব্রিক স্পষ্টতা এবং জরিমানার আকারের উপর নির্ভর করে।

একটি প্ল্যাটফর্ম কি দক্ষতা মূল্যায়নের জন্য আংশিক-ক্রেডিট স্কোরিং পরিচালনা করতে পারে?

হ্যাঁ। Talent Approved তার Magic Create মূল্যায়ন নির্মাতা এবং অ্যান্টি-চিট মনিটরিংয়ের পাশাপাশি রুব্রিক-ভিত্তিক স্কোরিং সমর্থন করে, নিয়োগ দলগুলিকে নিজেরা গণনা অবকাঠামো না বানিয়ে ভগ্নাংশ স্কোরিং যুক্তি প্রয়োগ করতে দেয়। বর্তমান মূল্য নির্ধারণ দক্ষতা মূল্যায়ন পৃষ্ঠায় তালিকাভুক্ত।