TalentApproved

3 taulukkolaskentakaavaa osittaisen pisteytykseen ja Rasch-malliin

3 taulukkolaskentakaavaa osittaisen pisteytykseen ja Rasch-malliin

Osittaispistemäärätys jakaa pisteet asteikolla kaikki tai ei mitään -tuloksen sijaan, palkiten vastaajan siitä osuudesta vastauksesta, joka on oikein. Opettajat käyttävät sitä, koska se mittaa osittaista tietämystä, jonka dikotominen oikein–väärin-pisteytys hävittää, ja hyvin suunnitellut osittaispisteytysfunktiot vähentävät satunnaisen arvaamisen tuottoa. Se sopii parhaiten moniosaisiin tehtäviin, monivalintakysymyksiin ja rakenneltuihin vastauksiin, joita arvioidaan arviointimatriisin avulla, erityisesti silloin kun tarvitset yksityiskohtaisempaa diagnostista tietoa kuin yksinkertainen hyväksytty/hylätty-tulos voi antaa.

Lyhyesti:

  • Osittaispistemäärätys kuvaa opiskelijan tietämystä paremmin moniosaisissa, monivalinta- ja rakennelluissa vastaustehtävissä kuin yksinkertainen oikein–väärin-lähestymistapa.
  • Menetelmät kuten osajoukkojen valinta ja lineaarinen rangaistus hillitsevät arvaamista, mutta edellyttävät selkeitä ohjeita ja voivat lisätä monimutkaisuutta pisteytyksessä ja arvioijien koulutuksessa.
  • Empiirinen tutkimus osoittaa, että osittaispisteytys parantaa luotettavuutta ja erottelukykyä, erityisesti laajassa mittakaavassa tai monivalintatehtävissä, joissa arvaaminen on yleistä.
  • Useimmat luokkahuonearvioinnit eivät tarvitse edistyneitä malleja kuten Rasch-osittaispisteytysmalli, jotka on varattu laajamittaisiin testiohjelmiin ja sertifiointikokeisiin.
  • Erityistyökalujen käyttö, jotka automatisoivat arviointimatriisin soveltamisen, arvioijien johdonmukaisuuden ja pisteytysten läpinäkyvyyden, yksinkertaistaa toteutusta ja varmistaa oikeudenmukaisen ja johdonmukaisen osittaispisteytysarvioinnin.
Talent Approved
Arvioi taitoja CV:n tuolla puolen
Talent Approved auttaa työnantajia luomaan strukturoituja, roolikohtaisia arviointeja ja tarkastelemaan hakijoiden osaamista suuremmalla luottamuksella.

Sisällysluettelo

Mitä osittaispistemäärätys tarkoittaa ja milloin sitä käytetään

Dikotominen pisteytys kohtelee vastausta joko täysin oikeana tai täysin vääränä, yhden pisteen tai nollan arvoisena. Osittaispisteytys murtaa tämän kahtiajaon. Opiskelija, joka valitsee kolme neljästä oikeasta vaihtoehdosta monivalintatehtävässä tai joka ratkaisee monivaiheisen tehtävän asettelun oikein mutta epäonnistuu lopullisessa laskussa, saa pisteitä suhteessa siihen, mitä hän todella osoitti.

Osittaispisteytyksen puolesta puhuvat kolme käytännön tulosta. Ensinnäkin se tallentaa osittaisen tietämyksen, jonka tiukka oikein/väärin-sääntö hävittää, mikä on tärkeintä tehtävissä, joilla on useita perusteltuja osavastauksia. Toiseksi asianmukaisesti rakennetut pisteytysfunktiot voivat tehdä satunnaisen arvauksen odotusarvon negatiiviseksi, jolloin arvaaminen lakkaa olemasta rationaalinen strategia – vaikutus, joka on muodollisesti mallinnettu pisteytysfunktiotutkimuksessa. Kolmanneksi empiiriset vertailut monivalintatehtävissä osoittivat, että osittaispisteytysmenetelmät paransivat sekä luotettavuutta että tehtävän erottelukykyä dikotomiseen pisteytykseen verrattuna.

Osittaispisteytykselle ei ole tarvetta kaikkialla. Sanastotesti, jossa on yksittäisiä oikeita vastauksia, ei hyödy siitä lainkaan ja lisää vain pisteytysmonimutkaisuutta. Turvaudu osittaispisteytykseen silloin, kun tehtävät ovat aidosti monivaiheisia, kun monivalintakysymyksillä on enemmän kuin kaksi uskottavaa vaihtoehtoa tai kun rakenneltu vastaus voidaan jakaa arviointimatriisiin, jossa on selkeät, arvioitavat osat.

Yleisimmät osittaispistemäärätyksen menetelmät

Mikään yksittäinen kaava ei voita kaikissa yhteyksissä. Klassinen alan kirjallisuus luettelee joukon menetelmiä ja toteaa johdonmukaisesti, että kyseessä ovat kompromissit eikä yleinen voittaja, joten oikea valinta riippuu tehtävän muodosta ja siitä, mitä vastaan haluat suojautua – olipa se arvaaminen, arvioijan epäjohdonmukaisuus tai itse pisteytysmonimutkaisuus.

  • Suhteellinen (oikein-lukumäärä) pisteytys. Pisteet vastaavat oikeiden valintojen osuutta kaikista mahdollisista valinnoista. Helppo laskea, helppo selittää opiskelijoille, mutta altis manipuloinnille monivalintatehtävissä, joissa kaiken valitseminen takaa lähtöpisteet.
  • Osajoukkojen valinta (SS) -pisteytys. Täydet pisteet vain, kun valitaan täsmälleen oikea osajoukko; osittaisia pisteitä myönnetään osakysymyksen avainvastausta täsmääville osajoukoille, ja väärennösvastauksista vähennetään pisteitä. Parempi arvaamisen hallinta kuin puhtaassa suhteellisessa pisteytyksessä, joskin selitettävä sääntö on hieman monimutkaisempi.
  • Modifioitu Zapechelnyuk-tyylinen funktio. Nämä käyttävät matemaattisesti johdettua rangaistusrakennetta, joka on suunniteltu niin, että sokean arvauksen odotusarvo muuttuu negatiiviseksi, mikä puuttuu suoraan arvaamisen ongelmaan sen vain sietämisen sijaan.
  • Lineaariset rangaistusmallit. Pisteet vastaavat oikeiden valintojen lukumäärää vähennettynä vääreiden valintojen painotetulla lukumäärällä. Säädettävissä rangaistuspainon avulla, mikä mahdollistaa ylivalitsemisen ehkäisemisen aggressiivisuuden kalibroinnin.
  • Arviointimatriisiin perustuva jako. Rakenneltuihin vastauksiin pisteytetään järjestetyn arviointimatriisin mukaan (esimerkiksi 0–4), joka muunnetaan tehtävän kokonaispisteistä osuudeksi. Tämä on vakiomenetelmä esseille, monivaiheisille matematiikan tehtäville ja laboratorioraporteille.

Suhteellinen pisteytys sopii monivalinta- ja monityhjä-tehtäviin, joissa muoto on yksinkertainen ja arvaamisen riski on pieni. Osajoukkojen valinta- ja lineaariset rangaistusmallit sopivat monivalintatehtäviin, joissa väärennösvastaukset ovat niin houkuttelevia, että satunnainen valinta voi kasvattaa pisteitä. Arviointimatriisiin perustuva jako on ainoa järkevä vaihtoehto avoimille rakennelluille vastauksille, koska jaettavaa "oikeiden lukumäärää" ei ole.

Kompromissimalli on johdonmukainen eri menetelmissä: yksinkertaisemmat kaavat (suhteellinen pisteytys) ovat helpoiten opiskelijoiden ja opettajien ymmärrettävissä, mutta heikoiten arvaamisen hillitsemisessä, kun taas rangaistukseen perustuvat ja osajoukkomenetelmät hallitsevat arvaamista paremmin, mutta edellyttävät selkeämpiä ohjeita, jotta opiskelijat ymmärtävät, kuinka valinnat punnitaan. Arviointimatriisiin perustuvassa pisteytyksessä on aivan erilainen riski: arvioijien epäjohdonmukaisuus, jota mikään kaava ei yksinään pysty korjaamaan.

Kuinka osittaispisteytys lasketaan: käytännön esimerkkejä

Edellä mainitut kaavat ovat hyödyttömiä, ennen kuin voit laskea luvut itse. Tässä on kolme käytännön esimerkkiä, jotka voit siirtää suoraan laskentataulukkoon.

1. Suhteellinen pisteytys neljän vaihtoehdon monivalintatehtävässä.

Oletetaan, että tehtävässä on neljä oikeaa vaihtoehtoa kuudesta kokonaisvaihtoehdosta, ja se on 4 pisteen arvoinen. Opiskelija valitsee 3 neljästä oikeasta vaihtoehdosta ja 0 väärennösvastauksia.

Pisteet = (oikeat valinnat / oikeiden vaihtoehtojen kokonaismäärä) × tehtävän pisteet Pisteet = (3 / 4) × 4 = 3,0 pistettä

2. Osajoukkojen valinta väärennösvastusvähennyksen kanssa.

Sama tehtävä: 4 oikeaa vaihtoehtoa, 2 väärennösvastauksia, 4 pistettä yhteensä. Tällä kertaa opiskelija valitsee 3 oikeaa vaihtoehtoa ja 1 väärennösvastausta.

Pisteet = [(valitut oikeat / oikeat yhteensä) − (valitut väärennösvastaukset / väärennösvastaukset yhteensä)] × tehtävän pisteet, alarajana nolla Pisteet = [(3/4) − (1/2)] × 4 = [0,75 − 0,5] × 4 = 1,0 piste

Verrattuna pelkkään suhteelliseen menetelmään, joka olisi jättänyt väärennösvastauksesta välittämättä ja myöntänyt 3,0 pistettä samanlaisesta vastauksesta. Tämä ero on koko argumentti rangaistukseen perustuvien menetelmien puolesta tehtävissä, joissa väärennösvastaukset ovat aidosti houkuttelevia.

Kolmen osittaispisteytysmenetelmän vertailu

3. Arviointimatriisista osuudeksi muuntaminen 20 pisteen kysymyksessä.

Monivaiheinen matematiikan tehtävä arvioidaan 0–4-arviointimatriisilla: 0 (ei pätevää lähestymistapaa), 1 (vain oikea asettelu), 2 (oikea menetelmä, merkittävä virhe), 3 (oikea menetelmä, pieni virhe), 4 (täysin oikein). Kysymys on 20 pisteen arvoinen.

Osittainen pistemäärä = (ansaitut arviointimatriisipisteet / arviointimatriisin enimmäispisteet) × tehtävän pisteet Opiskelija, joka saa arviointimatriisista 3 pistettä, saa: (3/4) × 20 = 15 pistettä

Kun lasket tämän muunnoksen koko luokkaluettelon osalta, saat jakautuman, joka ei näytä lainkaan yksinkertaiselta prosentuaalisesti oikein -histogrammilta: pisteet kasautuvat arviointimatriisivyöhykkeiden ympärille (0, 5, 10, 15, 20) jakautumatta jatkuvasti, mikä on hyvä tietää ennen kuin rakennat arvosanakäyrän sen ympärille.

Vinkki: Rakenna nämä kolme kaavaa nimettyinä funktioina jaetussa laskentataulukkopohjassa ennen kokeen alkamista. Pisteytysmenetelmän jälkikäteen muokkaaminen sen jälkeen, kun opiskelijat ovat jo lähettäneet vastauksensa, on yleisin pisteytyskiistelyiden lähtökohta.

Tilastolliset mallit ja IRT: Rasch-osittaispisteytysmalli

Murto-osapisteytyskaavat vastaavat kysymykseen: "kuinka monta pistettä tämä vastaus ansaitsi". Vasteteoriamalli (IRT) vastaa eri kysymykseen: "kuinka paljon kykyä tämä vastaus todella osoittaa, kun otetaan huomioon, kuinka vaikea kunkin vastausluokan saavuttaminen on". Tällä erottelulla on merkitystä, kun siirrytään yksittäisen luokkahuoneen arvioinnista kontekstiin, jossa pisteitä on verrattava eri tehtäväversioiden, ryhmien tai vuosien välillä.

Geoff Mastersin kehittämä Rasch-osittaispisteytysmalli laajentaa vakio-dikotomisen Rasch-mallin tehtäviin, joilla on järjestettyjä vastausluokkia. Sen sijaan, että se kohtelisi "vaihetta 2/4" yksinkertaisesti puolena "vaiheesta 4/4", Rasch-malli arvioi erillisen kynnysparametrin siirtymää varten kunkin peräkkäisen luokkaparin välillä. Siirtyminen arviointimatriisin pisteestä 1 pisteeseen 2 saattaa edellyttää huomattavasti enemmän osoitettua osaamista kuin siirtyminen pisteestä 2 pisteeseen 3, ja malli tallentaa tämän oletuksen sijaan, että jokainen askel olisi yhtä suuri.

Epätasaiset kynnysarvot arviointimatriisin luokkien välillä

Käytännön hyöty on parametrien eriyttämismahdollisuus: tutkittavan arvioitu kyky ja tehtävän luokkakynnykset voidaan arvioida toisistaan riippumatta, mikä tekee lomakevertailuista tilastollisesti puolustettavia.

Milloin lisätty monimutkaisuus on vaivan arvoinen?

  • Laajamittaiset testausohjelmat, joissa tuhannet vastaukset tarvitsevat johdonmukaista tulkintaa useissa eri koelomakeversioissa.
  • Linkittäminen ja ekvivalentointi, kun eri opiskelijaryhmät tekevät eri versioita testistä ja pisteiden on tarkoitettava samaa asiaa kussakin versiossa.
  • Tarkka tehtäväkalibrointi, kun sinun on tiedettävä tarkalleen, kuinka paljon kykyä erottaa arviointimatriisissa "2" ja "3" toisistaan, sen sijaan että olettaisit tasavälistä jakoa.
  • Erilaisen toiminnan tarkistukset, joissa sinun on vahvistettava, että tehtävän osittaispisteytyksen vaiheet käyttäytyvät johdonmukaisesti eri väestöryhmissä ennen kuin luotat kokonaispistemäärään.

Yksittäinen luokkahuonekoe ei juuri koskaan tarvitse Rasch-kalibrointia. Kansallisesti toimeenpantu sertifiointikoe, jota käytetään useissa testausjaksoissa ja jolla on todellisia seurauksia hyväksytty/hylätty-päätöksille, tarvitsee sen lähes aina. Raja "käytä laskentataulukkokaavaa" ja "käytä IRT-ohjelmistoa" välillä on todella raja panoksista ja mittakaavasta, ei tehtävämuodosta.

Toteutuksen parhaat käytännöt: suunnittelu, konfigurointi ja raportointi

Osittaispisteytyksen oikea toteuttaminen alkaa hyvissä ajoin ennen kuin yksikään opiskelija näkee tehtävän, eikä se pääty pisteiden laskemiseen. Kolme vaihetta ansaitsevat huolellista huomiota: suunnittelu, alustan konfigurointi ja raportointi.

Suunnittelun tarkistuslista. Ennen kuin kirjoitat yhtään tehtävää, päätä pisteytyssäännöstä – ei sitten, kun pilotointi paljastaa epäjohdonmukaisuuden.

  • Kirjoita arviointimatriisi tai pisteiden jakosääntö samaan aikaan kuin kirjoitat tehtävän, ei jälkikäteen.
  • Käytä yhdenmukaista pisteasteikkoa samanlaisissa tehtävissä, jotta opiskelijat voivat ennakoida osittaispisteytyksen jakautumisen.
  • Testaa uusia arviointimatriiseja pienellä otoksella todellisia tai harjoitusvastauksia ennen niiden käyttöönottoa laajassa mittakaavassa ja muokkaa ankkurikuvauksia siellä, missä kaksi arvioijaa on erimielisiä.
  • Määrittele 3–5 ankkurivastausta pistevyöhykettä kohden rakenneltujen vastausten arviointimatriiseille – käytäntö, jota tukee arviointimatriisiin perustuvaa osittaispisteytyksestä tehty tutkimus, joka suosittelee arvioijien kouluttamista esimerkkivastauksiin hyväksyttävän arviointienvälistarkkuuden saavuttamiseksi.

LMS- ja alustan konfigurointi. Useimmissa oppimisenhallintajärjestelmissä osittaispisteytysasetukset on piilotettu tehtävätason asetusten sisälle kokotason asetusten sijaan, joten tarkista kukin kysymystyyppi erikseen sen sijaan, että luottaisit globaalin valintakytkimen kattavan kaiken. Varmista, näyttääkö opiskelijoille palautteena murto-osapistemäärä, arviointimatriisitaso vai molemmat, sillä pelkän pyöristetyn kokonaissumman näyttäminen voi hämärtää, missä pisteitä on menetetty. Vie raakaa, pyöristämätöntä pisteytystietoa aina kun mahdollista. Varhainen pyöristäminen ja myöhempi uudelleenlaskeminen on yksi nopeimmista tavoista tuoda piilossa olevia laskentavirheitä suureen opiskelijarekisteriin.

Raportointi. Raportoi sekä raaka murto-osapistemäärä että pyöristetty kokonaistulos ja mainitse tämä selkeästi kaikessa opiskelijalle menevässä pisteraportissa. Opiskelija, joka näkee "15/20" ilman kontekstia, ei pysty tietämään, menettivätkö he 5 pistettä yhteen isoon virheeseen vai useisiin pieniin virheisiin. Yhdellä rivillä selitetty laskutapa osittaispisteytyksestä, liitettynä pisteraportille, ratkaisee useimmat riitatilanteet ennen kuin ne alkavat. Tiimit, jotka rakentavat pisteytysmatriiseja strukturoituihin arviointeihin, löytävät lisää arviointimatriisin suunnitteluohjeita ja malleja, jotka sopivat suoraan yhteen murto-osapisteytystavan kanssa.

Luotettavuus, validiteetti ja arvaamisen hillitseminen

Luotettavuus on kysymys, joka ratkaisee, oliko osittaispisteytys lisätyn monimutkaisuuden arvoinen. Jos pisteytysmuutos ei mittavasti paranna arvioinnin johdonmukaisuutta, lisää arvioijien koulutusvaatimusta ja laskutoimitustyötä on vaikea perustella.

Empiirinen näyttö kallistuu täällä myönteiseen suuntaan. Pisteytystapoja monivalintatehtävissä vertailleet tutkimukset totesivat, että osittaispisteytystavat paransivat sekä luotettavuutta että erottelukykyä yksinkertaiseen dikotomiseen pisteytykseen verrattuna, erityisesti tehtävissä, joissa on enemmän kuin kaksi vastausvaihtoehtoa ja joissa oikein/väärin-jako hävittää merkityksellistä vaihtelua. Erikseen negatiivisen odotetun arvauksen arvon ympärille rakennettuihin pisteytysfunktioihin liittyvä teoreettinen työ osoitti, että nämä funktiot parantavat sekä luotettavuutta että erottelukykyä verrattuna pelkkään oikein–väärin-pisteytykseen, erityisesti kun arvaamisrangaistus on sisäänrakennettu.

Kolme käytännön tarkistusta kertoo, onko muutos tuottamassa tulosta omassa aineistossasi:

Tehtävä-kokonaiskorrelaatio. Laske se uudelleen siirryttyäsi osittaispisteytykseen. Tehtävä, jonka korrelaatio kokonaispistemäärän kanssa paranee, erottaa nyt vahvat suoriutujat heikoista paremmin uuden pisteytyssäännön ansiosta.

Cronbachin alfa ennen ja jälkeen. Aja sama testidatajoukko molempien pisteytyssääntöjen läpi ja vertaa alfa-arvoja suoraan. Merkittävä kasvu on vahva merkki siitä, että osittaispisteytys tallensi tietoa, jonka binäärinen versio hylkäsi.

IRT-sovitustilastot, joissa Rasch- tai muu IRT-malli on jo käytössä. Luokkakynnykset, jotka osoittautuvat epäjärjestyksessä oleviksi – tarkoittaen, että korkeampi arviointimatriisipisteys ei vastaa korkeampaa arvioitua kykyä – merkitsevät arviointimatriisia, joka tarvitsee tarkistuksen riippumatta siitä, mitä raakaluvut luotettavuusluvuissa sanovat.

Mikään tästä ei tule ilmaiseksi. Pisteytysmonimutkaisuus kasvaa jokaisen lisätyn kaavavariantin myötä, arvioijien vaihtelevuudesta tulee elävä huoli heti, kun otat käyttöön minkä tahansa arviointimatriisiin perustuvan osan, ja hallinnolliset kustannukset kasvavat, kun tarvitset ohjelmisto- tai laskentataulukkoinfrastruktuuria yksinkertaisen vastausavaimen ylittämiseen. Punnitse nämä kustannukset todellisiin panoksiisi. Viikoittainen testi harvoin oikeuttaa ylimääräisen vaivan; sertifiointikoe tekee niin lähes aina.

Pisteytyspohjat monivalintatehtäville

Monivalintatehtävät, joissa opiskelija valitsee useita vaihtoehtoja pidemmästä listasta, ovat se paikka, missä arvaaminen tekee eniten vahinkoa testin validiteetille. Opiskelija, joka valitsee kaikki vaihtoehdot "valitse kaikki sopivat" -tehtävässä, jossa on neljä oikeaa vastausta kuudesta vaihtoehdosta, saa aina osittaisia pisteitä naiivilla suhteellisella pisteytyksellä riippumatta siitä, tietääkö hän mitään vai ei.

Ratkaisuna on odotetun arvon ympärille rakennettu pisteytyspohja. Yleinen rakenne: myönnä p1 pistettä, kun opiskelija valitsee täsmälleen oikean avaimen (koko oikean joukon) tai joissakin muotoiluissa, kun kaikki väärennösvastaukset on oikein suljettu pois; muutoin käytä pc − m -kaavaa, jossa pc on oikein vastattujen osuus ja m on avainjoukosta ulkopuolisiin valintoihin skaalattu rangaistus. Tavoitteena, kuten muodollinen pisteytysfunktiotutkimus selittää, on varmistaa, että matematiikka itsessään estää huolimatonta ylivalitsemista.

  • Mitoita rangaistus (m) niin, että kaikkien vaihtoehtojen valitsemisen tai satunnaisen valitsemisen odotettu arvo on negatiivinen tai korkeintaan nolla.
  • Testaa rangaistuksesi "valitse kaikki" -vastausta vastaan ennen tehtävän käyttöönottoa. Jos tämä vastaus saa yli nolla pistettä, rangaistus on liian pieni.
  • Testaa sitä myös aidosti rehellisessä osittaisen tietämyksen vastauksessa. Jos opiskelija, joka tunnistaa oikein 3/4 oikeista vaihtoehdoista ja sulkee pois molemmat väärennösvastaukset, saa huonomman tuloksen kuin joku, joka arvasi laajasti, rangaistus on liian suuri.

Tehtävän muotoilulla on yhtä suuri merkitys kuin sen taustalla olevalla kaavalla. Ohjeet, joissa lukee "valitse kaikki oikeat vastaukset" ilman mitään ohjeistusta rangaistuksista, ohjaavat opiskelijoita arvaamiseen, koska sanamuodossa itsessään ei ole mitään negatiivista signaalia. Lisää lyhyt lause, jossa todetaan, että virheelliset valinnat vähentävät pisteitä, ja saat rehellisempää osittaisen tietämyksen raportointia, koska opiskelijoilla ei ole enää kannustinta valita epävarmoja vaihtoehtoja pelkästään varmuuden vuoksi.

Käytännön hallinnan tarkistuslista ennen laajentamista

Ennen kuin laajennat osittaispisteytyksen pilottiryhmän ulkopuolelle, tee nämä neljä tarkistusta:

  1. Arviointimatriisin selkeys. Varmista, että jokaisella arviointimatriisin tasolla on selkeä, havaittava ankkurikuvaus, ei vain epämääräinen merkintä kuten "pääosin oikein".
  2. Arviointienvälistarkkuus. Pyydä kahta arvioijaa pisteyttämään itsenäisesti samat 20–30 esimerkkivastausta ja tarkista yksimielisyys ennen kuin luotat yhden arvioijan pisteisiin laajassa mittakaavassa.
  3. Pilottivertailu. Pisteytyä sama vastausjoukko sekä vanhalla pisteytyssäännöllä että uudella osittaispisteytyksellä, ja vertaa luotettavuutta ja arvosanajakaumaa rinnakkain.
  4. Herkkyysanalyysi. Muokkaa rangaistuspainoja tai pisteiden jakoa hieman ja aja analyysi uudelleen. Pisteytysmalliohjeet suosittelevat tätä vaihetta, koska pienet painotusmuutokset voivat kääntää luotettavuustuloksia tai muuttaa hakijoiden järjestystä kokonaan.

Dokumentoi kaikki pisteytyspäätökset, myös se, miksi tietty kaava tai rangaistussuuruus valittiin, sellaisessa muodossa, jota sidosryhmät voivat myöhemmin tarkastella. Tämä dokumentaatio muuttaa puolustettavan pilotin puolustettavaksi käytännöksi.

Milloin osittaispisteytys ansaitsee monimutkaisuutensa

Osittaispisteytys on mittauksellinen parannus, jolla on todellinen hallinnollinen hintansa, ja muuta väittäminen tekee palveluksen ensimmäistä kertaa sitä pilotoivalle. Hyöty luotettavuudessa ja erottelukyvyssä on hyvin dokumentoitu, mutta niin on myös lisärasite: enemmän arvioijien koulutusta, monimutkaisempia kaavoja, enemmän tilaa erimielisyyksille siitä, mitä "osittainen" tarkalleen ottaen tarkoittaa tietyssä tehtävässä.

Rehellinen arviointini tutkimuksesta on, että useimmat luokkahuonetason arvioinnit eivät tarvitse Rasch-kalibrointia, osajoukkojen valintarangaistuksia tai mitään yllä kuvattua monimutkaisempaa mekanismia. Selkeä arviointimatriisi ja suhteellinen jako kattavat suurimman osan todellisista luokkahuoneen tarpeista. Osittaispisteytys ansaitsee monimutkaisuutensa laajassa mittakaavassa: sertifiointikokeissa, monilomakkeiset testausohjelmat ja kaikki arvioinnit, joissa väärä pisteytyksen oletus kertautuu tuhansien vastaajien kohdalla kolmenkymmenen sijaan.

Operatiivinen taakka on juuri se paikka, jossa hyvät alustatyökalut muuttavat laskelman – erityisesti jos haluat automatisoida globaalin rekrytoinnin ja vähentää vaatimustenmukaisuusriskejä. Työkalu, joka automatisoi arviointimatriisin soveltamisen, seuraa arvioijien johdonmukaisuutta ja kirjaa pisteytyspäätökset, poistaa suurimman osan kitkasta, joka estää opettajia pilotoimasta osittaispisteytyistä alun alkaenkin. Pilotoi ensin, mittaa luotettavuuden parannusta lisättyyn kustannukseen nähden, ja laajenna lähestymistapaa vasta sitten, kun luvut todella oikeuttavat sen.

— Jimmie

Rakenna osittaispisteytykseen perustuvia arviointeja ilman oman infrastruktuurin rakentamista

Suurin osa osittaispisteytyksen kitkasta ei ole matematiikassa. Se on infrastruktuurissa: johdonmukaisten arviointimatriisien kirjoittamisessa, arvioijien linjaamisessa ja luottamisessa siihen, ettei kukaan huijannut testiä. Talent Approved on rakennettu maksa käytön mukaan -mallille ilman tilausta, joten maksat vain valmiista hakija-arvioinnista ja sivuutat sellaisten pisteytysohjelmistojen lisensointiin liittyvän yleiskustannuksen, joita saatat tarvita vain satunnaisesti.

Talent Approved

Alustan Magic Create -ominaisuus rakentaa roolikohtaisen, arviointimatriisivalmiin arvioinnin suoraan tehtävänkuvauksesta tai taitoluettelosta, mikä poistaa manuaalisen tehtävien kirjoittamisvaiheen kokonaan. Sisäänrakennetut vilpinestokeinot – mukaan lukien näytön ja web-kameran valvonta istunnon tallenteineen – suojaavat osittaispisteytysten eheyttä samalla tavalla kuin arvioijien koulutus suojaa rakennellun vastauksen arviointimatriisia. Tekoälyllä luodut suorituskykyyhteenvedot muuttavat murto-osapistemäärät luettaviksi hakijarankingeiksi pakottamatta tiimiäsi tulkitsemaan raakaa arviointimatriisimatematiikkaa käsin.

Jos arvioit taitoja opiskelijoiden sijaan ja haluat osittaispisteytysmäistä pisteytyistä ilman oman pisteytyisinfrastruktuurin omistamista, katso Taitoarvioinnin hinnoittelusivua ja katso, mitä pilottiarviointi maksaisi seuraavalle rekrytointikierroksellesi.

Lähteet

UKK

Kuinka osittaispisteytys lasketaan?

Jaa ansaitut pisteet (oikeat valinnat, arviointimatriisitaso tai osajoukkovastaavuus) tehtävän mahdollisimmilla pisteillä, ja kerro sitten tehtävän kokonaispistemäärällä. Osajoukkojen valinta- ja lineaariset rangaistusmallit vähentävät painotetun rangaistuksen vääristä valinnoista ennen lopullista kertolaskua.

Mitkä ovat kolme pääasiallista pisteytysmenetelmää?

Arvioinnin suunnittelussa kolme laajaa lähestymistapaa ovat dikotominen (oikein/väärin) pisteytys, osittaispisteytys (suhteellinen, osajoukkojen valinta tai rangaistukseen perustuvat kaavat) ja arviointimatriisiin perustuva murto-osapisteytys rakenneltuihin vastauksiin. Jokainen sopii eri tehtävämuotoihin, eikä mikään yksittäinen lähestymistapa ole parempi kaikissa yhteyksissä.

Mikä useimmiten heikentää osittaispisteytysjärjestelmää?

Epäselvät arviointimatriisin ankkurit ja epäjohdonmukainen arvioijien koulutus ovat yleisimmät epäonnistumisen kohdat, koska ne tuovat arvioijien välille erimielisyyksiä, joita mikään kaava ei pysty korjaamaan jälkikäteen. Toisena tulee liian pieni rangaistustermi, joka jättää satunnaisen arvaamisen tilastollisesti kannattavaksi hillitsemisen sijaan.

Parantaako osittaispisteytys todella testin luotettavuutta?

Empiiriset vertailut monivalintatehtävissä osoittivat, että osittaispisteytys paransi sekä luotettavuutta että erottelukykyä dikotomiseen pisteytykseen verrattuna, erityisesti kun pisteytysfunktio rankaisee vääristä valinnoista. Hyöty ei ole automaattinen. Se riippuu arviointimatriisin selkeydestä ja rangaistuksen mitoituksesta.

Voiko alusta käsitellä osittaispisteytyistä taitoarvioinnissa?

Kyllä. Talent Approved tukee arviointimatriisiin perustuvaa pisteytyistä Magic Create -arviointirakentajansa ja vilpinestomonitoroinnin rinnalla, jolloin rekrytointitiimit voivat soveltaa murto-osapisteytyislogiikkaa ilman laskentainfrastruktuurin rakentamista itse. Ajantasainen hinnoittelu on listattu Taitoarviointien sivulla.