TalentApproved

Rakenna arviointirubriikkeja, joita opettajat voivat pilotoida ja skaalata tekoälyn avulla

Rakenna arviointirubriikkeja, joita opettajat voivat pilotoida ja skaalata tekoälyn avulla

Arviointien pisteytysrubriikki on jäsennelty työkalu, joka muuttaa subjektiivisen arvioinnin johdonmukaiseksi ja puolustettavaksi prosessiksi. Jokaisessa toimivassa rubriikissa on neljä osaa: tehtävänkuvaus, mitattavat kriteerit, suoritustasot, jotka merkitsevät laadun tasoja, sekä kuvaukset, jotka selittävät, miltä kukin taso käytännössä näyttää. Tämä opas käy läpi rubriikkin rakentamisen, sen testaamisen oikeilla opiskelijatöillä sekä luotettavuustarkistusten tekemisen, joilla useat arvioijat pysyvät samalla sivulla.

Lyhyesti:

  • Luotettava pisteytys edellyttää kriteerien rajaamista vaikuttavimpiin osa-alueisiin, yleensä kolmesta kuuteen, sekaannusten ehkäisemiseksi ja johdonmukaisuuden säilyttämiseksi.
  • Kalibrointiistunnot auttavat yhtenäistämään arvioijia: esimerkkitöitä arvioidaan itsenäisesti ja poikkeamia käydään läpi kuvausten tulkinnan selkeyttämiseksi.
  • Aloittaminen mitattavilla ja havaittavilla kuvauksilla sekä rubriikkin pilottitestaus oikeilla opiskelijatöillä varmistaa arvioinnin tarkkuuden ja oikeudenmukaisuuden.
  • Yksittäistason rubriikkin tai metarubriikkin käyttäminen vähentää laajuuden kasvua ja yksinkertaistaa koulutusta johdonmukaiseen soveltamiseen suurissa arviointimäärissä.
  • Tekoälypohjaiset arviointityökalut voivat toistaa rubriikkikriteerit johdonmukaisesti suuressa mittakaavassa, minimoiden inhimillisen hajonnan ja nopeuttaen arviointiprosessia.

Sisällysluettelo

Mitä ovat pisteytysrubriikkit? Neljä tarvitsemaasi osaa

Pisteytysrubriikki on hyödyllinen vain rakenteensa ansiosta. Jätä yksikin neljästä ydinosasta pois, ja arviointi ajautuu takaisin arvauksiin – juuri sen ongelman, jonka rubriikkit on luotu ratkaisemaan.

Analyyttiset rubriikkit pisteyttävät jokaisen kriteerin omalla asteikollaan ja yhdistävät tulokset sitten. Jos arvioit laboratorioraporttia hypoteesiselkeyden, metodologian ja data-analyysin osalta erikseen, käytät analyyttistä mallia. Sen soveltaminen vie enemmän aikaa, mutta kertoo opiskelijalle täsmälleen, mistä pisteitä menetettiin, minkä vuoksi se on vakiovalinta monimutkaisiin, kehittäviin tehtäviin.

Holistiset rubriikkit tiivistävät kaiken yhdeksi kokonaispisteeksi, joka perustuu yleiseen laadun vaikutelmaan. Ne ovat nopeita, minkä vuoksi suuret kurssit ja aikarajoitetut kirjoitustehtävät turvautuvat niihin, mutta ne antavat opiskelijoille vähemmän toimenpidekohteita, kun he haluavat kehittyä.

Yksittäistason rubriikkit kuvaavat vain "taitavan" tason yhdessä sarakkeessa jättäen kummaltakin puolelta tilaa arvioijalle kirjoittaa tarkkoja huomioita siitä, missä työ ylitti tai alitti odotukset. Ne lyhentävät valmistelun aikaa ja NC Staten opetusresurssien ohjeiden mukaan tuottavat yleensä yksilöllisempää palautetta kuin täysin täytetty ruudukko, koska arvioijat kirjoittavat omin sanoin valmiiden lauseiden valitsemisen sijaan.

Kolmen välillä valitseminen riippuu tarkoituksesta:

  • Käytä analyyttisiä rubriikkeja portfolioihin, opinnäytteihin ja tehtäviin, joissa on useita erillisiä taitoulottuvuuksia.
  • Käytä holistisia rubriikkeja suurivolyymiseen arviointiin, jossa nopeus on tärkeämpää kuin diagnostinen tarkkuus.
  • Käytä yksittäistason rubriikkeja, kun haluat nopean valmistelun ja rikkaan, yksilöllisen kommentoinnin.
  • Aloita metarubriikista, kuten AAC&U VALUE -rubriikista, kun tarvitset validoidun, laitosten välisen lähtökohdan, ja kaventaa se sitten tehtäväkohtaisiksi kriteereiksi erikoistuneisiin töihin, kuten musiikkikokeisiin tai laboratorio-harjoituksiin.

Kuinka luoda pisteytysrubriikki vaihe vaiheelta

Rubriikkin rakentaminen, joka todella kestää käytössä, noudattaa tiettyä järjestystä. Ohita yksi vaihe ja huomaat sen arvioinnin aikana, jolloin korjaaminen on kallista.

  1. Aloita oppimistuloksesta. Kirjoita yhdellä lauseella tehtävänkuvaus, joka on sidottu siihen, mitä opiskelijoiden tulisi osoittaa – ei vain siihen, mitä heidän tulisi palauttaa.
  2. Valitse 3–6 kriteeriä. Enemmän kuin siinä, arvioijat alkavat selata; vähemmän eikä oikeastaan mitata tulosta. Jokaisen kriteerin tulisi kartoittua johonkin, mitä olet todella opettanut.
  3. Aseta 3–5 suoritustasoa. Utah Techin arviointitoimisto suosittelee pysymistä selkeyden ja käytettävyyden alueella; enemmän tasoja kuin siinä, eikä arvioijat pysty luotettavasti erottamaan niitä toisistaan.
  4. Kirjoita havaittavia kuvauksia. "Osoittaa vahvaa argumentointia" on epämääräinen. "Tukee jokaista väitettä vähintään kahdella tekstuaalisella todisteella" on havaittavissa. Cornellin opetuksen innovaatiokeskus nimenomaisesti varoittaa sanoista kuten "kiinnostava" tai "luova", koska kaksi arvioijaa tulkitsee ne eri tavalla joka kerta.
  5. Päätä painotuksesta. Jos metodologia on tärkeämpää kuin muotoilu, ilmaise se numeraalisesti. Yksinkertainen koonnos voisi painottaa neljää kriteeriä 30/30/25/15 prosentin verran jakamisen sijaan tasaisesti.
  6. Pilotoi oikeilla opiskelijatöillä ja tarkista. Cornellin ohjeet viittaavat luonnoksen testaamiseen todellisia palautuksia vasten ennen sen viimeistelyä, ja käytännön harjoittajat, jotka tekevät tämän säännöllisesti, havaitsevat, että kolmen–kymmenen esimerkkipaperin pisteyttäminen on yleensä riittävästi paljastamaan, missä kuvaus ei pysty erottamaan kahta vierekkäistä tasoa toisistaan.

Vinkki: Arvioi viiden paperin pinoa luonnosrubriikillasi ennen kuin kosket yhteenkään oikeaan arvosanaan. Jos et pysty johdonmukaisesti selittämään, miksi paperi sijoittui "taitavaan" eikä "kehittyvään", ongelma on kuvauksessa – ei opiskelijan työssä.

Rubriikkipohjat, joita voit mukauttaa tänään

Pohjat säästävät aikaa, mutta vain jos mukautat kielen omaan alaasi sen sijaan, että kopioit sen sellaisenaan.

Lyhyen esseen tiivis analyyttinen rubriikki voi pisteyttää teesin selkeyden, todisteiden käytön ja rakenteen neljällä tasolla: Erinomainen, Taitava, Kehittyvä ja Alkava. Paina kutakin kriteeriä aluksi tasaisesti, ja säädä sitten, kun näet, missä opiskelijat todella kamppailevat. Kokonaispisteytys 12/12 muuttuu merkitykselliseksi, kun kuvaukset kunkin tason alla ovat riittävän tarkkoja, että sokkoarviointia tekevä kollega päätyisi samaan numeroon.

Holistinen rubriikki toimii hyvin ajastettuun luokkahuonevastaukseen. Erillisten kriteerien sijaan kirjoita neljä tai viisi kappaletta pitkiä vertailukohtakuvauksia – yksi kullekin pistealueelle – ja sovita opiskelijan työ lähimpään kokonaiskuvaukseen. Jotkut ohjelmat nopeuttavat tätä edelleen "pino"-menetelmällä: lajittele arvioimattomat paperit ensin karkeisiin pinoihin ja anna sitten numerot kunkin pinon sisällä.

Yksittäistason pohja listaa kriteerisi vasemmalle vain "täyttää odotukset" -sarake täytettynä. Jätä "alle" ja "yli" -sarakkeet tyhjäksi käsinkirjoitetuille muistiinpanoille:

  • Kriteerisarake: nimeä taito (teesi, todisteet, kielioppi).
  • Täyttää odotukset -sarake: yksi selkeä lause, joka kuvaa hyvää työtä.
  • Huolenaiheet / vahvuudet -sarakkeet: tyhjä tila kohdennetuille kommenteille.

Näiden mukauttaminen eri aloille tarkoittaa lähinnä sanaston vaihtamista. Laboratorio-harjoituksen rubriikki korvaa "teesin selkeyden" "hypoteesin muotoilulla", kun taas esittelyrubriikki lisää kriteerin äänenkäytölle, jota kirjallisen esseen rubriikki ei koskaan tarvitse.

Yksittäisten opiskelijoiden arviointi vs. ohjelman tulosten arviointi

Rubriikkipisteet merkitsevät eri asiaa riippuen siitä, kuka niitä lukee. Kun arvioit, numero kuuluu yhdelle opiskelijalle ja ohjaa palautetta heidän erityisestä työstään. Kun teet tulosarviointia, sama rubriikkidata kootaan yhteen koko luokan tai ohjelman osalta, ja yksilö katoaa kaavaan.

Yksittäisten opiskelijoiden arviointi vs. ohjelman tulosten arviointi — yleiskatsauskaavio

Cornellin arviointiohjeet tekevät tämän erottelun suoraan: opetuksellinen palaute vaatii analyyttistä, kriteerikohtaista yksityiskohtaisuutta, kun taas ohjelmatason päätökset vaativat koottuja trendejä monilta opiskelijoilta. Jos 60 prosenttia valmistuvasta joukosta saa "kehittyvän" tai sen alle data-analyysikriteereissä, se ei ole palautetta yhdelle opiskelijalle. Se on signaali siitä, että opetussuunnitelma tarvitsee muutoksen.

Käytännölliset raportointivaiheet:

  • Laske keskiarvo ja jakauma kriteerikohtaisesti, ei vain kokonaisarvo.
  • Merkitse kriteerit, joissa pisteet kasaantuvat alhaiselle puolelle. Se on opetussuunnitelmasi heikko kohta.
  • Dokumentoi pilotointi- ja normitusprosessisi tulosten rinnalle. Akkreditointiarvioijat haluavat nähdä, että rubriikki itsessään on validoitu, ei vain että pisteitä on olemassa.

Normitus ja luotettavuus: useiden arvioijien pitäminen johdonmukaisina

Rubriikki on vain niin luotettava kuin sitä soveltavat ihmiset. Kaksi arvioijaa voi lukea saman kuvauksen ja päätyä eri pisteisiin, ellei heitä ole ensin kalibroitu.

Normitusistunto noudattaa selkeää kaavaa UC Berkeleyn GSI-opetus- ja resurssikeskuksen ohjeiden mukaan: kerää kourallinen yhteisiä opiskelijanäytteitä, anna jokaisen arvioijan pisteyttää ne itsenäisesti ilman keskustelua, ja vertaa sitten tuloksia ryhmässä. Aina kun pisteet eroavat, keskustelu paljastaa täsmälleen, mikä kuvaus oli epäselvä. Tämä sovitteluvaihe paljastaa ongelmat nopeammin kuin pelkkä kuvausten uudelleenkirjoittaminen yksin ja toivominen, että ne luetaan selkeämmin toisella kerralla.

Kolmivaiheinen rubriikkin normitusprosessi

Kaksi kuvausongelmaa esiintyy jatkuvasti: päällekkäinen kieli vierekkäisten tasojen välillä ("hyvä" todiste verrattuna "vahvaan" todisteeseen ilman mitattavaa eroa) ja epämääräiset määritteet, jotka tarkoittavat eri lukijoille eri asioita. Korjaus on yleensä kvantifioitava kieli: lähdemäärä, tietyt virheet sivua kohti, laskettava ominaisuus eikä adjektiivi.

Vinkki: Jos kaksi koulutettua arvioijaa pisteyttää saman paperin yli yhden täyden tason verran eri tavalla asteikollasi, älä syytä arvioijaa. Kirjoita ensin uudelleen kuvaus, joka erottaa nämä kaksi tasoa toisistaan.

Parhaat käytännöt, jotka pitävät rubriikkit hyödyllisinä

Rubriikkisuunnittelun yksittäisin suurin epäonnistumistapa on laajuuden kasvu. Rubriikki, jossa on kaksitoista kriteeriä, ei arvioi tarkemmin; se vain vie enemmän aikaa ja kutsuu epäjohdonmukaisuutta, koska yksikään arvioija ei pysty pitämään kahtatoista erillistä standardia mielessä samanaikaisesti lukiessaan sisältöä.

  • Rajaa kriteerit niihin harvoihin, jotka todella ovat merkityksellisiä mittaamasi tuloksen kannalta.
  • Käytä rinnakkaista kuvausrakennetta tasojen välillä, jotta "taitava" ja "kehittyvä" eroavat asteeltaan, ei kokonaan erilaisella lauserakenteella.
  • Anna rubriikki opiskelijoille ennen tehtävän palautuspäivää, ei arvioinnin alettua. Se toimii tiekarttana, ei jälkikäteen paljastettuna pisteytyslomakkeena.
  • Rakenna vertais- tai itsearviointiin samaa rubriikkikieltä, jotta opiskelijat sisäistävät kriteerit sen sijaan, että he vain vastaanottavat tuomion.
  • Pidä koko rubriikki mahdollisuuksien mukaan yhdellä sivulla. Jos se ei mahdu, kriteerilista on todennäköisesti liian pitkä.

Yksi johdonmukainen mutta rajattu signaali arviointitoimistoilta: aloittaminen yksittäistason tai metarubriikkiformaatilla ja monimutkaisuuden lisääminen vasta, kun pilotointi osoittaa sen tarpeelliseksi, auttaa ehkäisemään sitä, mitä harjoittajat kutsuvat rubriikkihiipumiseksi – tilanteen, jossa puhdas työkalu hitaasti kerää kriteerejä, joita kukaan ei oikeasti käytä.

Missä TalentApproved sopii rubriikkipohjaiseen arviointiin

Kaikki yllä oleva skaalautuu hyvin yksittäiselle luokkahuoneelle. Se vaikeutuu, kun rekrytointitiimi pisteyttää kymmeniä ehdokkaita samojen kriteerien mukaan. TalentApprovedIn Magic Create -ominaisuus rakentaa roolikohtaisia arviointeja työnkuvauksesta tai taitoluettelosta, kartoittaen kysymykset kriteereihin samalla tavoin kuin hyvin rakennettu rubriikki kartoittaa kriteerit oppimistuloksiin. Tekoälyn luomat yhteenvedot pisteyttävät vastaukset näiden kriteerien mukaan johdonmukaisesti, kun taas istunnon tallennus ja huijauksenestovalvonta suojaavat etätestauksen validiteettia samalla tavoin kuin paikan päällä tapahtuva normitus suojaa arviointijohdonmukaisuutta. Aiheeseen liittyvä lukeminen ehdokkaiden arviointikriteereistä käsittelee rekrytointipuolen sovellusta syvällisemmin.

Mitä olen oppinut tasapainottaessani rubriikkin yksityiskohtia arviointiaikaan

Rubriikkit, joita todella käytetään, eivät ole perusteellisimpia. Ne ovat niitä, joita arvioija pystyy soveltamaan alle kahdessa minuutissa per palautus menettämättä diagnostista arvoa – mikä yleensä tarkoittaa kriteerien karsimista, joita olet houkuteltu säilyttämään.

Kolme asiaa tehtäväksi tällä viikolla: laadi yksi rubriikki seuraavaan tehtävääsi käyttäen kolmesta kuuteen kriteeriä, pilotoi sitä kolmeen oikeaan näytteeseen ennen julkaisua, ja jos arvioit kenenkään muun kanssa, järjestä viidentoista minuutin normitusistunto kahdesta yhteisestä paperista.

— Jimmie

Laajenna rubriikkikäytäntöäsi TalentApprovedilla

Yhden hyvän rubriikkin rakentaminen on hallittavissa. Sen johdonmukainen soveltaminen viidenkymmentä ehdokaspalautusta kohti ilman arvioijien välistä hajontaa on se, missä useimmat manuaaliset prosessit hajoavat. TalentApproved on rakennettu juuri tähän aukkoon: sen sijaan, että pisteytetään jokainen vastaus käsin kriteereitäsi vasten, Magic Create muuttaa roolikuvauksen jäsennellyksi, rubriikkilinjaiseksi arvioinniksi minuuteissa, ja tekoälyn luomat yhteenvedot soveltavat pisteytyslogiikkaasi samalla tavalla joka kerta, oli kyseessä sitten kolmas tai kolmassadas ehdokas.

Talent Approved

Huijauksenestovalvonta ja istunnon tallennus tarkoittavat, että voit luottaa kokoamiisi pisteisiin – sama validiteettikysymys, joka ajaa normitusistuntoja luokkahuoneessa. Jos haluat nähdä, kuinka kriteeriperustainen pisteytys siirtyy akateemisesta rubriikista rekrytointityönkulkuun, T-muotoisten taitojen arviointiopas käy läpi rubriikkikielen mukauttamisen ammatillisille taitoprofiileille. Aloita tutustumalla TalentApproved-alustaan ja rakentamalla ensimmäinen arviointisi käytössäsi olevasta roolikuvauksesta.

Mistä syventää tietoa rubriikkisuunnittelusta

Käytännöllisiä pohjakirjastoja varten Utah Techin arviointitoimisto ja NC Staten opetusresurssit tarjoavat molemmat ladattavia esimerkkejä eri formaateissa. Cornellin Center for Teaching Innovation käsittelee luomisprosessia yksityiskohtaisesti, kun taas Northern Illinois Universityn Center for Innovative Teaching and Learning on hyödyllinen alakohtaiseen mukauttamiseen. Akkreditointivalmiita kriteereitä varten AAC&U VALUE -rubriikkit ovat edelleen vakioviitepiste.

Lähteet

UKK

Kuinka luon pisteytysrubriikkin arviointia varten?

Kohdista rubriikki tiettyyn oppimistulokseen, valitse 3–6 kriteeriä, aseta 3–5 suoritustasoa, kirjoita havaittavat kuvaukset kullekin tasolle ja pilotoi sitten oikeilla opiskelijatöillä ennen viimeistelyä.

Mitä ovat pisteytysrubriikkit?

Pisteytysrubriikkit ovat jäsenneltyjä arviointityökaluja, jotka jakavat tehtävän nimettyihin kriteereihin ja kuvaavat, miltä laatu näyttää kullakin suoritustasolla, korvaten subjektiivisen arvioinnin johdonmukaisilla standardeilla.

Mikä on arviointirubriikki?

Arviointirubriikki on sama työkalu sovellettuna oppimistulosten mittaamiseen koko luokan tai ohjelman osalta, usein koottuna kaavojen havaitsemiseksi eikä pelkästään yksilöllisen palautteen pisteytykseen.

Mitkä ovat pisteytysrubriikkin neljä perusosaa?

Neljä osaa ovat tehtävänkuvaus, arviointikriteerit, suoritustasot ja kuvaukset, jotka selittävät, miltä kukin suoritustaso näyttää.

Voivatko tekoälytyökalut auttaa soveltamaan rubriikkeja johdonmukaisesti monissa arvioinneissa?

Kyllä. Alustat kuten TalentApproved käyttävät tekoälyn luomia pisteytyskoosteita soveltaakseen samoja kriteerejä johdonmukaisesti suuriin vastausmääriin, mikä peilaa sitä, mitä normitus saavuttaa inhimillisille arvioijille.