TalentApproved

Ota kysymysten satunnaistamistestit käyttöön minuuteissa opettajille

Ota kysymysten satunnaistamistestit käyttöön minuuteissa opettajille

Kysymysten satunnaistaminen esittää kullekin opiskelijalle eri kysymysjärjestyksen, vastaavien vastausten järjestyksen tai eri tehtäväkokonaisuuden, jolloin vastausavaimen kopioiminen tai naapurin näytön vilkaiseminen lakkaa toimimasta. Tärkein hyöty on se, että mahdollisuuksia luvattomaan jakamiseen on vähemmän, mutta tekniikka pysyy reiluna ainoastaan, kun pohjana olevat kysymyspoolit on rakennettu vastaavalla vaikeustasolla ja riittävällä syvyydellä toistumisen välttämiseksi.

Lyhyesti:

  • Satunnaistaminen toimii parhaiten, kun kysymyspoolit ovat laajoja ja hyvin tasapainotettuja – vähintään 100–200 kohtaa kymmentä kysymystä kohden päällekkäisyyksien minimoimiseksi.
  • Useiden satunnaistamistekniikoiden yhdistäminen nostaa merkittävästi huijaamisen vaikeutta, erityisesti kun kysymykset, vastausvaihtoehdot ja suoritustapa vaihtelevat samanaikaisesti.
  • Asianmukainen käyttöönotto edellyttää kysymysten merkitsemistä oppimistuloksen ja vaikeustason mukaan, esikatselua siemenluvuilla sekä yksityiskohtisten tietueiden ylläpitämistä siitä, minkä version kukin opiskelija saa.
  • Monien pienten alipoolien käyttö alhaisella kysymys–pooli-suhteella on todistetusti tehokasta päällekkäisyyksien ja peräkkäisten toistojen vähentämiseksi suurissa ryhmissä.
  • Automatisoidut arviointiratkaisut, kuten Talent Approved, sujuvoittavat satunnaistamista ja huijaamisen estämistä, vähentäen huomattavasti käyttöönottoon kuluvaa aikaa ja varmistaen samalla oikeudenmukaisuuden ja tietoturvan.

Sisällysluettelo

Mitä kysymysten satunnaistaminen on ja miksi sillä on merkitystä

Kysymysten satunnaistaminen kattaa kaksi toisiinsa liittyvää toimenpidettä: kohteiden esitysjärjestyksen sekoittamisen sekä kysymysten poimimisen laajemmasta poolista niin, että eri opiskelijat näkevät kokonaan eri osajoukkoja. Ensimmäinen suojaa tilanteelta, jossa joku vilkaisee naapurin näyttöä ja vertailee vastausten sijainteja toisiinsa. Toinen, jota kutsutaan usein satunnaisesti valittujen kysymysten kokeiksi (RSQE), suojaa tilanteelta, jossa eilen tentin suorittanut opiskelija lähettää vastaukset tekstiviestillä ystävälleen, joka suorittaa tentin tänään.

Oppilaitokset tukeutuvat tähän kolmesta käytännön syystä:

  • Etä- ja verkkotestaus poisti fyysisen valvonnan, joka valvojalla aiemmin oli tilassa.
  • Automatisoituihin arviointijärjestelmiin tarvitaan jäsenneltyjä kohtia, joten satunnaistaminen skaalautuu ilman ylimääräistä manuaalista tarkistustyötä.
  • Suuret kurssiosiot käyttävät samaa tehtäväpankkia useilla suorituskerroilla, ja satunnaistaminen estää tämän uudelleenkäytön muuttumasta vuodoksi.

Satunnaistaminen ei korvaa valvontaa tai plagioinnin havaitsemista. Se on rakenteellinen kerros, joka tekee muista työkaluista tehokkaampia pienentämällä huijaamisen hyötyä jo lähtökohtaisesti.

Kysymysten satunnaistamisen tyypit ja tekniikat

Neljä tekniikkaa kattaa suurimman osan siitä, mitä opettajat tarvitsevat, ja ne voidaan yhdistää.

  1. Sekoita kysymysten järjestys. Sama kohteiden joukko esitetään eri järjestyksessä kullekin opiskelijalle, mikä estää yksinkertaisen "vertaile vastausten sijainteja" -huijaamisen.
  2. Sekoita vastausvaihtoehdot. Monivalintakysymyksessä vastausvaihtoehdot itse vaihtuvat, jolloin tieto "vastaus on C" lakkaa olemasta hyödyllistä jaettavaa tietoa.
  3. Satunnainen valinta alipoolista. Sen sijaan että jokainen opiskelija saisi samat 40 kysymystä, kukin poimii kourallisen kymmenistä vastaavista alipoolista, jolloin mitkään kaksi testiä eivät näytä samanlaisilta.
  4. Yksi kysymys kerrallaan -suoritus. Opiskelijat näkevät yhden kohdan ja vastaavat siihen ennen kuin seuraava ilmestyy, mikä estää koko tentin selaamisen ja vastausten koordinoinnin reaaliajassa.

Kaikkien neljän yhdistäminen nostaa huijaamisen kustannuksia dramaattisesti, sillä opiskelijan pitäisi koordinoida aidosti erilaista testiä suorittavan henkilön kanssa paitsi vastaukset myös sijainnit, muotoilut ja tahti. Yksi varoitus: jotkin kohdat eivät saisi sekoittua. Jos vaihtoehto kuten "Ei mikään yllä olevista" on aina viimeisenä, kyseisen sijainnin lukitseminen muiden sekoittamisen yhteydessä pitää kohdan loogisesti johdonmukaisena.

Vinkki: Aja sekoitettu testi esikatselutilassa ennen julkaisemista. Vahingossa sekoittuneet kiinteät vastausvaihtoehdot ovat yksittäinen yleisin satunnaistamisvirhe, josta opettajat raportoivat julkaisun jälkeen.

Satunnaistamisen käyttöönotto oppimisenhallintajärjestelmässä tai arviointiprosessissa

Useimmissa oppimisenhallintajärjestelmissä ja kyselyalustoissa on jo tarvittavat hallintatyökalut. Työ ei niinkään ole piilotetun asetuksen löytämistä vaan sisällön järjestämistä niin, että nämä asetukset toimivat ennustettavasti.

  • Rakenna nimetyt tehtäväpankit. Ryhmittele kysymykset aiheen ja vaikeustason mukaan ja merkitse kukin kysymys sen mittaamaan oppimistulokseen, jotta satunnaisesti poimittu joukko kattaa silti oikean materiaalin.
  • Aseta poimintasäännöt. Määritä "poimi X kysymystä tästä poolista" osiokohtaisesti yhden suuren pankin sijaan ja ota käyttöön vastausvaihtoehtojen sekoittaminen siellä, missä se on perusteltua.
  • Esikatsele siemenluvulla. Alustat kuten Qualtrics dokumentoivat lohkojen satunnaistamisominaisuudet, joiden avulla voit luoda testipoiminnan ja varmistaa tuloksen ennen kuin opiskelijat näkevät sen.
  • Lukitse se, mikä pitää lukita. Kiinteät vastausvaihtoehdot ja kaikki mukautuksiin liittyvät asetukset (pidennetty aika, ruudunlukijat) täytyy säilyä muuttumattomina sekoittamisen läpi.
  • Vie kartoitus talteen. Pidä kirjaa siitä, mikä siemenluku tai poiminta tuotti minkäkin version, jotta arvostelu ja muutoksenhaku viittaavat täsmällisesti opiskelijan suorittamaan testiin.

Canvaksen ja vastaavien järjestelmien tehtäväpankit on rakennettu juuri tätä työnkulkua varten: ne tuottavat kullekin opiskelijalle erillisen osajoukon yhdestä yhteisestä pankista. Eräässä RSQE-suunnittelua koskevassa Monte Carlo -tutkimuksessa havaittiin, että alipoolien määrä ja poimintasuhde määräävät suoraan sen, kuinka usein kahdelle opiskelijalle päätyy samoja kysymyksiä – siksi seuraavassa osiossa käsitellään poolien syvyyttä yksityiskohtaisesti.

Suunnittelun parhaat käytännöt satunnaistettujen testien pitämiseksi reiluina

Satunnaistaminen toimii vain, jos sen käyttämät poolit on rakennettu hyvin. Matala pooli, jossa on viisi kohtaa alipoolissa, toistaa kysymyksiä jatkuvasti suuressa ryhmässä riippumatta siitä, kuinka hyvä sekoitusalgoritmi on.

Kysymyspoolin satunnaistaminen ja toistumisvirta

Vahvin näyttö tästä on peräisin vuoden 2022 Monte Carlo -analyysistä, joka koski 600 satunnaisesti valittujen kysymysten koetta. Siinä havaittiin, että monien alipoolien käyttäminen alhaisella kysymys–pooli-suhteella – 5–10 prosentin välillä – vähentää merkittävästi toistuvia ja peräkkäin päällekkäisiä kysymyksiä opiskelijoiden välillä. Käytännössä tämä tarkoittaa, että 10 kysymyksen kokeen on parempi poikia 100–200 alipoolista kuin 40:stä.

Pelkkä syvyys ei riitä. Muutamilla muilla säännöillä on yhtä suuri merkitys:

  • Jokaisen alipoolissa olevan kohdan tulee testata samaa oppimistulosta suunnilleen samalla vaikeustasolla, jotta yksikään opiskelija ei satu saamaan helpompaa tai vaikeampaa versiota.
  • Poista käytöstä ja täydennä pooleja jokaisen testikauden jälkeen, erityisesti suuren opiskelijamäärän kursseilla, joilla sama koe toistuu useilla osioilla tai lukukausilla.
  • Jos luot kohtia malleista, aja vaikeustarkistus – historiallinen suoritusdata tai simuloitu kohdevasteoriavedos (IRT) – ennen kuin lisäät uuden kohdan live-pooliin.

Satunnaistetuista monivalintakokeista tehdyt historialliset kokeet ovat yleensä osoittaneet, että keskimääräisessä suoriutumisessa ei tapahdu mitattavaa laskua, kun kohteet on asianmukaisesti kalibroitu vaikeustason suhteen. Tämä tulos perustuu kokonaan kalibrointityön tekemiseen etukäteen.

Käyttöönoton tarkistuslista: asetukset, metatiedot ja suorituspäivän tarkistukset

Käsittele käyttöönottoa kolmena vaiheena, ei yhtenä isona konfigurointisessiona.

  1. Ennen koetta: Merkitse jokainen kohta aiheen, vaikeustason ja oppimistuloksen mukaan. Rakenna alipoolit alhaisella poimintasuhteella. Aja pilottiesikatselu ja varmista, että kiinteät vastausvaihtoehdot säilyvät sekoittamisen läpi.
  2. Kokeen aikana: Seuraa istuntolokeja opiskelijoiden suorittaessa testiä ja varmista, että esteettömyysmuutokset – pidennetty aika, ruudunlukijan yhteensopivuus – toteutuivat satunnaistamisasetusten läpi ilman, että ne ylikirjoitettiin.
  3. Kokeen jälkeen: Vie koko siemenluku–opiskelija-kartoitus talteen, jotta voit rekonstruoida täsmällisesti, minkä version kukin opiskelija sai. Aja perusvastauskaavan skannaus lähetysten yli ja kirjaa oikeudenmukaisuusmittarit tarkastelua varten.

Vinkki: Tallenna siemenluku–opiskelija-kartoitus samana päivänä kun suoritat kokeen, älä silloin kun uudelleenarviointipyyntö tulee kolmen viikon kuluttua. Sen rekonstruoiminen, minkä version opiskelija sai, vaikeutuu mitä kauemmin odotat.

Suurten ryhmien parissa työskentelevät tiimit sisällyttävät tämän tarkistuslistan usein laajempaan suuren volyymin arviointiprosessiin, jolloin suorituspäivän vaiheista tulee rutiinia eikä joka testikausi vaadi ylimääräistä häsläämistä.

Satunnaistamisen rajoitukset ja täydentävät eheyden varmistusvälineet

Satunnaistaminen kaventaa huijaamisen mahdollisuuksia. Se ei havaitse sitä jälkikäteen, eikä se takaa, että jokainen testin versio on yhtä vaikea.

  • Tilastollinen havaitseminen on silti tärkeää. Satunnaistamisen p-arvotesti voi merkitä epäilyttävän samankaltaiset vastauskaavat opiskelijoiden välillä, vaikka kysymykset itsessään olisi sekoitettu tai poimittu eri alipoolista.
  • Yhdistä se valvontaan ja lokeihin. Istuntojen tallenteet ja aikaleimalliset aktiviteettilokit havaitsevat käyttäytymisen, jota satunnaistaminen yksin ei pysty havaitsemaan, kuten selaimen välilehden vaihdon kokeen aikana.
  • Tarkista oikeudenmukaisuus IRT:llä. Illinoisin yliopiston analyysi käyttämällä kohdevasteoriasimulointeja 100 permutaatiolle ja 500 ajolle opiskelijaa kohden havaitsi, että suurin osa satunnaisten poolien kokeista oli kohtuullisen oikeudenmukaisia, käyttäen mittareita kuten keskimääräinen absoluuttinen poikkeama merkitsemään, kun tietty poolipoiminta kallistuu liian helpoksi tai liian vaikeaksi.

Kun oikeudenmukaisuustarkistus havaitsee ongelman, ratkaisu on yleensä alipoolien uudelleensuunnittelu, ei satunnaistamisesta luopuminen kokonaan.

Rakenna satunnaistetut, roolikohtaiset testit ilman manuaalista käyttöönottoa

Kaikki edellä käsitelty – kohteiden merkitseminen, alipoolien rakentaminen, kiinteiden vastausten lukitseminen, kunkin henkilön saamien versioiden seuranta – vie todellisia tunteja manuaalisesti konfiguroituna. Talent Approved lyhentää tämän käyttöönoton minuuteiksi. Sen Magic Create -ominaisuus rakentaa roolikohtaisen osaamisarvioinnin suoraan työnkuvauksesta tai taitoluettelosta ja hyödyntää uudelleenkäytettäviä kysymyskirjastoja, joten et ala tyhjästä poolista joka kerta kun rekrytoit.

Talent Approved

Alustan huijaamisen estämisen kerros – näytön ja web-kameran seuranta, istuntojen toistot ja täydellinen siemenlukukartoitus – hoitaa tarkistuslistan operatiivisen puolen automaattisesti, ja tekoälyllä tuotetut yhteenvedot tarkoittavat, että sinun ei tarvitse manuaalisesti tarkastella jokaisen ehdokkaan raakavastauksia oikeudenmukaisuuden arvioimiseksi tai poikkeamien merkitsemiseksi. Koska Talent Approved veloittaa 5 dollaria suoritettua ehdokasarviointia kohden ilman tilausta, suuren volyymin rekrytointikierroksia pyörittävät tiimit saavat tässä oppaassa kuvatun satunnaistetun ja turvallisen testausinfrastruktuurin ilman, että maksavat ohjelmistosta, jota käyttävät kahdesti vuodessa. Aloita arvioinnin rakentaminen ja katso kuinka nopeasti työnkuvaus muuttuu live-testiksi, jota on vaikea vääristää.

Tekijän näkökulma: mikä todella tekee eron

Useimmat tiimit investoivat liikaa sekoitusasetuksiin ja liian vähän poolien syvyyteen. Laaja alipooli alhaisella poimintasuhteella tekee enemmän oikeudenmukaisuuden eteen kuin mikään sekoituskytkin. Aloita korkean panoksen arvioinnit useammilla alipoolilla kuin tarpeelliselta tuntuu, pilotoi ne ja anna kokeenjälkeisen oikeudenmukaisuusdatan – ei intuition – kertoa, missä poolit ovat liian matalia.

— Jimmie

Lähteet

UKK

Mikä on satunnaistamistesti?

Arviointisuunnittelussa satunnaistamistesti viittaa eri kysymysjärjestysten, vastausjaksojen tai tehtäväjoukkojen esittämiseen kullekin suorittajalle. Siihen liitetään usein jälkikäteen käytetty tilastollinen satunnaistamisen p-arvotesti, jolla havaitaan epäilyttävä vastauskaavan samankaltaisuus opiskelijoiden välillä.

Mitä tarkoittaa, että kysymys on satunnaistettu?

Satunnaistettu kysymys joko esiintyy eri kohdassa kullakin suorittajalla, sen vastausvaihtoehdot on sekoitettu, tai se on poimittu vastaavien kohteiden poolista niin, että eri opiskelijat eivät välttämättä näe samaa kysymystä lainkaan.

Mitkä ovat viisi yleisimmin satunnaistettua testikysymystyyppiä?

Monivalinta-, oikein/väärin-, yhdistämis-, täydennys- ja lyhytvastauskysymykset satunnaistetaan kaikki yleisesti, vaikka monivalinta saa kehittyneimmän käsittelyn, koska sekä kysymysten järjestystä että vastausvaihtoehtojen järjestystä voidaan sekoittaa itsenäisesti.

Miten satunnaistan kysymykset tekemättä testistä epäreilu?

Käytä monia alipooleja alhaisella kysymys–pooli-suhteella – yleensä 5–10 prosenttia – ja varmista, että jokainen alipoolissa oleva kohta testaa samaa oppimistulosta samankaltaisella vaikeustasolla ennen kuin se menee live-käyttöön.

Voiko Talent Approved satunnaistaa arviointikysymykset automaattisesti?

Kyllä. Talent Approvedin uudelleenkäytettävät kysymyskirjastot ja Magic Create -ominaisuus antavat rekrytoijien rakentaa roolikohtaisia arviointeja satunnaisella kohteiden valinnalla ja sisäänrakennetulla huijaamisen estämisen seurannalla – ilman poolien manuaalista konfigurointia alusta asti.