Arviointien saavutettavuus: NCEO-vaiheet, kuusi näkökulmaa ja nopeat käytettävyyspilotit

Arviointien saavutettavuus tarkoittaa testien suunnittelua siten, että ne mittaavat tarkoitettua taitoa jokaisen oppijan kohdalla – riippumatta vammasta, kielitaustasta tai tavasta, jolla he käyttävät teknologiaa. Hyödyllisin ensimmäinen askel on suunnitella universaali saavutettavuus ennen yhdenkään tehtävän kirjoittamista ja tehdä sitten tehtävätason saavutettavuustarkistus ennen kuin testi koskaan tavoittaa kokelaan. Laki tukee tätä: ADA edellyttää, että testijärjestäjät tarjoavat kokeet paikassa ja tavalla, joka on vammaisten henkilöiden saavutettavissa.

Tiivistelmä:

• Universaali suunnittelu tulisi suunnitella alusta alkaen, ja kalliiden jälkikäteiskorjausten välttämiseksi tulisi käyttää saavutettavia formaatteja, kuten tagitettua PDF:ää tai HTML:ää.
• Tukitoimet luokitellaan universaaleihin työkaluihin, nimettyihin tukitoimiin ja mukautuksiin, joista jokainen edellyttää eri tasoista hyväksyntää ja dokumentointia.
• Saavutettavuuspäätökset on tehtävä nopeasti tasa-arvoisten mahdollisuuksien epäämisen estämiseksi, eikä mukautusten tulisi heikentää arvioinnin validiteettia.
• Tehtävätason saavutettavuusarviointien tekeminen ja käytettävyyspilotit apuvälineteknologian käyttäjien kanssa voivat paljastaa esteitä, jotka vaatimustenmukaisuustarkistukset saattavat jättää huomaamatta.
• Arviointityökalujen sisällyttäminen opetukseen ja pienten pilottitestien suorittaminen voivat merkittävästi parantaa kokelaiden menestymistä ja vähentää erillisten testisessioiden tarvetta.

Sisällysluettelo

• Mitä arviointien saavutettavuus todella sisältää
• Lakisääteiset velvoitteet, jotka jokaisen testisuunnittelijan tulisi tuntea
• Universaali suunnittelu käytännössä: NCEOn vaiheiden muuttaminen toiminnaksi
• Käytännön tehtävätason saavutettavuustarkistuslista
• Testin testaaminen: käytettävyys- ja saavutettavuuspilotit
• Koulutus ja viestintä testien järjestäjille
• Mitä tapahtuu, kun tiimit todella noudattavat universaalia suunnittelua
• Tarkistuslista voittaa toimittajan myyntipuheen
• Missä Talent Approved sopii saavutettavaan työnkulkuun
• Lähteet
• UKK

Mitä arviointien saavutettavuus todella sisältää

Useimmat arviointiohjelmat järjestävät tukitoimet kolmeen tasoon, ja niiden sekoittaminen on yksi yleisimmistä tiimien tekemistä virheistä. Universaalit työkalut ovat kaikkien kokelaiden käytettävissä ilman erillistä pyyntöä. Esimerkkejä ovat tekstistä puheeksi -toiminto, zoomaus, korostustyökalut ja vastauspeittely. Nimetyt tukitoimet edellyttävät opettajan tai tiimin päätöstä, yleensä siksi, että toiminto muuttaa testikokemusta joillekin opiskelijoille – kuten värikontrastin muuttaminen tai erillinen testipaikka. Mukautukset ovat rajoittavin luokka, joka on sidottu dokumentoituun suunnitelmaan, kuten IEP:hen tai 504-suunnitelmaan, ja niihin kuuluu usein esimerkiksi lisäaika tai kirjuri.

Valtion testausohjelmat havainnollistavat tätä hyvin. Kalifornian opetusministeriön saavutettavuusresurssien matriisi listaa kymmeniä integroituja ja ei-integroituja tukitoimia näissä kolmessa tasossa osavaltionlaajuisiin arviointeihinsa. Erottelu on operatiivisesti tärkeä:

• Universaalit työkalut eivät vaadi lainkaan paperityötä, ja niiden tulisi olla käytettävissä päivittäisessä opetuksessa – ei vain testipäivänä.
• Nimetyt tukitoimet edellyttävät tiimin päätöstä, mutta eivät lääketieteellistä tai kasvatuksellista diagnoosia.
• Mukautukset edellyttävät dokumentointia ja kirjataan tyypillisesti rekisteröintijärjestelmään ennen testauksen alkamista.

Lakisääteiset velvoitteet, jotka jokaisen testisuunnittelijan tulisi tuntea

ADA:n 309 § on keskeinen sääntö kaikille organisaatioille, jotka järjestävät kokeita – lisensointilautakunnista työvoimasertifiointiohjelmiin. Se edellyttää, että testijärjestäjät tarjoavat kokeet "paikassa ja tavalla, joka on vammaisten henkilöiden saavutettavissa" ja antavat kohtuullisia mukautuksia pyynnöstä oikeusministeriön testimukauttamisohjeiden mukaisesti.

Dokumentointistandardi on kapeampi kuin useimmat olettavat. Testijärjestäjät voivat pyytää dokumentaatiota, mutta sen on oltava kohtuullista ja tarkasti rajattua – ei kattava paperiselvitys. Pätevän ammattilaisen toimittaman dokumentaation hyväksyminen ilman liiallisen lisänäytön vaatimista lyhentää hyväksymisaikoja ja pitää prosessin vaatimusten mukaisena.

Kaksi velvoitetta aiheuttaa arviointitiimeille eniten ongelmia: oikea-aikaisuus ja validiteetin säilyttäminen. Mukautuspyyntöä koskeva päätös ei voi odottaa jonossa viikkojen ajan. Viivästyneet vastaukset voivat vastata tasa-arvoisten mahdollisuuksien epäämistä saman ADA:n teknisen avun asiakirjan mukaan. Ja myönnetyn mukautuksen on säilytettävä se, mitä testi mittaa. Esimerkiksi ääneen lukeminen -mukautus lukemisen ymmärtämisen kokeessa voi heikentää juuri sitä konstruktia, jota testi pyrkii arvioimaan – minkä vuoksi lisensointielimet tarkastavat nämä päätökset tarkasti.

Universaali suunnittelu käytännössä: NCEOn vaiheiden muuttaminen toiminnaksi

National Center on Educational Outcomes esittelee yhdeksänvaiheisen prosessin arviointien rakentamiseksi siten, että saavutettavuus on sisäänrakennettu alusta alkaen – yksityiskohtaisesti sen osavaltion oppaassa universaalisti suunniteltuihin arviointeihin. Tiivistettynä käytännön toimiksi, tältä se näyttää arviointitiimille:

1. Suunnittele saavutettavuus ennen tehtävien kirjoittamista – älä vasta sen jälkeen, kun pilotti paljastaa ongelmat.
2. Määrittele konstrukti tarkasti, jotta tiedät, mitä testin on mitattava ja mikä on sille toissijaista.
3. Edellytä universaalia suunnittelua toimittajien tarjouspyynnöissä, jotta saavutettavuus ei ole maksuton lisäpalvelu, jota pyydetään myöhemmin.
4. Tuo saavutettavuusasiantuntemus mukaan tehtävien kirjoitusvaiheessa – ei vain vaatimustenmukaisuusarvioinnissa.
5. Suorita käytettävyystestaus edustavalla otoksella ennen testin julkaisemista.
6. Tee tehtävä- ja testikokeiluja, analysoi tulokset ennen täyttä käyttöönottoa.
7. Seuraa ja tarkista jokaisen syklin aikana, sillä saavutettavuustarpeet muuttuvat väestön ja teknologian muuttuessa.

Tekninen puoli on yhtä tärkeä kuin prosessipuoli. Rakenna arviointeja semanttisissa ja yhteentoimivissa formaateissa, kuten tagetussa PDF:ssä, HTML:ssä tai QTI:ssä tuettuina, sen sijaan että käytät suljettuja omistusmuotoisia tiedostoja, jotka vaativat myöhemmin manuaalista korjailua – tätä korostetaan Massachusettsin opetusministeriön teknisessä ohjeistuksessa. WCAG- ja Section 508 -standardien mukainen toiminta alusta alkaen välttää kalliit jälkikäteiskorjaukset.

Vinkki: Käytä opetuksessa samoja saavutettavuustyökaluja, joita aiot käyttää arvioinnissa. Kun opiskelijat jo tietävät, miten heidän tekstistä puheeksi -toimintonsa tai zoomaustyökalunsa toimii, testi mittaa taitoa – ei heidän kykyään oppia uusi käyttöliittymä paineen alla.

Käytännön tehtävätason saavutettavuustarkistuslista

Esteiden havaitseminen ennen testin julkaisemista on huomattavasti halvempaa kuin niiden korjaaminen sen jälkeen, kun ryhmä on jo suorittanut sen. Massachusettsin opetusministeriö on rakentanut tarkistuslistan ja arviointiprotokollat kuuden näkökulman ympärille, joita mikä tahansa tiimi voi soveltaa.

• Kielelliset vaatimukset: Onko sanasto monimutkaisempaa kuin konstrukti edellyttää?
• Kulttuurinen vinouma: Olettaako tehtävä yhteistä kokemusta, jota joillakin kokelailla ei ole?
• Taitovaatimukset: Mittaako tehtävä tarkoitettua taitoa, vai mittaako se myös hiljaisesti lukemisnopeutta tai motorista koordinaatiota?
• Esitys ja luettavuus: Hidastaako tekstin tiheys, fonttikoko tai asettelu tarpeettomasti heikkonäköistä lukijaa?
• Vastausmuoto: Voiko kokelas vastata, jos hän ei pysty käyttämään hiirtä tai kirjoittamaan käsin?
• Väsymys: Aiheuttaako tehtävän pituus tai testin kesto virheitä, jotka eivät liity mitattavaan taitoon?

Arviointiprotokolla toimii parhaiten tiimiurheiluna. Nimeä arvioijat tietyille näkökulmille, kirjaa jokainen ongelma tarkalla sijainnilla ja ehdotetulla korjauksella, ja kokoonnu sen jälkeen yhteen korjausten yhdistämiseksi sen sijaan, että yksi henkilö ratkaisee kaiken yksin.

Testin testaaminen: käytettävyys- ja saavutettavuuspilotit

Käytettävyyspilottia varten ei tarvita erikoistunutta laboratoriota. Etäajatteluääni-sessio – jossa muutama kokelas kertoo ääneen ajatusprosessinsa tehtävien läpikäymisen aikana – paljastaa kitkakohdat nopeasti. Ruudunlukijan läpikäynti jopa kolmen tai neljän apuvälineteknologian käyttäjän kanssa havaitsee ongelmia, joita ilman vammaa toimiva tehtäväkirjoittaja ei koskaan huomaa – kuten kaavio, joka luetaan merkityksettömänä numeromerkkijonona.

Seurattavat mittarit ovat suoraviivaisia:

Haasteellisempaa on yhdistää nämä käytettävyystulokset psykometrisiin tarkistuksiin. Saavutettavuuskorjaus, joka muuttaa tehtävän vaikeustasoa tai osoittaa erilaista tehtävätoimintaa eri ryhmien välillä, tarvitsee uuden tarkastelun ennen käyttöönottoa – tämä on vaihe, jonka NCEOn opas käsittelee ei-neuvoteltavana. Saavutettavuus ja validiteetti eivät ole kilpailevia tavoitteita. Niiden tarkastelu yhdessä – ei peräkkäin – on se, mikä estää korjausta hiljaisesti rikkomasta testin mittaamaa asiaa. Tiimit, jotka tarvitsevat jäsennellyn tavan seurata tämäntyyppistä tehtävätason dataa, saattavat löytää hyödyllistä luettavaa mittaamiskeskeisistä arviointianalyyseistä.

Koulutus ja viestintä testien järjestäjille

Mukautukset toimivat vain, jos testipäivää hoitavat henkilöt tietävät, miten ne aktivoidaan. Järjestäjäkoulutuksen tulisi kattaa integroitujen asetusten oikea syöttäminen etukäteen, viime hetken mukautuspyyntöjen käsittely aikataulua häiritsemättä sekä apuvälineteknologian ja laitteiden toimivuuden varmistaminen ennen testiikkunan avautumista – käytäntö, joka näkyy Smarter Balancedin käytettävyys- ja mukautusohjeissa.

Perheet ja oppijat tarvitsevat myös ennakkoilmoituksen sekä mahdollisuuden harjoitella todellisilla työkaluilla ennen kuin panokset ovat todellisia.

• Varmista, että integroidut asetukset on syötetty ennen testiikkunan avautumista.
• Anna kokelaille harjoitussessio täsmälleen niillä työkaluilla, joita he käyttävät testipäivänä.
• Tarkista laitteet, kuulokkeet ja apuvälineteknologia edellisenä päivänä – ei testipäivän aamuna.

Vinkki: Lähetä mukautuksen vahvistukset kirjallisesti vähintään viikkoa ennen testausta. Suullinen "kyllä", joka ei koskaan päädy järjestelmään, on yksittäisistä syistä yleisin testipäivän mukautusepäonnistumisten aiheuttaja.

Mitä tapahtuu, kun tiimit todella noudattavat universaalia suunnittelua

Arviointitiimit, jotka rakentavat saavutettavuuden alusta alkaen valituksen jälkeisen jälkikäteiskorjailun sijaan, näkevät yleensä vähemmän aikataulutettavia erityistestisessioita ja korkeampia suoritusasteita kaiken kaikkiaan. Tekstistä puheeksi -toiminnon kaltaisten työkalujen sisällyttäminen jokapäiväiseen opetukseen – ei vain testiin – osoittaa mitattavia parannuksia suoritusasteessa ja kokelaiden itseluottamuksessa ReadSpeakerin kirjoituksen mukaan osallistavasta koesuunnittelusta.

Alustat voivat nopeuttaa osia tästä työnkulusta, mutta ne eivät korvaa sen taustalla olevaa inhimillistä harkintaa. Työkalu voi merkitä puuttuvan alt-tekstitunnisteen; se ei voi päättää, säilyttääkö mukautus testattavan konstruktin. Tämä vastuu pysyy suunnittelutiimillä riippumatta siitä, kuinka paljon automaatiota sen ympärillä on.

Tarkistuslista voittaa toimittajan myyntipuheen

Tässä on se, mitä aiheesta tehty tutkimus todella tukee – ja se on vastoin paljon tavanomaisia neuvoja: "saavutettavan" testausalustan ostaminen ei ole sama asia kuin saavutettavan arvioinnin omistaminen. Vaatimustenmukaisuustoimittajat myyvät mielellään WCAG-vaatimustenmukaisuuden toimituskerrokselle, kun itse tehtävät silti upottavat matematiikkaongelman kolmen lauseen sisälle epäolennaiseen asiayhteyteen tai olettavat kulttuurista tietämystä, jolla ei ole mitään tekemistä mitattavan taidon kanssa. Alusta ei koskaan ollut heikko lenkki.

Tehtävätason tarkistuslista on epäkiiltava, ja juuri siksi useimmat tiimit ohittavat sen. Se ei ole hankintapäätös. Se on tiistai-iltapäivä kolmen arvioijan kanssa väittelemässä siitä, mittaako sanatehtävän sanasto matematiikkaa vai lukemista. Tuo väittely, toistettuna jokaisen testin tehtävän kohdalla, on se, missä saavutettavuus todella rakennetaan. Toimittajan saavutettavuusominaisuudet ovat tärkeitä, mutta ne ovat lattia – eivät strategia.

Jos teet tämän lukemisen jälkeen vain yhden asian eri tavalla, tee se käytettävyyspilotiksi. Pieni ryhmä apuvälineteknologian käyttäjiä, jotka käyvät testiäsi läpi, voi paljastaa enemmän todellisia esteitä kuin vaatimustenmukaisuusauditointi usein paljastaa – eikä sinulla tarvitse olla erikoistunutta laboratoriota tai toimittajasopimusta sen suorittamiseen.

— Jimmie

Missä Talent Approved sopii saavutettavaan työnkulkuun

Talent Approved ei korvaa tehtävien arviointiprotokollasi, eikä sen pidä yrittääkään. Se tekee hyvin sen, että se poistaa manuaalisen taakan työnkulun niiltä osin, jotka vievät eniten aikaa. Työkalu, joka rakentaa roolikohtaisen arvioinnin tehtävänkuvauksesta muutamassa minuutissa, antaa arvioijillesi mahdollisuuden käyttää tunninsa tärkeisiin saavutettavuusnäkökulmiin – kieleen, kulttuuriin, taitovaatimuksiin, väsymykseen – sen sijaan, että he luonnostelevat tehtäviä tyhjästä.

Huijausten esto -seuranta ja tekoälyllä tuotetut suoritusyhteenvedot voivat hoitaa arviointipuolen testien ollessa käynnissä, antaen rekrytointitiimeille selkeän ja johdonmukaisen kuvan tuloksista ilman, että mukautusprosessiin lisätään hallinnollista taakkaa. Mikään näistä ei korvaa universaalin suunnittelun suunnittelua alusta alkaen tai oman käytettävyyspilottisi suorittamista. Se tarkoittaa vain, että näiden päätösten ympärillä oleva työkaluvalikoima ei hidasta sinua. Jos tiimisi on valmis rakentamaan roolikohtaisen arvioinnin ja näkemään, miten työnkulku kestää oman saavutettavuustarkistuslistasi rinnalla, voit kokeilla Talent Approvedia suoraan.

Lähteet

• ADA:n vaatimukset: testimukauttamiset
• Päivitetty osavaltion opas universaalisti suunniteltuihin arviointeihin (NCEO Report #431)

UKK

Mitä on saavutettavuus arvioinnissa?

Arviointien saavutettavuus tarkoittaa, että testi mittaa tarkoitettua taitoa tai tietoa jokaisen kokelaan kohdalla – riippumatta vammasta, kielitaustasta tai teknologiasta, jota he käyttävät vastaamiseen. Se edellyttää suunnittelua, jossa universaalit työkalut, nimetyt tukitoimet ja mukautukset ovat sisäänrakennettuja sen sijaan, että ne lisätään jälkikäteen.

Mitä esimerkkejä on arviointimukautuksista?

Yleisiä mukautuksia ovat lisäaika, kirjuri tai lukija, erillinen testipaikka, ruudunlukijan yhteensopivuus ja vaihtoehtoiset vastausmuodot, kuten äänisyöttö. Mukautukset liittyvät tyypillisesti dokumentaatioon, kuten IEP- tai 504-suunnitelmaan, toisin kuin universaalit työkalut, jotka ovat kaikkien käytettävissä.

Mitkä ovat neljä saavutettavuusesteen tyyppiä, jotka tulee tarkistaa?

Käytännön arviointi tarkistaa neljä ydinaluetta: kielelliset vaatimukset, kulttuurinen vinouma, taitovaatimukset testattavan konstruktin ulkopuolella sekä fyysiset tai aistilliset esteet, kuten esitys, luettavuus ja vastausmuoto. Testin pituudesta johtuva väsymys on viides näkökulma, jonka monet tiimit lisäävät havaitakseen mitattavaan taitoon liittymättömiä virheitä.

Mitkä työkalut tukevat saavutettavia verkkoarviointeja?

Universaalit työkalut, kuten tekstistä puheeksi -toiminto, zoomaus ja vastauspeittely, yhdistettynä semanttisiin ja yhteentoimiviin tiedostomuotoihin, kuten tagitettuun PDF:ään tai HTML:ään, muodostavat saavutettavan verkkotestauksen teknisen perustan. Alustat kuten Talent Approved voivat nopeuttaa roolikohtaisten testien rakentamista, mutta saavutettavuusarviointi ja käytettävyystestaus on silti tehtävä itse tehtäväsisällölle.

Kuinka kauan mukautuspäätösten pitäisi kestää?

ADA ei aseta kiinteää päivämäärää, mutta ohjeistus on selkeä: tarpeettomat viivästykset voivat vastata tasa-arvoisten mahdollisuuksien epäämistä. Testijärjestäjien tulisi sisällyttää vastausaikataulu prosessiinsa sen sijaan, että he antavat mukautuspyyntöjen jäädä vastaamatta lähellä testipäivää.

Suositellut

• Kuinka räätälöidä arviointeja kapean alan toimialarooleihin
• Rakenna arviointien pisteytysrubriikkeja, joita opettajat voivat pilotoida ja skaalata tekoälyn avulla
• Tarkkuutta vaativat työt: arviointeja, jotka todella ennustavat sitä
• Lopeta puolueellinen rekrytointi: arviointien lokalisointistrategian tarkistuslista HR:lle