TalentApproved

Korjaa häiriöt: 9 vaihetta arvioijille testin validiteetin ja reliabiliteetin parantamiseksi

Korjaa häiriöt: 9 vaihetta arvioijille testin validiteetin ja reliabiliteetin parantamiseksi

Validiteetti kysyy, tarkoittaako pistearvo sitä, mitä sillä on tarkoitus tarkoittaa. Reliabiliteetti kysyy, tuottaisiko sama mittaus saman tuloksen, jos sama henkilö mitattaisiin uudelleen huomenna. Nämä kaksi käsitettä liittyvät toisiinsa, mutta ne eivät ole keskenään vaihtokelpoisia: reliabiliteetti on välttämätön mutta ei riittävä ehto validiteetille, sillä testi voi tuottaa erinomaisesti johdonmukaisia pisteitä, jotka mittaavat täysin väärää asiaa. Seuraavassa käydään läpi erityyppinen todistusaineisto, kunkin arviointiin käytettävät tilastot sekä käytännön toimenpiteet, joiden avulla voidaan rakentaa arviointi, joka kestää molempien tarkastelun.

TL;DR:

  • Korkea reliabiliteetti on ensisijaisesti välttämätöntä, sillä epäjohdonmukaiset pisteet eivät voi tukea validia arviointia – etenkin mitattaessa ominaisuuksia, joiden pitäisi pysyä vakaina ajan myötä.
  • Validiteetti riippuu siitä, ennustavatko testitulokset tarkasti aiotun lopputuloksen; keskeisiä todistuslähteitä ovat sisältö, sisäinen rakenne, suhteet muihin muuttujiin, vastausprosessit ja seuraukset.
  • Vahvan validiteettitodistuksen kerääminen edellyttää selkeän käyttötarkoituksen määrittelyä, sisältösuunnitelman rakentamista, pilotointia edustavilla otoksilla sekä konstrukti- ja kriteeriyhteyksien analysointia.
  • Suurin osa arviointiin liittyvistä ongelmista johtuu heikosta mittauskohinasta, jonka voi korjata kohdennetulla tehtäväsuunnittelulla ja yhtenäistetyllä toteutuksella – ei pelkällä sisällön tarkistuksella.
  • Roolikohtainen tehtävien generointi ja sisäänrakennetut huijauksenestokeinot nopeuttavat validointia ja tarjoavat jatkuvaa todistusaineistoa ilman liiallista manuaalista työtä – erityisesti rooliperusteisissa arvioinneissa.

Sisällysluettelo

Testvaliditeetin ymmärtäminen: mitä se todella tarkoittaa

Validiteetti ei ole ominaisuus, jota testi kantaa mukanaan kuin sertifiointitarraa. Se on todistusaineistoon perustuva argumentti siitä, tukevatko pisteiden tulkinnat tiettyä aiottua käyttötarkoitusta. Koodausarviointi voi olla erittäin validi ennustamaan työssä tapahtuvaa virheiden korjaamissuorituskykyä, mutta täysin epävalidi ennustamaan johtamispotentiaalia – vaikka kyseessä on täsmälleen sama testi. Pisteet eivät muuttuneet. Se muuttui, mitä niistä väitetään.

Tästä kohtaa monet sekaannukset alkavat. Ihmiset kysyvät "onko tämä testi validi?" ikään kuin validiteetti olisi kaksijakoinen asia, mutta koulutus- ja psykologisen testauksen standardit kehystävät sen yhtenäiseksi validiteettiargumentiksi, joka rakentuu viidestä todistuslähteestä erillisten "tyyppien" tarkistuslistojen sijaan. Nämä viisi lähdettä ovat:

  • Sisältötodistus — edustavatko testitehtävät todella tarkasteltavaa alaa tai taitoa?
  • Sisäisen rakenteen todistus — ryhmittyvätkö yhteen kuuluvat tehtävät tilastollisesti niiden konstruktien mukaisesti, joita niiden on tarkoitus mitata?
  • Suhteet muihin muuttujiin — korreloiko tulos ulkoisten mittareiden kanssa teorian ennustamalla tavalla (tämä kattaa sen, mitä vanhemmat oppikirjat kutsuivat konvergentti-, diskriminantti- ja kriteerivaliditeetiksi)?
  • Vastausprosessien todistus — hyödyntävätkö vastaajat todella sitä taitoa, jota on tarkoitus mitata, vai hyväksikäyttävätkö he tehtävämuotoa?
  • Seurausten todistus — tuottaako testin käyttö oikeudenmukaisia, aiottuja tuloksia vai tahattomia haittoja tietyille ryhmille?

Käyttötarkoitus määrittää, mitä todistusta tarvitaan eniten. Rekrytointia varten tehty koodaustesti nojaa vahvasti sisältö- ja kriteeritodisteisiin. Tiimisijoitteluun käytettävä persoonallisuusinventaari nojaa sisäiseen rakenteeseen ja suhdekäsitteisiin. Validiteetti perustuu viime kädessä siihen, ennustaako testi sen tuloksen, jonka se väittää ennustavansa – ei siihen, näyttävätkö tehtävät viimeistellyiltä.

Testireliabiliteetin ymmärtäminen: johdonmukaisuus ennen tarkkuutta

Reliabiliteetti mittaa, tuottaako testi saman tuloksen samoissa olosuhteissa toistuvasti. Sillä ei ole mitään tekemistä sen kanssa, onko tulos oikea. Keittiövaaka, joka näyttää 14 unssia joka kerta, kun sille asetetaan kilon paino, on täydellisen reliaabeli ja johdonmukaisesti kahden unssin verran väärässä.

Reliabiliteetti on mittauksen johdonmukaisuutta ja toistettavuutta, mikä osoittaa tulosten luotettavuuden toistuvissa kokeissa, kun taas validiteetti on erillinen kysymys tarkkuudesta ja merkityksestä. Jokainen mittaus sisältää jonkin verran virhettä – satunnaista kohinaa väsymyksestä, häiriöistä, epäselvästä sanamuodosta tai epäjohdonmukaisesta arvioijasta, joka siirtää havaittua pistettä pois henkilön "todellisesta" pisteestä. Reliabiliteetti on pohjimmiltaan arvio siitä, kuinka paljon tätä kohinaa on olemassa.

  • Alhainen reliabiliteetti tarkoittaa, että pisteet vaihtelevat arvaamattomasti eri yritysten, istuntojen tai arvioijien välillä.
  • Korkea reliabiliteetti tarkoittaa, että pisteet pysyvät vakaina, kun mikään henkilöön liittyvä merkityksellinen asia ei ole muuttunut.
  • Reliabiliteetti asettaa katon validiteetille: pahasti kohinainen mittari ei voi korreloida voimakkaasti minkään kanssa, ei edes ennustettavan tuloksen kanssa.

Tämä viimeinen kohta ansaitsee erityistä huomiota, sillä se on kahden käsitteen välinen mekaaninen yhteys. Alhainen reliabiliteetti kummassakin mittarissa rajoittaa niiden välillä havaittavissa olevaa maksimikorrelaatiota – ilmiötä kutsutaan attenuaatioksi. Kolme yleistä reliabiliteetin muotoa – uusintamittaus, sisäinen johdonmukaisuus ja arvioijien välinen yksimielisyys – kuvaavat kukin eri kohinalähdettä.

Uusintamittaus, sisäinen johdonmukaisuus ja arvioijien välinen reliabiliteetti selitettynä

Uusintamittausreliabiliteetti mittaa vakautta ajan suhteen. Sama testi annetaan samoille henkilöille kahdesti, yleensä kahden–neljän viikon välein, ja kahden pistesarjan välinen korrelaatio lasketaan. Se sopii vakaille ominaisuuksille, kuten yleiselle kognitiiviselle kyvykkyydelle tai persoonallisuuden ulottuvuuksille, mutta soveltuu huonosti konstrukteille, joiden on tarkoitus muuttua nopeasti, kuten mielialalle tai lyhytaikaiselle stressille.

Sisäinen johdonmukaisuus mittaa, ovatko yhden testin tehtävät yhdenmukaisia keskenään – tyypillisesti Cronbachin alfan avulla. Se on nopein reliabiliteetin tarkistustapa, koska se vaatii vain yhden mittauskerran, minkä vuoksi sitä käytetään liikaa. Alfa on herkkä testin tehtävien määrälle, joten pitkä testi voi tuottaa liioitellun alfan, vaikka yksittäiset tehtävät olisivat heikkoja. Omega-kertoimet sopivat tähän paremmin testeissä, joissa tehtävien laatu on epätasainen, vaikka alfa on edelleen alan vakiokäytäntö.

Arvioijien välinen reliabiliteetti on tärkeä aina, kun ihminen arvioi jotain subjektiivista – kirjoitusnäytettä, jäsenneltyä haastattelua tai videopohjaista tehtävää. Cohenin kappa tai luokkien välinen korrelaatiokerroin (ICC) kvantifioi arvioijien välisen yksimielisyyden sattumasta odotettavissa oleva yksimielisyys huomioiden.

Vinkki: Kohtuullisen korkeaa uusintamittauskorrelaatiota (usein noin +.80 tai enemmän) pidetään yleisesti käytännön vertailuarvona vakaville ominaisuuksille. Mikä tahansa merkittävästi tätä alempi arvo ominaisuudelle, jonka ei pitäisi muuttua viikosta toiseen, viittaa suunnitteluongelmaan, joka kannattaa tutkia ennen kuin minkäänlaista validiteettiargumenttia rakennetaan sen päälle.

Konteksti ratkaisee, mikä muoto on tärkein. Automaattisesti pisteytetty taitotesti tarvitsee vahvaa sisäistä johdonmukaisuutta mutta ei lainkaan arvioijien välisen yksimielisyyden tarkistusta. Jäsennelty haastattelu tarvitsee arvioijien välisen yksimielisyyden lähes kaiken muun edelle.

Reliaabeli mutta väärä, tai validi mutta kohinainen: sekaannus selvitettynä

Selkein tapa nähdä ero testvaliditeetin ja -reliabiliteetin välillä on tarkastella kahta vikamuotoa, jotka näyttävät täysin erilaisilta mutta molemmat tuhoavat arvioinnin.

  • Reliaabeli mutta epävalidi: väärin säädetty lämpömittari, joka näyttää aina kaksi astetta liikaa. Se on täysin johdonmukainen, mikä tekee siitä reliaabelin, mutta jokainen lukema on väärä, mikä tekee siitä epävalidin.
  • Validi mutta epäreliaabeli: taitotesti, jossa on vain kolme tehtävää laajan kompetenssin kattamiseksi. Keskimäärin monien vastaajien joukossa se saattaa korreloida kohtuullisesti työssä suoriutumisen kanssa, mutta yksittäisen henkilön pisteet vaihtelevat yritysten välillä liikaa, jotta niihin voisi yksilötasolla luottaa.

Nämä esimerkit vastaavat kahteen kysymykseen, joita ihmiset etsivät eniten. Kumpi tulee ensin? Reliabiliteetti käytännössä, koska epäjohdonmukaisten pisteiden päälle ei voi rakentaa puolustettavaa validiteettiargumenttia. Voiko testi olla reliaabeli olematta validi? Kyllä, helposti – ja niin tapahtuu jatkuvasti testeille, jotka ovat sisäisesti johdonmukaisia, mutta yksinkertaisesti mittaavat väärää konstruktia aiottua käyttöä varten.

Jos reliabiliteetti on vahva mutta validiteettitodistus on heikko, korjaus on yleensä sisällöllinen: kutsukaa aihepiirin asiantuntijat mukaan ja tarkistakaa, edustavatko tehtävät todella kyseistä työtä tai ominaisuutta. Jos reliabiliteetti itsessään on heikko, mikään määrä validiteettitodistusta ei pelasta testiä. Mittauskohina on korjattava ensin – tyypillisesti lisäämällä hyvin kohdennettuja tehtäviä tai tiukentamalla pisteytyskäytäntöjä – ennen kuin validiteettikysymys on edes vastattavissa.

Vaiheittainen suunnitelma validiteetti- ja reliabiliteettitodistuksen keräämiseen

Puolustettavan validiteettiargumentin rakentaminen on sarja vaiheita, ei yksittäinen tutkimus. Tässä on järjestys, joka tuottaa todistusaineistoa, jonka takana voi seistä.

  1. Määrittele aiottu käyttötarkoitus yhdellä lauseella. "Tämä arviointi ennustaa asiakastukiroolin ensimmäisen 90 päivän suorituskykyä" on riittävän tarkka ohjaamaan jokaista sen jälkeistä päätöstä.
  2. Rakenna sisältösuunnitelma. Luettele aiotun käyttötarkoituksen vaatimat taidot tai tietoalueet tärkeysjärjestyksessä ennen kuin kirjoitat yhtäkään tehtävää.
  3. Teetä asiantuntija-arviointi sisällöstä. Pyydä kaksi tai kolme alan asiantuntijaa arvioimaan itsenäisesti, vastaavatko tehtävät sisältösuunnitelmaa, ja merkitsemään poikkeavuudet.
  4. Pilotoi testi edustavalla otoksella. Jopa 40–80 vastausta paljastaa tehtävätason ongelmat – hämmentävät sanamuodot, kattoefektit, tehtävät joita kukaan ei jätä väärin.
  5. Tee sisäisen rakenteen analyysi. Käytä eksploratiivista tai konfirmatorista faktorianalyysiä tarkistaaksesi, ryhmittyvätkö tehtävät sisältösuunnitelmasi ennustamalla tavalla, ja laske Cronbachin alfa tai omega kullekin osa-asteikolle.
  6. Tarkista konvergentti- ja diskriminanttisuhteet. Korreloi pisteet vakiintuneen mittarin kanssa samasta konstruktista ja suhteessa liittymättömään konstruktiin vahvistaaksesi, mittaako testi sitä, mitä se väittää mittaavansa.
  7. Kerää kriteeridata kun mahdollista. Seuraa todellisia tuloksia – työssä suoriutumisen arvioita, etenemisasteita, virheprosentteja – ja korreloi ne alkuperäisiin pisteisiin.
  8. Raportoi otoskoko, konteksti ja luottamusvälit. 30 henkilön yhdessä toimistossa tuottama reliabiliteettiskerroin merkitsee eri asiaa kuin 2 000 henkilön viidessä maassa tuottama.
  9. Dokumentoi koko argumentti. Kirjaa ylös, mitä todistusaineistoa kerättiin, miksi ja miten se tukee vaiheessa yksi määriteltyä aiottua käyttötarkoitusta.

Vinkki: Ohita vaihe yksi ja kaikki sen jälkeiset on vaikeampi puolustaa myöhemmin. Tarkastajat, auditoijat ja jopa oma tiimisi kysyvät jatkuvasti "validi mihin tarkoitukseen?", jos aiottua käyttötarkoitusta ei ole kirjattu ylös alun alkaen.

Tiimit, jotka rakentavat roolikohtaisia seulontatestejä, oikaisevat usein suoraan pilotointiin ja ohittavat sisältösuunnitelmavaiheen – mikä on juuri päinvastoin kuin pitäisi. Sisältösuunnitelma on se, joka tekee kaikista myöhemmistä vaiheista tulkittavia.

Käytännön tarkistuslista vahvempiin arviointeihin

Suurin osa validiteetti- ja reliabiliteettiongelmista juontuu muutamasta korjattavissa olevasta suunnitteluvalinnasta. Ennen kuin julkaiset tai tarkistat arviointia, käy läpi nämä:

  • Jokaisen tehtävän tulee viitata sisältösuunnitelman tiettyyn kohtaan; poista kaikki, mikä ei ansaitse paikkaansa.
  • Useammat hyvin kohdennetut tehtävät voittavat yleensä harvemmat laajat, sillä lisätehtävät vähentävät mittauskohinaa ja nostavat sisäistä johdonmukaisuutta.
  • Yhtenäistä arviointiolosuhteet – aikarajat, ohjeet, ympäristö – niin että pistevaihtelut heijastavat henkilöä eivätkä olosuhteita.
  • Kouluta arvioijat yhteisen arviointikriteeristön pohjalta ja tarkista arvioijien välinen yksimielisyys ennen kuin luotat yksittäisen arvioijan harkintaan.
  • Pilotoi ennen täysimittaista käyttöönottoa ja käsittele ensimmäistä versiota luonnoksena, joka vaatii tarkistusta.
  • Kerää kriteeri- tai konvergenssidata aina kun mahdollista – vaikka epävirallisesti – ja kirjaa se muun todistusaineiston rinnalle.

Vinkki: Auditointivalmiita taitotestejä rakentavat työnantajat huomaavat usein, että suurin reliabiliteettiparannus tulee pisteytyskäytäntöjen yhtenäistämisestä – ei kysymysten lisäämisestä. Epämääräinen arviointikriteeristö kumoaa hyvin rakennetun tehtäväpankin hyödyt joka kerta.

Tehtävien kytkeminen todelliseen työnkuvaukseen yleisten taitomerkintöjen sijaan tiukentaa myös sisältötodistusta huomattavasti, sillä yleiset merkinnät kutsuvat yleisiä, vähän relevantteja tehtäviä.

Kuinka arviointialustat dokumentoivat validiteettia käytännössä

Tämän todistusaineiston kerääminen käsin – tehtävätilastot yhdessä taulukkolaskennassa, arvioijien muistiinpanot toisessa, pilottiaineisto jossain muualla – on juuri syy siihen, miksi useimmat tiimit pysähtyvät sisällön tarkistamiseen ja toteavat sen riittävän. Jäsenneltyyn, roolikohtaiseen testaukseen rakennettu alusta voi tiivistää tätä sykliä sen sijaan, että se poistaisi tiukan lähestymistavan.

Tehtävien generointi suoraan työnkuvauksesta tai taitoluettelosta antaa sisältösuunnitelman jo ensimmäisestä luonnoksesta alkaen – sen sijaan, että sitä rakennettaisiin takautuvasti olemassa olevien tehtävien pohjalta. Satunnaistettu tehtävätoimitus ja huijauksenestovalvonta – mukaan lukien näyttö- ja web-kameratarkistukset – vahvistavat vastausprosessien ja seurausten todistusta vähentämällä mahdollisuutta, että pisteet heijastavat huijaamista eikä taitoa. Vietävissä olevat tehtävätilastot, istuntojen toistot ja suorituskoosteeet muuttavat sen, mikä ennen oli hajanainen validointikansio, jotakin, joka muistuttaa enemmän jatkuvaa kirjaamista.

Alustan lähestymistapa käsittelee jokaista valmistunutta arviointia tietopisteenä jatkuvassa validiteettiargumentissa – ei pelkkänä rekrytointipäätöksenä – ja tämä erottaa puolustettavan testausohjelman mutuntaan perustuvasta.

Mitä tutkimus todella kehottaa priorisoimaan

Suurin aukko tavanomaisen neuvon ja todistusaineiston tukeman käytännön välillä on järjestys. Useimmat ohjeet käsittelevät validiteettia ja reliabiliteettia rinnakkaisina tarkistuslistoina, joiden läpi käydään kerran. Ne eivät ole rinnakkaisia. Reliabiliteetti on lattia; validiteetti on se, mitä rakennetaan sen päälle, eikä mikään määrä asiantuntijasisällön tarkistuksia pelasta testiä, jonka pisteet vaihtelevat istunnosta toiseen.

Reliabiliteetin perusta tukee validiteettitodistusta

Toinen aukko on epämukavampi: tiimit rakastavat sisältötodistusta, koska se on halpaa ja nopeaa – kolme asiantuntijaa, yksi iltapäivä, valmis. Kriteeritodisteisto – sen tarkistaminen, ennustavatko pisteet todella väitetyn tuloksen – ohitetaan lähes kaikkialla akateemisen tutkimuksen ulkopuolella, koska se vaatii kärsivällisyyttä ja tulosaineistoa, jonka keräämiseen useimmat rekrytointitiimit eivät vaivaudu.

Jos otat tästä vain yhden asian, ota tämä: kirjoita aiottu käyttötarkoitus yhdellä lauseella ennen kuin kirjoitat yhtäkään tehtävää. Kaikki muu – sisältösuunnitelma, tilastot, arvioijien koulutus – toimii vain, jos tuo lause on tarkka. Epämääräinen käyttötarkoitus tuottaa epämääräistä todistusaineistoa riippumatta siitä, kuinka hienostuneelta faktorianalyysi näyttää.

— Jimmie

Rakenna validoituja arviointeja ilman manuaalista todistuspolkua

Validiteettiargumentin dokumentointi käsin – tehtävätilastojen seuranta yhdessä taulukkolaskennassa, arvioijien muistiinpanot toisessa, pilottiaineisto jossain muualla – on juuri sellaista työtä, joka hiljaisesti jätetään tekemättä deadlinepaineen alla. Työkalu generoi roolikohtaisia tehtäviä suoraan työnkuvauksesta, antaen sinulle sisältösuunnitelman ennen kuin olet kirjoittanut yhtäkään kysymystä, samalla kun sisäänrakennettu huijauksenestovalvonta ja istuntojen toistot lisäävät vastausprosessitodistuksen, jota useimmat tiimit eivät koskaan kerää lainkaan.

Talent Approved

Sitoutumista vaativaa tilausta ei ole. Maksat jokaisen valmistuneen ehdokkaan mukaan, joten kustannus skaalautuu todellisen rekrytointisi mukaan – ei kiinteänä lisenssimaksuna. Jos arvioit taitoja tiettyä roolia varten ja haluat reliabiliteetti- ja validiteettitodistuksen olevan sisäänrakennettuna prosessiin jälkikäteen koottavan sijaan, tutustu alustaan ja katso, kuinka työnkuvauksesta syntyy testattava, puolustettava arviointi minuuteissa.

Lähteet

Klassiset oppikirjat opettavat edelleen sisältö-, konstrukti- ja kriteerivaliditeetin kolmena erillisenä tarkistuskohtana. Nykyaikainen psykometriikka käsittelee niitä yhden argumentin eri puolina, ja jotkut asiantuntijat väittävät nimenomaisesti niiden eristämistä vastaan, koska testi voi näyttää hyvältä yhden puolen suhteen ja epäonnistua pahasti toisessa. Tässä on, kuinka todistusaineisto jakautuu käytännössä sen mukaan, milloin ja miten se kerätään:

Ennen aineistoa tehdyn asiantuntija-arvioinnin ja aineiston jälkeisten tilastollisten tarkistusten erottaminen on tärkeää, koska tiimit pysähtyvät usein ensimmäiseen vaiheeseen. Kolmen aihepiirin asiantuntijan tekemä sisällön tarkistus tuntuu perusteelliselta, mutta se ei kerro mitään siitä, ennustaako testi mitään todellista.

UKK

Kumpi tulee ensin, validiteetti vai reliabiliteetti?

Reliabiliteetti tulee käytännössä ensin. Et voi rakentaa vakuuttavaa validiteettiargumenttia pisteille, jotka eivät ole johdonmukaisia – vaikka reliabiliteetti yksinään ei koskaan todista testin validiteettia.

Voiko testillä olla reliabiliteettia ilman validiteettia?

Kyllä. Testi voi tuottaa erittäin johdonmukaisia pisteitä, jotka silti mittaavat täysin väärää konstruktia – klassinen esimerkki on vaaka, joka näyttää aina saman väärän painon.

Mikä on reliabiliteetin ja validiteetin tärkein ero?

Reliabiliteetti kysyy, onko mittaus johdonmukainen; validiteetti kysyy, mittaako kyseinen mittaus todella sitä, mitä se väittää mittaavansa tiettyä aiottua käyttötarkoitusta varten.

Mitä esimerkkejä validiteetista ja reliabiliteetista on?

Väärin säädetty lämpömittari, joka näyttää aina kaksi astetta liikaa, on reliaabeli mutta epävalidi; kolmen tehtävän testi, joka ennustaa työssä suoriutumista keskimäärin mutta vaihtelee paljon yksilötasolla, on validi mutta epäreliaabeli.

Kuinka testireliabiliteettia mitataan?

Kolme yleisintä menetelmää ovat uusintamittauskorrelaatiot, sisäisen johdonmukaisuuden mittarit kuten Cronbachin alfa sekä arvioijien välisen yksimielisyyden tilastot kuten kappa tai ICC – valinta riippuu siitä, toistetaanko testi, pisteytetäänkö se tehtävittäin vai ihmisarvioijien toimesta.