TalentApproved

Kuinka laskea arviointirajat oikein

Kuinka laskea arviointirajat oikein

Arvioinnin läpäisyraja, jota kutsutaan myös rajapisteykseksi, on pienin pistemäärä, jonka suorittajan on saatava läpäistäkseen testin. Kaava on yksinkertainen: vähimmäisläpäisypisteet = kokonaispisteet × (läpäisyprosentti ÷ 100).

Tässä lyhyt versio. Jos testi on 100 pisteen arvoinen ja läpäisyprosentti on 60 %, tarvitset 60 pistettä läpäistäksesi sen. Tämä on koko laskutoimitus yksinkertaiselle, yksiosaiselle testille.

Todelliset arvioinnin läpäisyrajat mutkistuvat, kun otetaan huomioon:

  • Painotetut osiot, jotka vaikuttavat eri tavoin lopulliseen pisteeseen
  • Pyöristyssäännöt pisteille, jotka osuvat murtoluvulle
  • Standardin asettamismenetelmät, joita käytetään perustelemaan, miksi raja on juuri siellä missä se on
  • Mittausvirhe lähellä rajapistettä, joka vaikuttaa siihen, kuka luokitellaan läpäisseeksi tai hylätyksi

Tämän oppaan loppuosa käy läpi jokaisen näistä käytännön esimerkkien kera, joita voit soveltaa omiin lukuihisi.

Tärkeimmät kohdat

Puolustettava arvioinnin läpäisyraja perustuu dokumentoituun menetelmään, ei arvattuun prosenttilukuun, ja kaava tarvittavien raakopisteiden laskemiseen on aina kokonaispisteet kerrottuna läpäisyprosentilla jaettuna sadalla.

Kohta Tiedot
Käytä ydinkaavaa Vähimmäisläpäisypisteet ovat kokonaispisteet kerrottuna läpäisyprosentilla jaettuna sadalla.
Tunne kontekstisi 60 % on yleinen yhdysvaltalainen kandidaattitason lähtötaso, kun taas lisenssikokeissa vaaditaan usein 70–75 %, ja se määritetään virallisen standardin asettamisen kautta.
Valitse puolustettava menetelmä Modified Angoff, vastakkaiset ryhmät, raja-ryhmämenetelmä ja Hofstee soveltuvat kukin erilaisiin tilanteisiin ja tehtävätyyppeihin.
Käsittele rajapistevyöhykettä huolellisesti Pisteet yhden mittauksen standardivirheen sisällä rajapisteestä ansaitsevat tarkastelun, eikä automaattista hyväksyntää tai hylkäystä.
Dokumentoi jokainen päätös Paneelin kokoonpano, menetelmävalinta ja vaikutusdata suojaavat läpäisyrajaa, jos se koskaan kyseenalaistetaan.
Testaa johdonmukaisesti rajaasi vasten Talent Approved:in Magic Create -työkalu ja istuntodata auttavat rakentamaan roolispesifisiä arviointeja ja tarkastamaan pisteitä lähellä kynnystä.

Sisällysluettelo

Läpäisyarvosanojen laskeminen: kaava, esiasetukset ja pyöristys

Matematiikka pysyy samana riippumatta kokonaispistemäärästä. Kerro kokonaispisteet läpäisyprosentilla desimaalina ilmaistuna.

  1. Testi 100 pisteestä 60 %:lla: 100 × 0,60 = 60 pistettä tarvitaan.
  2. Testi 80 pisteestä 70 %:lla: 80 × 0,70 = 56 pistettä tarvitaan.
  3. Painotettu loppukoe, joka on 40 % kurssin arvosanasta: jos kurssi vaatii kokonaisuudessaan 65 % ja muut osan ovat jo tuottaneet 30 pistettä mahdollisesta 60:stä, loppukokeen on tuotettava vähintään 35 sen 40 saatavasta pisteestä kuilun kuromiseksi umpeen.

Pyöristys on tärkeämpää kuin ihmiset yleensä olettavat. Useimmat oppilaitokset pyöristävät ylöspäin lähimpään kokonaispisteeseen, kun laskelma osuu murtoluvulle (59,4 tulee 60:ksi), koska alaspäin pyöristäminen käytännössä laskisi ilmoitettua kynnystä.

Läpäisypisteiden laskin voi suorittaa nämä muunnokset välittömästi, mutta taustalla olevan kaavan tunteminen tarkoittaa, ettei ole koskaan riippuvainen yhdestä työkalusta.

Mikä lasketaan läpäisyarvosanaksi eri yhteyksissä

Pistemäärä noin 60 % vastaa yleensä 'D'-arvosanaa yhdysvaltalaisessa vakioarvosana-asteikossa, ja tämä taso käsitetään usein vähimmäisläpäisykynnykseksi kandidaattitason kursseilla. Mutta "kurssin läpäiseminen" ja "ohjelman vaatimusten täyttäminen" eivät aina tarkoita samaa asiaa.

Tilastotieto: D-tason pistemäärä noin 60 % tuo usein kurssisuorituksen, mutta monet tutkinto-ohjelmat, pääaineet tai ammatilliset suuntautumisvaihtoehdot vaativat C:n (70 %) tai korkeamman esikursseilla ennen kuin voit edetä eteenpäin.

Luokkahuoneen ulkopuolella kynnyslogiikka muuttuu täysin:

  • Lisenssi- ja sertifiointikokeet asettuvat usein 70–75 %:iin, eikä luku ole harvoin mielivaltainen. Se rakennetaan tyypillisesti virallisen standardin asettamisen kautta eikä valita pyöreänä lukuna.
  • Työnantajat ja ohjistovalmistajat asettavat räätälöityjä läpäisyrajoja roolikohtaisesti sen perusteella, mitä "riittävän pätevä aloittamaan työn" todella tarkoittaa kyseisessä tehtävässä.
  • Joissakin sertifikaateissa käytetään kriteeriperustaisia standardeja, jotka eivät huomioi muiden suorituksia vaan keskittyvät puhtaasti siihen, onko yksilö täyttänyt kiinteän riman.

Standardin asettamismenetelmät: miten ammattimaisia läpäisyrajoja rakennetaan

Korkean panoksen kokeet eivät valitse läpäisyprosenttia tyhjästä. Ne käyttävät dokumentoituja standardin asettamismenetelmiä, ja niiden ymmärtäminen selittää, miksi lisenssikokeessa voidaan läpäistä 68 %:lla samankaltaisen testin vaatiessa 75 %.

Modified Angoff -menetelmä on laajimmin käytetty testikeskeinen lähestymistapa. Asiantuntijapaneeli tarkistaa jokaisen tehtävän ja arvioi todennäköisyyden, jolla "minimaalisesti pätevä" ehdokas vastaisi siihen oikein. Kun nämä todennäköisyydet lasketaan yhteen kaikkien tehtävien osalta, saadaan suositeltu rajapiste. Paneeli käy tyypillisesti useita kierroksia ja tarkistaa arvioitaan todellisten suoritustietojen perusteella.

Muut lähestymistavat toimivat tehtävien sijaan suorittajan näkökulmasta:

  • Vastakkaiset ryhmät -menetelmä vertaa jo päteviksi luokiteltujen ja ei-vielä-pätevien suorittajien pistemääräjakaumia ja etsii kohdan, jossa kaksi jakaumaa kohtaavat.
  • Raja-ryhmämenetelmässä tuomarit tunnistaa suorittajat, jotka ovat juuri pätevyyden rajalla, ja käyttää heidän todellisia pisteitään rajan ankkuroimiseen.
  • Hofstee on kompromissimenetelmä, joka asettaa etukäteen hyväksyttävät vähimmäis- ja enimmäishylkäysprosentit, mikä estää rajapisteen ajautumisen kohtuuttomaan äärimmäisyyteen.
  • Kirjanmerkkimenetelmä soveltuu testeille, jotka on rakennettu tehtävävasteoriateorian pohjalle, jossa tehtävät järjestetään vaikeuden mukaan ja panelistit asettavat "kirjanmerkin" kohtaan, jossa minimaalisesti pätevä ehdokas todennäköisesti epäonnistuisi.

Ammattilaisten vinkki: Jos arvioinnillasi on todellisia seurauksia ehdokkaille, yhdistä yksi testikeskeinen menetelmä (kuten Angoff) yhteen suorittajakeskeiseen menetelmään (kuten vastakkaiset ryhmät). Näiden kahden välinen yksimielisyys on joitakin vahvimpia todisteita, joita voit esittää rajapisteesi puolustettavuudesta.

Mikään näistä menetelmistä ei "löydä" todellista läpäisyrajaa. Ne rakentavat sen asiantuntija-arvioinnin kautta tiedon tukemana. Tämä ero on syytä pitää mielessä ennen kuin viimeistellään mitään kynnystä, joka vaikuttaa todellisten ihmisten tuloksiin.

Puolustettavan läpäisyrajaprosessin rakentaminen

Ennen virallisen standardin asettamisharjoituksen suorittamista käy läpi lyhyt päätöstarkistuslista: Kuinka korkeat panokset ovat? Mitä tehtävämuotoja on mukana (monivalinta, suoritustehtävät, simulaatiot)? Onko pisteytyksellä psykometrinen malli taustalla? Kuinka monta pätevää panelistia voidaan rekrytoida, ja onko ehdokasotoksesi riittävän suuri merkityksellisen vaikutustiedon tuottamiseen?

Kun ongelman muoto on selvillä, toiminnalliset vaiheet näyttävät suunnilleen tältä, samaan tapaan kuin kattava myyntipuhelun tuloskortti operationalisoi pisteytyksen ja arviointirubriikot suoritusarviointeja varten:

  1. Määritä suoritustasot selkokielellä. Mitä "minimaalisesti pätevä" todella tarkoittaa tässä roolissa tai oppiaineessa?
  2. Rekrytoi ja kouluta panelisteja, jotka ymmärtävät sisällön ja testattavan kohderyhmän.
  3. Suorita valittu menetelmä (Angoff, vastakkaiset ryhmät, Hofstee tai yhdistelmä) ja kerää itsenäiset arviot.
  4. Luo vaikutusdata, joka osoittaa, millaisen läpäisyprosentin ehdotettu rajapiste tuottaisi todellisten tai historiallisten pisteiden perusteella.
  5. Dokumentoi jokainen päätös: ketkä olivat paneelissa, mitä menetelmää käytettiin ja miksi.

Pienemmät organisaatiot ohittavat usein virallisen psykometrisen tuen ja käyttävät oletuksena ennalta asetettua prosenttilukua, mikä on hyväksyttävää matalan panoksen sisäisissä tietokilpailuissa. Kaikkeen rekrytointiin, lisensointiin tai sertifiointiin liittyvään tulee budjetoida todellinen aika. Arviointikriteerien tarkistuslista voi auttaa jäsentämään suoritustasomäärittelyt ennen paneelin koollekutsumista.

Pisteet lähellä rajaa: mitä mittauksen standardivirhe tarkoittaa sinulle

Mikään testi ei mittaa täydellisesti, ja mittauksen standardivirhe (SEM) kvantifioi tämän epätarkkuuden. Ehdokas, joka saa yhden pisteen alle rajan, ei välttämättä ole vähemmän pätevä kuin se, joka saa yhden pisteen yli. SEM kertoo, kuinka paljon uusintatestauksen pisteet voisivat vaihdella, vaikka todellisessa kyvyssä ei tapahtuisi muutosta.

  • Rajapistevyöhyke, joka on usein rajapiste plus tai miinus yksi SEM, merkitsee pisteet, jotka ansaitsevat toisen tarkastelun automaattisen hyväksymisen tai hylkäämisen sijaan.
  • Tällä vyöhykkeellä mahdollisia toimia ovat vastausmallin manuaalinen tarkistus, kohdennettu täydennyskoulutus ja sen jälkeen uusintatestaus, tai valvottu uusintasuoritus uusissa olosuhteissa.

Tilastotieto: Koska pätevien ja ei-vielä-pätevien ryhmien pistemääräjakaumat limittyvät aina jossain määrin, jokainen rajapiste luokittelee jonkun väärin. Hyvän standardin asettamisen tavoite ei ole nolla virhettä. Se on virheiden minimointi ja kompromissin läpinäkyvä tunnustaminen.

Jokaisen organisaation on valittava, kumpi virhe pelottaa enemmän: hyväksyä joku, jonka ei olisi pitänyt läpäistä, vai hylätä joku, joka ansaitsi läpäistä. Dokumentoi tämä valinta. Jos valvoja tai hylätty ehdokas koskaan kysyy, miksi raja on siellä missä se on, "päätimme tämän periaatepäätöksenä tämän näytön perusteella" on paljon vahvempi vastaus kuin hiljaisuus.

Uudelleenkäytettäviä laskettuja esimerkkejä

  1. Standardiprosenttitesti: Kokonaispisteet = 100, läpäisyprosentti = 60 %. Laskelma: 100 × 0,60 = 60 pistettä tarvitaan läpäisyyn.
  2. Eri kokonaismäärä, korkeampi kynnys: Kokonaispisteet = 80, läpäisyprosentti = 70 %. Laskelma: 80 × 0,70 = 56 pistettä. Jos raakopisteet ovat 55,6, pyöristä ylöspäin 56:een, koska alaspäin pyöristäminen käytännössä laskisi julkaistua standardia.
  3. Painotettu kurssiarvosana: Oletetaan, että kurssisuoritukset ja välikokeet ovat jo tuottaneet 45 pistettä mahdollisesta 60:stä (75 % siitä osuudesta), ja loppukoe on 40 % kokonaisarvosanasta. Kokonais-70 %:n saavuttamiseksi loppukokeen on tuotettava riittävästi pisteitä yhdistetyn pistemäärän nostamiseksi 70 sadasta, mikä tarkoittaa yleensä juuri kyseistä koetta varten tarvittavien pisteiden tarkkaa laskemista sen omalla pisteasteikolla sen sijaan että olettaisi tasaisen 70 %:n pelkässä loppukokeessa.

Miten Talent Approved tukee dokumentoituja läpäisyrajapäätöksiä

Puolustettavan standardin asettamisprosessin suorittaminen käsin tarkoittaa panelistien arvioiden, tehtävätietojen ja vaikutusanalyysin seuraamista useissa laskentataulukoissa. Talent Approved:in työnkulut pitävät tämän seurantaketjun yhdessä paikassa: uudelleenkäytettävät tehtäväpankit roolispesifisten arviointien rakentamiseen, istuntodata suoritusmallien tarkasteluun ja tekoälyn tuottamat yhteenvedot, jotka paljastavat, mihin kohtiin ehdokkaat keskittyvät ehdotetun rajapisteen ympärillä. Katso, miten suunnitella roolispesifisiä seulontatestejä lähtökohtaista viitekehystä varten.

Miten Talent Approved tukee dokumentoituja läpäisyrajapäätöksiä — yleiskatsauskaavio

Miksi dokumentointi on tärkeämpää kuin luku itse

Prosenttiluvulla, johon päädyt, on vähemmän merkitystä kuin useimmat olettavat. Se, mikä todella suojaa organisaatiota, kun läpäisyrajaa kyseenalaistetaan, on sen taustalla oleva paperipolku: kuka arvioi sen, mitä menetelmää käytettiin ja millä näytöllä lopullinen päätös tehtiin. Valitse menetelmä, joka sopii panoksiisi, kirjaa ylös miksi valitsit sen, ja palaa tietoihin heti kun todelliset ehdokkaat alkavat suorittaa testiä.

— Jimmie

Aseta läpäisyrajat, joita voit todella puolustaa

Reilu rajapiste on vain puolet työstä. Tarvitset myös tavan testata ehdokkaita johdonmukaisesti sitä vasten ilman, että käytät päiviä tehtäväpankkien rakentamiseen käsin. Talent Approved:in Magic Create -työkalu muuntaa työnkuvauksen tai luettelon vaadituista taidoista jäsennellyiksi, roolispesifikoiksi arvioinneiksi minuuteissa, joten läpäisyrajasi taustalla olevat suoritustasomäärittelyt todella testataan tarkoittamallasi tavalla.

Talent Approved

Sisäänrakennettu huijauksenesto-seuranta ja istuntotallennukset antavat sinulle menettelyllisen näytön, jota puolustettava standardin asettamisprosessi edellyttää: tietueen siitä, miten jokainen ehdokas todella suoriutui, eikä vain lopullinen pistemäärä. Yhdistä tämä tekoälyn tuottamiin yhteenvetoihin ja ehdokassijoituksiin, ja rajaasi lähellä olevien pisteiden tarkistamisesta tulee viiden minuutin tehtävä manuaalisen tarkastuksen sijaan. Koska Talent Approved toimii käyttömäärään perustuvalla mallilla, jossa on kiinteä 5 dollarin maksu suoritetusta arvioinnista, ei tilaussitoumusta tarvita sen testaamiseen omia roolivaatimuksiasi vasten. Aloita arvioinnin rakentaminen ja katso, miten ehdotettu läpäisyrajasi toimii todellisten ehdokastietojen perusteella.

Lähteet

UKK

Mikä on arviointipisteet?

Arviointipisteet on raa'an tai skaalatun suorittajan saama numero, jota verrataan ennalta määritettyyn läpäisyrajaan tuloksen luokittelemiseksi hyväksytyksi tai hylätyksi.

Miten tulkita arviointituloksia lähellä rajapistettä?

Pisteet yhden mittauksen standardivirheen sisällä rajapisteestä kuuluvat rajapistevyöhykkeelle, jossa organisaatiot soveltavat usein manuaalista tarkistusta, täydennyskoulutusta tai valvottua uusintasuoritusta automaattisen luokittelun sijaan.

Mikä on hyväksytty kokeen pistemäärä?

Yleispätevää lukua ei ole.