Sådan vurderer du kvaliteten på en test - reliabilitet

Det er utroligt vigtigt at vide, om en test har høj reliabilitet eller ej, for at vide om testen kan skabe reel værdi for virksomheden. Denne artikel hjælper dig med at forstå begrebet reliabilitet og vurdere reliabiliteten af en test.

Det kan være en jungle at navigere rundt i de testværktøjer, der findes på markedet. Er den af høj nok kvalitet, og hvor præcis er den? Kan den hjælpe dig med de udfordringer, du har behov for at få løst? Med andre ord: Hvad er testens reliabilitet?

For at arbejde datadrevet og målbart med test til rekruttering og udvikling af medarbejdere, er det vigtigt at kigge på kvaliteten af de test man anvender eller ønsker at anvende.

Læs mere om hvad en test er, og hvilke fordele de kan skabe i forbindelse med rekruttering og udvikling.

Det er heldigvis også blevet en generel tendens, at mange virksomheder er begyndt at have større fokus på kvaliteten af de værktøjer, de bruger til rekruttering og ikke blot bruger en, de har hørt om.

Når du skal vurdere en tests kvalitet, kan det være udfordrende og uoverskueligt at vide, hvad du præcis skal kigge efter. Der er ikke ét tal eller ét stempel, du kan læne dig op ad.

Det vil denne artikel prøve at gøre dig klogere på. Reliabilitet spiller nemlig en vigtig rolle, når du skal vurdere om en test giver dig værdi.

Hvad er reliabilitet?

Reliabilitet siger noget om pålideligheden. Det handler om nøjagtigheden i indsamlingen af data og behandlingen af data. Reliabilitet handler om, hvorvidt et forsøg, i denne kontekst testen, giver de samme resultater næste gang testen bliver taget.

Betyder høje reliabilitets tal så automatisk høj kvalitet? Nej, så enkelt er det ikke. Man kan desværre ikke sige, at et bestemt tal er garanti for høj kvalitet i testen.

Det vil svare til, at vurdere en bil udelukkende på, om den kører langt på literen. For det første er der mange andre elementer, som er vigtige for, om det er en god bil, fx sikkerhed, motor eller størrelse. For det andet er der flere forskellige standarder for at vurdere end bils “km pr. liter”.

Sådan er det også med en tests reliabilitet - hele konteksten skal med for at forstå, hvordan kvaliteten er.

Det er vigtigt at forstå, hvad reliabilitet er et udtryk for. Grundlæggende set handler reliabilitet om præcision over både tid og sted.

Reliabilitet inden for test kan undersøges på tre forskellige måder:

Intern konsistens: Hvor godt hænger alle delelementerne i testen sammen med hinanden?
Test-retest reliabilitet: Får folk det samme resultat, hvis de tager testen flere gange?
Inter-rater reliabilitet eller parallelle versioner: Kommer forskellige personer eller versioner af testen frem til samme resultat?

Intern konsistens

Intern konsistens undersøges ved, at man sætter et tal på, hvor godt hvert enkelt spørgsmål i testen hænger sammen med de andre spørgsmål inden for samme skala.

Et hyppigt brugt mål er Alpha koefficienten, også kaldet Cronbach's Alpha, som angives fra 0 til 1, hvor værdier omkring 0,9 generelt anses som værende optimale. Ofte vil det være den, folk taler om, når de spørger efter “reliabiliteten af en test”, og Alpha er også et godt mål for præcision.

Test-retest reliabilitet

På den anden side kan det til tider være mere relevant at vide om testen er stabil over tid.

Test-retest reliabilitet handler altså om graden af overensstemmelse mellem to målinger af det samme fænomen under den forudsætning af at fænomenet ikke har ændret sig.

Det vil sige, at tager en person testen igen om fx tre måneder, får personen så det samme resultat? Det kan fx være rart at vide, hvis man overvejer at genteste medarbejdere efter en periode.

Hvis en test har dårlig test-retest reliabilitet, så kan man ikke vide om et anderledes resultat skyldes, at testen er upræcis eller om medarbejderen rent faktisk har udviklet sig.

Test-retest reliabilitet angives typisk som korrelationskoefficient mellem resultaterne ved den første test og den anden test. De ligger dermed også mellem 0 og 1, og jo tættere på 1 desto bedre. I praksis anses værdier omkring 0,7 dog som værende rigtig gode.

Inter-rater reliabilitet

Inter-rater reliabilitet undersøges ved at sætte forskellige personer til at vurdere samme fænomen, det handler om graden af overensstemmelse.

Det kunne fx være et 360 graders survey, hvor man beder flere forskellige om at vurdere én person baseret på samme test.

Sammenhængen mellem deres svar er udtryk for, hvor præcis testen er. Her er der naturligvis mange forskellige personers synspunkter, som kan påvirke vurderingen, men der skal helst være en tydelig sammenhæng alligevel - ellers gør testen noget forkert.

Generelt set accepterer man derfor lidt lavere værdier end for Alpha eller test-retest, men det skulle stadig gerne ligge over 0,6 som minimum.

Parallelle versioner

Parallelle versioner af samme test bruges ikke så ofte inden for det erhvervspsykologiske felt, da det i sin natur kræver, at man udvikler samme test to gange og så ser på, hvor ensartede resultaterne fra begge test er, når de bliver udfyldt af den samme person. Her vil man typisk gerne se værdier højere end 0,8.

Forstå tallene i deres rette sammenhæng

Måske begynder det nu at give mere mening, hvad testens reliabilitet er.

Det er en kompleks størrelse. I sidste ende vil man jo altid gerne vide om testen er “god” eller ej, og det kan man ikke afgøre på baggrund af ét tal alene.

En Alpha på 0,7, er bestemt ikke “god”, men hvis vi taler om test-retest reliabilitet, så ville det tal faktisk vise, at testen er rigtig stabil over tid.

For at gøre det endnu mere komplekst, så er viden om reliabilitet heller ikke i sig selv nok til at vurdere den samlede kvalitet af en test. Her er skal du kigge på validitet også.

Bliv klogere på, hvordan du måler validiteten af en test.

Slutteligt er det en god idé, at du forholder dig kritisk til de reliabilitets-tal du hører, og så udfordre dem, så du forstår dem i deres rette sammenhæng.

Gå i dybden med hvad forskning siger om test.

Kan man tjekke reliabiliteten?

I Storbritannien (PBS) og Norge (DNV) har de agenturer, som certificerer test. Det betyder, at hvis du skal bruge en test, kan du kigge på testens certificering, og derfra reliabiliteten.

En certificeret test lever op til række strenge kvalitetskrav vurderet af uafhængige eksperter, og er også et rigtig godt pejlemærke at gå efter i andre lande.

Desværre har vi i Danmark ikke lignende agenturer eller certificeringer for test. Derfor skal du lave et større undersøgende arbejde selv, når du skal vurdere en tests kvalitet og reliabilitet.

Vælg den rette testleverandør

Har du en nuværende testleverandør eller skal du ud at finde en? Vi har lavet en gratis tjekliste til dig, så du kan få et overblik over, hvilke spørgsmål og punkter, der er vigtige at være opmærksom på.