Hvad siger forskningen om test?

Velkommen til maskinrummet. Det skal nu handle om testværktøjernes DNA, og vi går i nørdemode og dykker ned i videnskaben bag. For hvad siger forskningen egentlig om test? 

Kan personlighed måles? Kan vi sige noget fornuftigt om, hvilke metoder der økonomisk bedst kan betale sig og som giver mest værdi for virksomheden på den lange bane? Er det muligt at finde frem til, hvilke metoder der er mest valide? Alt dette går vi igennem i denne artikel. 

Har du brug for at få genopfrisket begreberne validitet og reliabilitet?

Hvad er det mest valide testværktøj?

Lige her koncentrerer vi os primært om maskinrummet bag personlighedstest og kognitive test. Vi begynder med den sidste. 

Bliv klogere på, hvad test er og hvordan de kan skabe mest værdi.

Med kognitive test måler vi på det, der hedder g-faktor. Det er vores generelle kognitive evner, der definerer, hvor gode vi er til at mestre kompleksitet. Den kognitive test måler dermed ikke på, hvad du har lært, men på din evne til at løse komplekse opgaver. 

Dyk ned i kognitive tests i denne artikel.

De sidste 100 års forskning gør det meget klart for os: En kognitiv test er det stærkeste værktøj, når det handler om at forudsige jobsucces. Men på trods af dette vælger vi HR-praktikere ofte metoder til rekruttering på baggrund af intuition, tradition og erfaring. Ikke på baggrund af datadrevet forskning (Fisher et al., 2020). 

Lad os derfor dykke grundigere ned i data og se, hvad forskningen egentlig fortæller os.

Hvad fortæller studierne fra Schmidt & Hunter?

Siden Schmidt & Hunter i 1998 fremlagde deres banebrydende metastudie, “The Validity and Utility of Selection Methods in Personnel Psychology”, har der været konsensus om svaret blandt forskere: Den kognitive test er den mest præcise, enkeltstående metode, når det handler om at forudsige jobsucces. De nyeste tal fra forskning fortæller os, at du kan forudsige succes på jobbet med en korrelation på helt op til 0,65 med en kognitiv test (GMA-test på engelsk) (Schmidt, Oh & Shaffer, 2016).

Hvad betyder det så egentlig? Her kommer kriterievaliditet på banen. Kriterievaliditet bruger vi til at fortælle, hvor præcis en metode er. Hvis testen er i stand til gentagende gange at forudsige høj performance, vil det vise høj korrelation. Det betyder en høj validitet - altså vi kan vi stole på testens resultat. 

Der er nemlig en signifikant sammenhæng mellem testens resultat og den faktiske performance på jobbet. Kriterievaliditet bliver målt med et tal mellem 0 og 1. Jo højere, jo bedre. 

Læs mere om kriterievaliditet i denne artikel. 

Lad os vende tilbage til Schmidt & Co. Frank Schmidt har nemlig i forskellige forskningskoalitioner og med forskellige vinkler undersøgt den kognitive og logiske tests validitet. Eller GMA-testen, som mange også kalder den.

I samarbejdet mellem Schmidt, Oh & Shaffer i 2016, hvor de opdaterede metaanalysen fra 1998 og samlede op på 100 års forskning, cementerede de den kognitive og logiske tests suverænitet. Her fandt de, at hvis du kombinerer en kognitiv test med en personlighedstest, kommer du helt op på en korrelation på 0,78 (Schmidt, Oh & Shaffer, 2016).

Samtidig viste studiet, at andre metoder, fx mere CV-baseret rekruttering, har svært ved at konkurrere med den kognitive test eller test i det hele taget. Personlighedstest har en korrelation på solide 0,40, mens, hvis du rekrutterer efter års erfaring, får du en korrelation på 0,10. Alder som udvælgelsesparameter giver en validitet på 0 (Schmidt, Oh & Shaffer, 2016).

Andre nutidige studier viser samme tydelige billede både på tværs af grænser og jobtyper (Le & Schmidt, 2006, Salgado et al., 2003).

Hvad siger kritikerne?

På trods af den massive og meget samstemmende forskning, har der gennem årene været kritik af studierne fra Schmidt & Co., og det er der stadig. Flere kritiserer studiet fra 2016, da det aldrig er udgivet og dermed peer-reviewed. Alligevel bliver den brugt igen og igen.

Noget af kritikken går på, hvordan Schmidt & Co. har korrigeret statistisk. Der bliver også stillet spørgsmålstegn ved, hvordan Schmidt og Hunter beskriver de forskellige metoder, og hvordan de definerer metoderne. Det strukturerede interview er fx nærmest et spørgeskema.

Kritikken går altså mere på det metodiske end på selve resultaterne, og denne kritik kommer fra forskerverdenen. Fra praktikerne selv ser vi andre forbehold. Enkelte vælger den kognitive test fra, fordi det klinger elitært.

Bliv klogere på karakter vs. kognitiv test, og hvorfor det netop ikke handler om elite, men om forvaltning af potentiale.

Hvad siger forskningen om personlighedstest?

Når det kommer til personlighedstesten, findes der ligeledes både fortalere og kritikere. De mest kritiske røster går så langt som til at sige, at vi slet ikke kan bruge personlighedstest til at forudsige et menneskes adfærd, og at en test intet siger om personligheden. Den stigmatiserer i stedet. 

Holdningerne tager afsæt i antagelsen om, at vi som mennesker ikke har en stabil kerne. Personlighed er i stedet en illusion og en flygtig, social konstruktion. Vi har slet ikke stabile personlighedstræk, og derfor er der intet der kan forudsige vores adfærd, da der ingen stabil kerne er at måle. Forskning har dog vist os, at virkeligheden ser anderledes ud.

Personlighed kan måles. Forskning viser, at der er en grundlæggende præmis, der består. Fra ca. 30-års alderen har vi grundlæggende strukturer, der ikke ændrer sig radikalt og pludseligt (Costa, McCrae og Löckenhoff, 2019). Dermed ikke sagt, at personligheden er statisk, for det er den bestemt ikke. Den er stabil, men ikke statisk. Vi bliver formet af de begivenheder, livet giver os.

Uanset overbevisning kommer vi heller ikke uden om, at test ikke giver det fulde billede. Men det er et stærkt værktøj til at komme det lidt nærmere. Det handler basalt set om at gøre noget superkomplekst - det at være et menneske - til noget konkret. Det er det personlighedstesten hjælper os med. Så vi kan tale om det og begrebsliggøre vores adfærd. 

Læs mere om, hvordan du bruger personlighedstesten bedst i dit arbejde, og hvordan du undgår faldgruber.

Hvad er femfaktor-modellen (Big Five)?

Når det handler om at udvikle personlighedstest, læner de fleste sig i dag op ad femfaktor-modellen eller på engelsk kaldet Big Five. Dette er en empirisk udviklet model, der beskriver de fem faktorer eller karakterer, som vi alle rummer i større eller mindre grad.

De fem faktorer er:

Utility analyse - Værdien af rekruttering

Nu kommer vi til det helt store spørgsmål: Hvorfor er det overhovedet vigtigt at kunne prædikere arbejdskraft? At kunne forudsige performance i jobbet?

Ganske simpelt, fordi lav performance koster virksomhederne dyrt. Når vi står på skuldrene af mange års forskning, kan vi med et (ikke helt simpelt, men dog tilgængeligt) regnestykke komme frem til, hvor økonomisk fordelagtigt hver enkelt rekrutteringsmetode er i forhold til hinanden. Kort sagt, hvor mange penge en virksomhed kan spare, hvis man vælger én rekrutteringsmetode frem for en anden. Det er det, der kaldes for utility analyse. 

Utility analyse har rødder i psykologi og økonomi (Sturman, 2003) og beregner den gennemsnitlige forbedring i jobperformance alt efter rekrutteringsmetode. Hvor meget er det så værd i kroner og øre.

Beregn selv fortjenesten på den gode ansættelse

Lad os opsætte et kort scenarie: Du skal ansætte en medarbejder til et job med en mellem kompleksitet og en årsløn på 500.000 kr. Du regner med at den nye medarbejder bliver i virksomheden i 2 år. Valget står mellem en kognitiv og et struktureret interview. 

Hvis du vælger den kognitive test, vil I opnå i gennemsnit 11% højere jobperformance. Omsat til kroner og øre, betyder det forventeligt 130.000 kr. i opnået fortjeneste - sammenlignet med en rekruttering med et struktureret interview. Simpelthen fordi du er mere sikker på at opnå en højere jobperformance, hvis du rekrutterer med en kognitiv test frem for et struktureret interview. 

Er du blevet nysgerrig? Dyk ned i formler og metoden bag, og prøv selv vores beregner.

Få hjælp til bedre rekruttering gennem data

Denne artikel havde til formål at tage dig med ind i maskinrummet og guide dig gennem forskningen bag test. Test er en kompleks størrelse, og derfor er det også vigtigt at kende til noget af videnskaben bag for at kunne vurdere, om du får den eller de test, som kan skabe mest værdi for din virksomhed og jeres situation. 

Få et overblik over vores forskellige testværktøjer, som kan hjælpe jer til en bedre rekruttering. 

Vil du gerne vide, hvilket testværktøj der bedst passer til jeres forretning, kan du bruge vores gratis tjekliste til at stille de vigtigste spørgsmål til dig selv og din testleverandør. 

Sådan vælger du test

Du rekrutterer og udvikler. Du tester mennesker. Du ved, det virker. Men ved du, om jeres testværktøj er det bedste til jeres forretning? Findes der måske bedre løsninger derude? Her er de vigtigste spørgsmål, du skal stille dig selv eller din testleverandør. Tjek, om du har det rigtige testværktøj.

Download vores tjekliste her

Kilder

Fisher et al., 2020: Selection Myths A Conceptual Replication of HR Professionals’ Beliefs About Effective Human Resource Practices in the US and Canada. Peter A. Fisher, Stephen D. Risavy, Chet Robie, Cornelius J. König, Neil D. Christiansen, Robert P. Tett, and Daniel V. Simonet (2020). 

Schmidt, Oh & Shaffer, 2016: The validity and utility of selection methods in personnel psychology: practical and theoretical implications of 100 years of research findings. Schmidt, F. L., Oh, I. S., & Shaffer, J. A. (2016).

Le & Schmidt, 2006: Correcting for indirect range restriction in meta-analysis: testing a new meta-analytic procedure. Le, H., & Schmidt, F. L. (2006). Psychological methods, 11(4), 416–438. https://doi.org/10.1037/1082-989X.11.4.416

Salgado et al., 2003:  A meta-analytic study of general mental ability validity for different occupations in the European community. SALGADO, J., ANDERSON, N., MOSCOSO, S., BERTUA, C., De Fruyt, F., & ROLLAND, J. (2003). JOURNAL OF APPLIED PSYCHOLOGY, 88(6), 1068–1081.

Costa, McCrae og Löckenhoff, 2019: Personality Across the Life Span. Costa, P., McCrae, R. R., & Löckenhoff, C. E. (2019). Annual Review of Psychology, 70, 423-448. https://doi.org/10.1146/annurev-psych-010418-103244 

Sturman, 2003: Utility Analysis: Definition and History. Sturman, C, M., (2003). The Cornell Hotel and Restaurant Administration Quarterly, Volume 44(2): 109-116,