AI-rekrytering: när rätt meriter får fel språkdräkt

Kan AI bedöma samma kandidat olika?

Forskarna Michael Andreas Ebling, Stefania Ionescu och Nicolò Pagan undersökte just den frågan. I studien, publicerad i Proceedings of Machine Learning Research, fick åtta språkmodeller skriva ansökningar till tio jobb, med 50 kandidater per jobb. Sex modeller fick sedan bedöma ansökningarna.

Upplägget gjorde det möjligt att jämföra bedömningen av samma kandidater när olika AI-modeller hade formulerat deras brev. Kandidatens kvalifikationer låg fast medan skrivverktyget varierade. Därmed kunde forskarna undersöka hur verktygsvalet påverkade urvalet.

Resultatet visade en övergripande rangordning: proprietära modeller, som kontrolleras av sina leverantörer, föredrogs framför lokalt körda modeller. Forskarna kallar fenomenet generative preference bias, ungefär snedvridning utifrån vilken modell som genererat texten. Vissa bedömare gynnade dessutom sina egna texter, men det mönstret dominerade inte genomgående.

I den mest ogynnsamma kombinationen sorterades omkring två av 25 kvalificerade kandidater bort på grund av modellkombinationen. Bedömarmodellerna skilde sig också åt i hur känsliga de var för skrivverktyget.

Vad visar studien om verkliga rekryteringar?

Här behöver handbromsen fungera. Studien bygger på en simulering. Som Chefstidningen framhåller visar den därför inte hur vanligt problemet är vid verkliga anställningar.

Siffran två av 25 gäller den mest ogynnsamma kombinationen i försöket. Att översätta den till en generell risk för svenska jobbsökande vore att ge statistiken en tjänstebil och hoppas att den hittar själv.

Resultatet belägger heller inte att alla rekryteringssystem fungerar likadant eller att män i femtioårsåldern drabbas särskilt. Dess användbara bidrag är smalare och mer konkret: valet av skrivmodell kan påverka utfallet under de undersökta förhållandena. Där finns något att testa innan ett verktyg får sortera människors yrkesliv.

När språkdräkten blir en extra merit

Det personliga brevet ska hjälpa arbetsgivaren att förstå vad du kan bidra med. Men om bedömningen påverkas av vilken modell som formulerat texten uppstår en besvärlig gränsdragning. Hur mycket av betyget gäller kompetensen, och hur mycket gäller presentationen?

Språk kan förstås vara relevant för jobbet. Den som ska skriva beslutsunderlag behöver kunna uttrycka sig begripligt. Ändå bör arbetsgivaren fråga sig vad ett AI-bearbetat brev faktiskt mäter. Kandidatens skrivförmåga? Omdömet att välja bra exempel? Förmågan att instruera ett visst verktyg?

Det är olika egenskaper. Att blanda ihop dem gör knappast urvalet mer genomtänkt bara för att resultatet levereras med decimaler.

Min slutsats är att denna rekryteringsbias bör behandlas som ett kvalitetsproblem i processen. Om arbetsgivaren söker erfarenhet av produktionsledning behöver bedömningen kunna knytas till just den förmågan. Annars riskerar ett välformulerat brev att fungera som en snygg kostym på fel anställningsintervju.

Om samma kompetens får olika chans beroende på skrivverktyget behöver urvalet granskas lika noga som kandidaten.

Hur ska du använda AI när du söker jobb?

Studien ger ingen universell vinnarmodell att köpa inför nästa ansökan. En rimligare strategi för dig som jobbsökande är att behålla kontrollen över innehållet. Låt artificiell intelligens hjälpa till med struktur och tydlighet, men gör erfarenheten möjlig att bedöma.

• Börja med dina egna exempel. Skriv ner vad du ansvarade för, vilket problem du löste och vad resultatet blev. Be därefter verktyget hjälpa dig att ordna materialet.
• Byt egenskaper mot belägg. Om du beskriver dig som lösningsorienterad, lägg till en situation där det faktiskt märktes. Läsaren ska slippa bedriva arkeologi i adjektiven.
• Kontrollera varje uppgift. Behåll bara ansvarsområden, kunskaper och resultat som du kan stå för och utveckla vid en intervju.
• Redigera med arbetsuppgiften i sikte. Fråga dig vad varje stycke hjälper arbetsgivaren att förstå. Stryk sådant som mest låter imponerande.

För dig med ett långt arbetsliv bakom dig kan urvalet av erfarenheter vara den viktigaste redigeringen. Försök välja de exempel som bäst svarar mot tjänsten. Hela karriären behöver knappast få plats i brevet; den har redan tagit några decennier att genomföra.

Arbetsgivaren behöver testa mer än hastigheten

På andra sidan bordet bör frågan vara större än hur många minuter systemet sparar. Vad händer med kvaliteten när ansökningarna passerar verktyget? Studiens upplägg ger en användbar idé till kontroll: håll meriterna konstanta och variera formuleringarna.

Som chef eller beställare kan du börja med dessa frågor:

• Ändras rangordningen av språkdräkten? Be leverantören visa hur samma kandidat bedöms i olika textversioner, där sakuppgifterna är oförändrade.
• Vilka belägg styr poängen? Kräv att bedömningen går att koppla till kravprofilen och konkreta uppgifter i ansökan.
• Vem granskar bortvalen? Ordna stickprov även bland dem som sorterats bort. Annars granskar ni bara dem systemet redan släppt fram.
• Hur följer ni upp ändringar? Bestäm vilka kontroller som ska göras när verktyget eller instruktionerna förändras.

Detta är förslag på kontroller, utan garanti för ett rättvist urval. En människa som rutinmässigt godkänner maskinens lista tillför dessutom ganska lite prövning. Ge granskaren tid, tydliga kriterier och mandat att säga emot. Annars har ni främst monterat en mänsklig signatur på processen.

Vem är det egentligen ni anställer?

På en arbetsmarknad där både kandidat och arbetsgivare kan använda AI behöver ansvaret fortfarande ha en mänsklig adress. Den sökande ansvarar för sina uppgifter. Arbetsgivaren bör kunna förklara varför vissa erfarenheter vägde tyngre än andra.

Den hållbara frågan är därför vad ni vill mäta innan ni automatiserar bedömningen. När nästa kandidat sorteras bort: kan ni förklara vilken kompetens som saknades, eller tyckte systemen bara sämre om varandras prosa?

Kort sagt

Valet av skrivande AI-modell kan påverka hur en jobbansökan bedöms, enligt en studie publicerad i PMLR. Försöket var en simulering och visar inte hur vanligt fenomenet är i verkliga rekryteringar. Jobbsökande bör göra sina meriter konkreta och kontrollera texten, medan arbetsgivare bör testa om oförändrade kvalifikationer bedöms olika när formuleringarna varierar.

Källor

• Proceedings of Machine Learning Research (PMLR) – When LLMs Evaluate LLMs in Hiring: A Multi-Model Auditing Framework for Generative Preference Bias in AI-Assisted Recruitment. Ebling, Ionescu och Pagan: försöksupplägget med åtta skrivmodeller och sex bedömare, preferensen för proprietära modeller, självpreferens, skillnader mellan bedömare och utfallet omkring två bortsorterade av 25 kvalificerade kandidater i den mest ogynnsamma kombinationen.
• Chefstidningen – När AI rekryterar AI – vem får då jobbet?