En studie visar att läsare knappt kan skilja AI-skrivna noveller från mänskliga. Ändå värderar vi berättelser högre när vi tror att en människa står bakom dem.
Du läser en novell på tåget. Språket flyter, människorna känns bekanta och du hinner fram innan någon börjar prata högt i telefon. Sedan får du veta att ChatGPT skrev texten. Blev den sämre medan du satt där?
En studie publicerad av Cambridge University Press visar att frågan är besvärligare än många vill erkänna. Deltagare hade svårt att avgöra vem som skrivit novellerna de läste. Samtidigt påverkades deras omdöme av vad de trodde om författaren.
Forskarna Sydney Sears och Deena Skolnick Weisberg vid Villanova University använde sex noveller: tre skrivna av publicerade författare och tre framtagna med ChatGPT. Varje text var omkring 1 000 ord lång. AI:n fick instruktioner som motsvarade ämne, miljö och perspektiv i en mänskligt skriven berättelse. Den arbetade alltså med mer vägledning än en uppmaning av typen skriv något gripande, tack.
Studien bestod av tre experiment med amerikanska vuxna. I det första läste 1 682 personer varsin novell. Vissa fick korrekt information om upphovet, andra fick höra att en människa skrivit en AI-text eller tvärtom. Därefter bedömde de bland annat berättelsens kvalitet och hur uppslukade de blev.
I de två följande experimenten läste 424 respektive 481 personer ett par noveller: en från en människa och en från ChatGPT. De visste att paret innehöll en av varje sort, men fick själva avgöra vilken som var vilken. Det är en ovanligt generös ledtråd. När du öppnar en text i mobilen står det sällan att exakt hälften av det du ska läsa kommer från en språkmodell.
Ändå lyckades deltagarna inte bättre än slumpen på det hela taget. I det andra experimentet valde knappt 40 procent rätt, alltså sämre än vid ren gissning. I det tredje valde ungefär 52 procent rätt, en skillnad som inte var statistiskt säkerställd. Resultaten säger att just de här novellerna var svåra att sortera efter upphov. De säger ingenting säkert om alla noveller, än mindre om en hel roman.
Det första experimentet gav en dubbel överraskning. ChatGPT-texterna fick i genomsnitt högre betyg för upplevd kvalitet och förmåga att fånga läsaren än de mänskligt skrivna texterna. Samtidigt fick en berättelse högre betyg när deltagaren hade fått höra att en människa skrivit den, oavsett vem som faktiskt hade gjort det.
Vi bedömer alltså både texten och etiketten på texten. Det är knappast en främmande vana. Samma kaffe kan kännas mer ambitiöst i en tung keramikmugg än i en pappersmugg från bensinmacken. Novellen har förstås fler dimensioner än morgonkaffet, men förväntningar följer med in i läsningen.
Enligt Sears och Weisberg kan lättillgängligheten vara en möjlig förklaring till AI-texternas höga betyg. En berättelse som snabbt låter oss förstå vem som vill vad och varför håller kvar oss, särskilt när vi läser mellan jobbmejl, familjechatt och en notis om att paketet återigen finns hos ett ombud långt bort. Men studien visar inte att forskarna har isolerat tydlighet som orsaken. Här finns ett samband att fundera över, snarare än ett färdigt facit.
Vi kan uppskatta en berättelse för att den flyter – och uppskatta den ännu mer när vi tror att en människa kämpat med den.
Det är också värt att skilja mellan det som är lätt att läsa och det som är värt att läsa om. En tydlig novell kan ge en utmärkt stund. En mer motsträvig berättelse kan dröja sig kvar därför att den lämnar plats åt sådant läsaren själv måste reda ut. Att föredra den första efter några minuter säger föga om vilken man skulle vilja bära med sig i tio år.
Inte på det enkla sätt många hoppas. I de två experiment där deltagarna skulle välja författare hängde fokus på berättelsernas språk ihop med fler felaktiga gissningar. I det tredje experimentet gällde det även dem som stödde sig på hur mycket de tyckte om texten. Behaglig läsning fungerade dåligt som detektivarbete.
De deltagare som uppgav större vana vid AI lyckades däremot oftare identifiera upphovet. Självrapporterad erfarenhet av skönlitteratur gav ingen motsvarande fördel. Det betyder varken att litteraturvana är värdelös eller att den som använder ChatGPT kan genomskåda varje text. Erfarenheten mättes med deltagarnas egna svar, och forskarna undersökte bara ett litet urval berättelser.
Här får vår föreställning om kreativitet en törn. Vi förknippar gärna en bra novell med någon som har levt, förlorat, längtat och sedan suttit uppe och flyttat ett kommatecken i tre timmar. Den bilden kan vara sann om en mänsklig författare. Men som metod för att identifiera en okänd texts upphov visade den sig opålitlig i experimenten. Att läsare reagerar på en berättelse bevisar heller ingenting om hur den skapades eller vad dess upphov kan uppleva.
För den som skriver uppstår en obekväm praktisk fråga: vilka delar av arbetet uppskattar läsaren faktiskt? Studien antyder att ett smidigt berättande kan räcka långt i en kort novell. Den undersökte däremot inte hur en författare bygger ett större verk, utvecklar en egen röst över tid eller väljer vilka idéer som förtjänar att bli färdiga. Där finns gott om arbete kvar för både människor och forskare.
För läsaren handlar valet om mer än att vinna en gissningslek. Ibland vill man bara ha en berättelse som fungerar på pendeln. Ibland vill man veta vem som står bakom den, varför den skrevs och om man vill följa just den människans blick på världen. Båda önskemålen är rimliga. Det ena kräver en text; det andra kräver också ett ärligt besked om dess ursprung.
Författare kan ta med sig en konkret påminnelse: tydlighet är ingen skam, även när man vill skriva något svårt. Läsare kan pröva två frågor när en text griper tag: Vad i själva berättelsen fungerade? Och hur förändras mitt omdöme när jag får veta vem som gjorde den? Du behöver inte bli litterär kriminaltekniker. Det räcker långt att märka när förpackningen börjar tala högre än novellen.
Det mest intressanta med experimenten är därför kanske inte att maskinen kunde skriva läsbara noveller. Det är att vi ibland tyckte bättre om dem samtidigt som vi helst ville ge en människa äran. Om framtidens berättelser får oss att känna något: hur mycket behöver vi veta om handen bakom orden?
I tre amerikanska experiment hade deltagare svårt att skilja korta AI-skrivna noveller från mänskligt skrivna. ChatGPT-texterna fick högre betyg i ett experiment, samtidigt som en berättelse värderades högre när läsaren trodde att en människa hade skrivit den. Studien väcker frågor om våra förväntningar på kreativitet och upphov, men avgör inte hur vi skulle bedöma hela romaner.
Utvecklare använder AI allt oftare – och försöker samtidigt undvika den. Bakom motsägelsen finns arbetsstress, sviktande tillit och en oro för att förlora både hantverket och kontrollen.
AI-agenter får namn, roller och plats i företagens organisationsscheman. Men när tekniken börjar likna en kollega riskerar vi att lita mer, granska mindre och tappa bort ansvaret.
På mötet säger du att du är för gammal för det här och ger chefen en gratis ursäkt. Byt dimridåer mot krav på resultat.
Du får ett avslag, chefen säger ”profil” och någon föreslår AI-kursen. Men vad är faktiskt åldersdiskriminering – och vad säger siffrorna?
Mer från Midcent
Nyhetsbrev
Veckans bästa guider — samlat och utan brus, för dig som vill ligga steget före.
