Lezers verkiezen AI-verhalen boven mensenwerk: het verschil is niet te zien
AI-geschreven verhalen scoren hoger bij lezers dan mensenwerk, zeker als lezers denken dat er een mens schreef. Zelfs literatuurliefhebbers zien het verschil niet.
Lezers geven door AI geschreven korte verhalen hogere punten dan verhalen van echte auteurs. Het opvallendste detail: het hoogst scoren AI-verhalen waarvan de lezer denkt dat er een mens achter zat.
Dat blijkt uit een studie van de Amerikaanse Villanova University, gepubliceerd in het vakblad Judgement and Decision Making. Bijna 2.600 deelnemers tussen 18 en 81 jaar lazen menselijke verhalen en verhalen van ChatGPT en beoordeelden hoe boeiend ze waren.
De lezer beloont leesbaarheid, niet de schrijver
De verklaring is niet dat AI beter schrijft, maar dat het makkelijker leest. AI-teksten zijn duidelijker en directer. Menselijke verhalen zijn subtieler en complexer. En lezers verkiezen voorspelbaarheid: moeilijke of subtiele passages kosten meer hersencapaciteit.
Kortom, de lezer beloont leesbaarheid. Wie erachter zit, ziet hij er niet meer uit.
In het ene experiment haalden lezers een score van 39,93 procent, slechter dan gokken. In het andere 51,97 procent, niet beter dan een munt. Wie zichzelf als literatuurkenner zag, deed het niet beter.
Scholen geven de detectie op
Het onderzoek komt er op het moment dat het onderwijs niet meer kan uitmaken wie wat schrijft. Yale, Vanderbilt, Johns Hopkins en Indiana verbieden of ontmoedigen AI-detectie als enig bewijs van fraude. Northwestern en Georgetown schakelden Turnitin uit, samen met een tiental andere instellingen, nadat die software meer valse beschuldigingen bleek te produceren dan beloofd.
De conclusie die zich opdringt, verwoordt Tricia Bertram Gallant, die aan UC San Diego de academische integriteit bewaakt, zo: de toetsmethodes van de twintigste eeuw verliezen hun geldigheid. Wie nog vertrouwt op het onbegeleide geschreven woord als bewijs van leren, moet erkennen dat dit niet langer werkt.
Wat er wint, en wat er verdwijnt
Hoofdauteur Deena Weisberg zegt het zo: de ideeën over wat AI creatief kan, raken achterhaald. Wie veel van AI weet, herkent AI-tekst vaker. Wie zichzelf literatuurkenner noemt, niet.
Er is ook een keerzijde. Eind augustus toonde een studie in Nature Human Behaviour aan dat AI-herschrijvingen de variatie in schrijfstijl met 21 tot 50 procent afvlakken. Wat lezers belonen, duidelijke voorspelbare tekst, is net wat individuele stijlen uitwist.
Bron: onderzoek gepubliceerd door Cambridge University Press in Judgement and Decision Making, aangevuld met Nature Human Behaviour.
