OpenAI haalt AI-detecterende tool terug offline

26 juli 2023 - David Van Waeyenberghe

De toepassing classifier was enkele maanden geleden gelanceerd als antwoord op vragen van bezorgde schrijvers, leerkrachten en andere kritische personen. OpenAI heeft de ‘classifier’ nu een stille dood laten sterven, omdat de tool simpelweg niet goed genoeg bleek.

De classifier zou een (gratis) tool moeten worden om accuraat te ontdekken wanneer een tekst automatisch was gegenereerd door een taalmodel of door ene menselijke hand was geschreven. “Vanaf 20 juli 2023 is de AI classifier niet meer beschikbaar vanwege de lage nauwkeurigheid”, schrijft OpenAI op haar website. Een droge, maar duidelijke boodschap dat de tool die begin februari was gelanceerd, totaal niet betrouwbaar was. Een eigenschap die OpenAI bij de release al aangaf, door te stellen dat de classifier niet geheel te vertrouwen was.

Niet volledig dood

Uit de korte mededeling van OpenAI, het bedrijf van CEO Sam Altman, blijkt dat er nog een sprankeltje hoop is voor de classifier. “We werken eraan om feedback op te nemen en onderzoeken momenteel effectievere herkomsttechnieken voor tekst. We hebben toegezegd om mechanismen te ontwikkelen en in te zetten waarmee gebruikers kunnen ontdekken wanneer audio of visuele content door een AI-model is gegenereerd”, aldus Open AI.

De classifier rangschikte teksten naargelang die volgens het model waren geschreven door AI. Van bij de start waarschuwde OpenAI dat sommige teksten ten onrechte konden worden beschouwd als AI-gegenereerd. Volgens The Register worstelde de classifier voornamelijk met proza dat het niet in de trainingsdataset had gezien. Ook bij AI-teksten die herwerkt waren door mensen ging de classifier meermaals uit de bocht.

Moeilijke opgave

Het (voorlopige) lot van de classifier hoeft niemand te verbazen. Ook concurrenten die soortgelijke tools ontwikkelden, worstelen met dezelfde problemen. Het blijkt razend moeilijk om een AI-tekst nauwkeurig te klasseren. De universiteit van Texas haalde het nieuws toen studenten punten werden afgehouden omdat ChatGPT had voorspeld dat hun teksten door AI waren geschreven. Dat bleek niet te kloppen en alle studenten kregen de punten waar ze recht op hadden.

Eén van de concurrenten, Turnitin, rolde op ongeveer hetzelfde moment een tool uit die plagiaat aan te pakken. Volgens het bedrijf werkt de tool met een grote accuraatheid, tot 98 procent zelfs. Al trekken wetenschappers die stelling flink in twijfel. Uit een studie van de universiteit van Maryland zou blijken dat de kans dat modellen ontdekken dat een tekst machinaal is geschreven, niet veel groter zou zijn dat het opgooien van een muntstuk. Fifty-fifty, dus.