OpenAI lanceert tool om AI-gegenereerde tekst te ontmaskeren

1 februari 2023 - David Van Waeyenberghe

De classifier staat volgens de makers van ChatGPT nog niet helemaal op punt maar kan wel helpen bepalen of een tekst geschreven is door een mens of een machine. OpenAI zegt bovendien dat het samenwerkt met docenten over het gebruik van ChatGPT in de klas.

Sinds de release van ChatGPT eind vorig jaar is het geen dag stil geweest rond de intussen beruchte taalrobot. De hoge vlucht van ChatGPT zorgde voor een stroom aan enthousiasme en een even grote tegenstroom aan verontwaardiging. Want ‘hoe zal ooit nog kunnen worden bepaald welke tekst is ontsproten aan een menselijk brein en welke tekst uitgekraamd is door een computer?’. OpenAI komt nu zelf ook met een tool op de proppen die AI-tekst kan ontmaskeren. Al is de toepassing lang niet foutenvrij.

Classifier als bijkomende hulp

OpenAI zegt in een blog over de release dat de classifier is ontwikkeld om een onderscheid te maken tussen door mensen geschreven tekst en documenten die ontsproten zijn aan de artificiële intelligentie van verschillende providers. “Het is onmogelijk om op betrouwbare wijze alle door AI geschreven tekst te detecteren. Toch zijn we ervan overtuigd dat goede classifiers hun nut hebben bij het ontmaskeren van teksten”, aldus OpenAI

Het bedrijf van CEO Sam Altman geeft als voorbeeld dat classifiers zoals die van OpenAI kunnen helpen bij het detecteren van onder andere geautomatiseerde desinformatiecampagnes en het gebruik van AI-tools voor academische fraude. “Uit testen met Engelse tekst blijkt dat de classifier 26 procent door AI geschreven tekst correct analyseert. Langs de andere kant omschrijft het negen procent van menselijke tekst ten onrechte als AI. De betrouwbaarheid groeit wanneer grotere teksten worden ingevoerd.”

Beperkingen

De toepassing is gratis beschikbaar via deze link. Toch zijn er enkele voorwaarden aan verbonden. Zo moet de gebruiker een (gratis) OpenAI-account hebben of aanmaken. De tekst zelf moet minstens 1.000 tekens bevatten. De tool is niet altijd correct, het kan dus zowel AI-teksten als menselijke tekst door elkaar halen. OpenAI geeft ook aan dat AI-gegenereerde tekst gemakkelijk kan worden aangepast zodat het aan de filter ontsnapt. Ook teksten uit andere talen dan het Engels zullen, voorlopig, minder accuraat zijn.

We namen de proef op de som en plukten een lukrake tekst van de website van Klasse. De tekst, in het Nederlands uiteraard, handelde over hoe ouders mee te krijgen in studieadvies. Volgens de classifier is de tekst ‘unlikely’ AI-gegenereerd. Goed werk dus van de journalist die het artikel schreef. Volgens OpenAI zal de accuraatheid van de tool alleen maar toenemen naarmate meer mensen die gebruiken. “Daarom maken we de tool openbaar zodat we feedback krijgen en in de toekomst verbeterde methoden kunnen voorstellen.”

ChatGPT in de klas

OpenAI is niet de eerste om met een tool op de proppen te komen voor het detecteren van AI-teksten. Vrijwel onmiddellijk na de release van ChatGPT pakten sites als GPTZero en Turnitin uit met hun toepassing om plagiaat op te sporen. Dat ook OpenAI hard inzet, hoeft niemand te verbazen. Van bij de start sloegen verschillende onderwijsinstellingen alarm. Sommigen verboden het gebruik van de chatrobot zelfs volledig in hun scholen.

OpenAI schrijft in het persbericht dat het identificeren van door AI geschreven tekst een belangrijk discussiepunt is geweest met docenten. “We werken daarom samen met docenten in de VS om erachter te komen hoe zij ChatGPT zien in hun klasomgeving. Daarnaast vragen we feedback van iedereen die bij het onderwijs is betrokken. Dit zijn belangrijke gesprekken die deel uitmaken van onze missie om grote taalmodellen veilig in te zetten.”