Kritisch kijken naar de toegevoegde waarde van ChatGPT op onze dienstverlening

De adaptatie van AI-toepassingen neemt in verschillende beroepsgroepen zoals journalistiek en mediamonitoring, toe. Automatisering met behulp van kunstmatige intelligentie is al enige jaren in ontwikkeling, maar het onderwerp is met de komst van ChatGPT maatschappijbreed gaan leven. Diverse monitoringbedrijven springen er vanuit een marketingperspectief op in. Wij onderzochten of ‘Conversational AI’ in de huidige vorm van ChatGPT van toegevoegde waarde kan zijn voor onze werkprocessen en dienstverlening.

Bij RTV Monitor hebben we jaren geleden al verschillende toepassingen van kunstmatige intelligentie geïmplementeerd. Denk aan automatische spraakherkenning in meerdere talen, automatische herkenning van reclames en muziek, en een systeem voor beeldherkenning om logo’s en ingebrande ondertitels te monitoren.

De doorbraken in conversational AI, met meer gevoel voor context zoals ChatGPT, dagen monitoringbedrijven uit om hun werkprocessen, producten en dienstverlening tegen het licht te houden. Wij zijn ervan overtuigd dat met de opkomst en grootschalige acceptatie van ChatGPT-achtige technologie mensen wennen aan een andere manier van interactie met systemen. Dat wordt de nieuwe norm.

Wij denken bovendien dat monitoringbedrijven de steeds grotere hoeveelheden data beter en efficiënter kunnen presenteren wanneer ze deze vorm van interactie mogelijk maken. En daarmee zullen zij beter kunnen voorzien in de informatiebehoefte van hun klanten. Een mooie stip op de horizon, maar er zijn nog obstakels die overwonnen moeten worden.

Wijn hebben uitgebreid onderzocht of ChatGPT de RTV Monitor-data kan verrijken, met de focus op segmentatie, samenvatten en sentimentanalyse. Dit zijn enkele van onze bevindingen:

1. ‘Garbage in, garbage out’

Voor zowel segmentatie, samenvatten als sentimentanalyse hebben we gemerkt dat de kwaliteit van de input allesbepalend is voor de output. In het geval van spraakherkenning is onze conclusie dat de kwaliteit ervan een aanzienlijk effect heeft op de gegenereerde output. Een transcriptie van lage kwaliteit levert een sentiment- of samenvattingsanalyse op waarin de foutmarge (te) hoog is. Fouten in de input worden even zwaar gewogen als de correcte tekst in de input.


2. Hallucinaties
   Tijdens onze tests zijn we ook geconfronteerd met situaties waarin ChatGPT bij het verrijken van onze RTV-data zgn. ‘hallucinaties’ genereerde; ChatGPT verzon onjuiste informatie die niet gebaseerd was op de werkelijke inputdata. Deze hallucinaties zijn natuurlijk problematisch, zoals bij analyses en besluitvorming op basis van de gegenereerde output. Het verschil kan in nuances zitten maar ook in feitelijke inhoud. Het is nogal een verschil als in de analyse staat dat “Rutte vindt dat de Groningers gecompenseerd moeten worden voor de aardbevingen” ten opzichte van dat “Rutte vindt dat de compensatie van Groningers voor aardbevingen op z’n plaats is”.
   
   
3. Stabiliteit
   Een ander obstakel dat we hebben waargenomen tijdens onze tests, is de stabiliteit van ChatGPT. Hoewel GPT indrukwekkende resultaten kan behalen, kan de stabiliteit van de output variëren, zelfs bij vergelijkbare input. Dit kan leiden tot inconsistenties en onvoorspelbaarheid in de gegenereerde resultaten. Het is belangrijk om rekening te houden met deze stabiliteitskwesties en de nodige maatregelen te nemen om de betrouwbaarheid en consistentie van de verrijkte data te verbeteren.

Voorlopige conclusie

Bij RTV Monitor zien we de kansen en mogelijkheden die AI biedt al een tijdje, maar tegelijkertijd zijn we kritisch. Wij vinden de kwaliteit van onze dienstverlening het belangrijkst. Bovenstaande bevindingen laten zien dat er nog stappen nodig zijn voordat de conversational AI-technieken een betrouwbare meerwaarde hierop kunnen bieden.

Die stappen zijn het verbeteren van de input, identificeren en verminderen van hallucinaties, evenals het verbeteren van de stabiliteit van de output. Dat gebeurt onder andere aan de hand van tweaken van de vele parameters.