AI-telefonisten maken nog opvallend veel fouten bij namen en adressen

AI-telefonisten hebben nog grote moeite om eenvoudige persoonsgegevens betrouwbaar over te nemen. Dat blijkt uit een onderzoek dat het Amerikaanse AI-bedrijf Sierra publiceerde.

Onderzoekers testten hoe goed verschillende spraakassistenten namen, telefoonnummers, adressen en andere gegevens vastleggen tijdens telefoongesprekken.

Zelfs het best presterende systeem slaagde er bij slechts 34 procent van de onderzochte taken in om dezelfde informatie onder drie verschillende omstandigheden telkens correct te verwerken.

De resultaten uit het onderzoek van Sierra laten zien dat een natuurlijk klinkende AI-stem nog niet automatisch een betrouwbare telefonische medewerker is.

Sierra ontwikkelde een test met de naam τ-Entity, uitgesproken als tau-entity.

Daarmee onderzoekt het bedrijf of AI-systemen nauwkeurig kunnen luisteren naar gegevens die mensen tijdens een telefoongesprek doorgeven.

De test bestaat uit 200 opdrachten, verdeeld over tien soorten informatie. Daarbij gaat het onder meer om namen, e-mailadressen, telefoonnummers en adresgegevens.

De opdrachten zijn bewust relatief eenvoudig gehouden.

Een AI-agent krijgt bijvoorbeeld de opdracht om een ontbrekend gegeven op te vragen en dit correct in een systeem op te slaan.

De persoon aan de andere kant van de lijn werkt mee en kan gegevens spellen wanneer de AI daarom vraagt.

Vervolgens testen de onderzoekers dezelfde opdracht onder drie omstandigheden: een gewoon gesprek, een gesprek met veel achtergrondgeluid en een gesprek met extra spraakgeluiden.

Het doel is om niet alleen te onderzoeken of de AI één keer goed luistert, maar ook hoe betrouwbaar het systeem onder wisselende omstandigheden blijft.

Sierra vergeleek verschillende spraakmodellen, waaronder GPT Live 1, Gemini 3.8 Live en Grok Voice Think Fast 2.0.

GPT Live 1 behaalde in de gezamenlijke meertalige test de hoogste score.

Onder gewone omstandigheden legde het model 60,3 procent van de gevraagde gegevens correct vast.

Wanneer dezelfde opdracht onder alle drie de omstandigheden succesvol moest verlopen, daalde de score naar 34 procent.

Gemini 3.8 Live behaalde onder gewone omstandigheden 43,8 procent en onder alle drie de omstandigheden samen 19,5 procent.

Grok Voice Think Fast 2.0 kwam uit op respectievelijk 44,2 en 24 procent.

Deze cijfers verdienen uitleg.

Een score van 34 procent betekent niet dat 66 procent van alle echte klantgesprekken met dit model mislukt. Het gaat om een specifieke gecontroleerde test, waarbij de gegevens exact moeten kloppen en dezelfde taak onder drie omstandigheden succesvol moet verlopen.

De onderzoekers namen bovendien zes talen mee. De resultaten verschillen per taal.

Voor alleen Engelstalige gesprekken scoorde GPT Live 1 onder gewone omstandigheden bijvoorbeeld 74 procent.

De test laat vooral zien hoe moeilijk het blijft om persoonlijke gegevens onder verschillende omstandigheden consequent correct vast te leggen.

In een gewoon gesprek lijkt een verkeerd gespelde naam misschien een klein probleem.

Bij klantenservice kan zo'n fout echter grote gevolgen hebben.

Een klant die zijn adres wil aanpassen, moet erop kunnen vertrouwen dat het systeem de juiste straat en het juiste huisnummer vastlegt.

Ook bij het wijzigen van een telefoonnummer, het controleren van een boeking of het doorgeven van een e-mailadres is precisie belangrijk.

Bij sommige handelingen kan een verkeerd overgenomen gegeven ervoor zorgen dat een klant niet meer door een identiteitscontrole komt.

Sierra ontdekte dat AI-agenten niet altijd goed herkennen wanneer zij iets verkeerd hebben verstaan.

Soms vragen ze wel om bevestiging, maar verwerken ze de correctie alsnog verkeerd.

De onderzoekers keken daarom ook naar het gedrag van systemen wanneer een gesprek lastiger wordt.

Bijvoorbeeld wanneer iemand een onbekende naam noemt, een fout corrigeert of vanuit een rumoerige omgeving belt.

Die omstandigheden komen dagelijks voor bij echte klantenservices.

AI Wereld schreef eerder over onderzoek naar de houding van Nederlanders tegenover AI-klantcontact.

De nieuwe test voegt daar een technische vraag aan toe: kan een AI-telefonist informatie wel betrouwbaar genoeg verwerken om namens een organisatie handelingen uit te voeren?

De onderzoekers onderzochten ook hoe AI-telefonisten hun fouten kunnen verminderen.

Een mogelijke oplossing is om de assistent een vaste verificatieprocedure te laten volgen.

Daarbij vraagt de AI eerst naar het gegeven, laat de klant het zo nodig spellen, herhaalt de informatie en controleert of alles klopt.

Volgens Sierra steeg de betrouwbaarheid in de onderzochte testconfiguraties hierdoor van 14 tot 41 procent naar 37 tot 54 procent onder alle drie de omstandigheden.

De verbetering verschilde per model en testopstelling.

De extra controles hadden ook een nadeel: gesprekken duurden gemiddeld 21 tot 28 seconden langer.

Dat is een belangrijke afweging voor organisaties.

Een bedrijf kan proberen gesprekken zo kort mogelijk te maken om kosten te besparen. Maar wanneer AI persoonlijke gegevens verkeerd verwerkt, kan het herstellen van die fouten veel meer tijd kosten.

Bij een afzonderlijke test met meerdere gegevens bleek bovendien dat fouten zich kunnen opstapelen. Een systeem dat drie velden moet invullen, heeft meer kansen om ergens de mist in te gaan.

Voor Nederlandse bedrijven is dat relevant, ook al onderzocht Sierra het Nederlands niet afzonderlijk.

De resultaten laten zien dat de kwaliteit van telefonische AI niet alleen afhangt van een prettige stem of snelle antwoorden.

Een betrouwbare AI-telefonist moet vooral goed kunnen luisteren, herkennen wanneer iets onzeker is en een fout daadwerkelijk kunnen herstellen.

Voor toepassingen waarbij persoonsgegevens of betalingen een rol spelen, lijkt die betrouwbaarheid minstens zo belangrijk als de snelheid waarmee het gesprek wordt afgehandeld.