Nieuwe AI van Jack Dorsey leert praten zonder geschreven tekst

Block, het bedrijf van Jack Dorsey, heeft spraakmodel Dessa gepresenteerd. Volgens de makers leerde de AI praten door uitsluitend naar menselijke gesprekken te luisteren. Het team gebruikte geen geschreven tekst of eerder getraind model.

Met Dessa onderzoekt Block hoe een gesprek met AI natuurlijker kan verlopen. Het systeem verwerkt geluid rechtstreeks en kan tegelijk luisteren en spreken.

Een traditionele spraakassistent verdeelt een gesprek over verschillende onderdelen. Eerst zet spraakherkenning de stem om in tekst. Een taalmodel maakt vervolgens een antwoord, waarna een ander model dat antwoord uitspreekt. Die stappen kunnen wachttijd veroorzaken en informatie uit de stem verliezen.

Onderzoekers van het Franse AI-lab Kyutai beschreven dat probleem al in hun onderzoek naar Moshi. Een transcript bevat de woorden, maar geeft niet vanzelf door hoe iemand ze uitspreekt. Ook onderbrekingen en korte reacties tussendoor passen slecht bij systemen die op hun beurt wachten.

Moshi kon daarom al rechtstreeks met spraak werken. Dat model bouwde voort op een taalmodel dat tekst had geleerd. Rechtstreeks spreken met AI bestond dus al; trainen zonder tekst is hier de opvallende keuze.

In een gesprek veranderen mensen voortdurend van tempo. Iemand kan midden in een uitleg iets corrigeren of met een kort geluid laten merken dat hij het nog volgt. Een assistent die elk geluid als een nieuwe opdracht behandelt, kan zo’n gesprek onnodig onderbreken.

De makers van Dessa tonen onder meer gesprekken over films en een verrassing. Hun voorbeelden leggen de nadruk op intonatie, timing en emotionele reacties. Dat zijn demonstraties van het bedrijf, geen onafhankelijke beoordeling van de betrouwbaarheid.

Voor een gebruiker zijn hoorbare emotie en begrip bovendien verschillende zaken. Een stem kan meelevend klinken terwijl het systeem de situatie verkeerd inschat. Wie een gesproken antwoord beoordeelt, moet daarom ook kijken of de inhoud klopt en of de assistent een misverstand herkent.

Sierra liet op 22 oktober in onderzoek naar gesproken gegevens zien hoe lastig betrouwbare verwerking blijft. Het bedrijf testte onder meer namen en adressen onder verschillende omstandigheden. Een vaste procedure met herhalen, spellen en bevestigen verbeterde de resultaten, maar maakte gesprekken langer.

De test bestaat uit 200 opdrachten, met telkens één gegeven dat exact moet kloppen. Onderzoekers herhalen de taken in een gewoon gesprek, bij achtergrondgeluid en bij extra spraakgeluiden. Zo maken zij onderscheid tussen één keer goed verstaan en dezelfde informatie onder verschillende omstandigheden betrouwbaar overnemen.

AI Wereld beschreef eerder de fouten van AI-telefonisten bij namen en adressen. Dessa maakte geen deel uit van die vergelijking. Het onderzoek laat wel zien welke vragen ook bij nieuwe spraakmodellen relevant zijn: kunnen ze precies luisteren en een fout herstellen?

De eisen verschillen daarnaast per toepassing. Bij live vertaling van telefoongesprekken door ElevenLabs moet de gesproken betekenis correct in een andere taal terechtkomen. Een vrij gesprek vraagt weer andere controles dan het vastleggen van een klantadres.

Block zegt dat Dessa lokaal kan draaien op een MacBook Pro met een M4 Max-chip of krachtiger. Het bedrijf biedt een wachtlijst aan en nodigt veiligheidsonderzoekers uit voor vroege toegang. Een algemene consumentenrelease of bevestigde Nederlandse taalondersteuning kondigt Block op de productpagina niet aan.