ElevenLabs brengt live vertaling naar telefoongesprekken in verschillende talen

ElevenLabs heeft Eleven Realtime Translation aangekondigd: AI die gesproken taal tijdens een gesprek vertaalt en hardop uitspreekt. De dienst begint als alfaversie voor zakelijke klanten van ElevenAPI. Telecombedrijven en klantenservices kunnen de techniek in hun eigen systemen bouwen; consumenten krijgen hiermee nog geen nieuwe belapp.

Volgens de aankondiging van ElevenLabs spreekt iedere deelnemer zijn eigen taal en hoort hij de ander in de gewenste taal terug. Het bedrijf mikt onder meer op gesprekken tussen klanten en medewerkers die elkaars taal niet beheersen.

Een klantenservice kan de vertaling tussen de beller en de medewerker plaatsen. ElevenLabs wil daarmee voorkomen dat klanten moeten wachten totdat iemand met de juiste talenkennis beschikbaar is. Het bedrijf noemt ook congressen, waar bezoekers een spreker in hun eigen taal kunnen volgen.

Voor bedrijven verandert daarmee de vraag hoe ze internationale ondersteuning organiseren. Een medewerker die het product kent, zou met vertaalhulp meer klanten kunnen helpen. Of dat werkelijk tijd bespaart, hangt af van de kwaliteit in echte gesprekken: een verkeerd begrepen klacht leidt juist tot extra werk.

De zakelijke toegang is daarbij belangrijk. Een organisatie moet de vertaalfunctie eerst koppelen aan haar telefonie of andere software. De aankondiging maakt de dienst niet automatisch beschikbaar in bestaande telefoongesprekken.

ElevenLabs gebruikt standaard Eleven v4 Turbo voor de gesproken uitvoer. Dat model ondersteunt meer dan 90 talen. AI Wereld beschreef eerder hoe Eleven v4 en Turbo meertalige spraak genereren. De nieuwe vertaalfunctie past die spraaktechnologie toe op een ander probleem: elkaar verstaan terwijl het gesprek doorgaat.

De productuitleg van ElevenLabs maakt een belangrijk onderscheid. Het systeem bewaart de oorspronkelijke stem van de spreker niet automatisch exact. De aanbieder kiest een uitvoerstem uit de bibliotheek of gebruikt een stemkloon om een bepaalde spreker te benaderen.

Ook twee richtingen vragen om inrichting door de aanbieder. ElevenLabs noemt als voorbeeld een afzonderlijke verbinding voor iedere gesprekspartner. De beldienst moet dus bepalen welke audio naar welke vertaling gaat en wat elke deelnemer hoort.

Ontwikkelaars kunnen instellen hoe vroeg de vertaling begint. De technische documentatie beschrijft drie standen: laag, gemiddeld en hoog. De snelste stand begint eerder terwijl iemand nog spreekt. De rustigste stand wacht op meer van de zin, met volgens ElevenLabs een betere vertaling als doel.

Dat is een praktische afweging. Bij een kort antwoord is snelheid prettig. Bij een ingewikkelde uitleg kan het juist helpen om eerst te horen hoe de zin eindigt. De aankondiging bevat geen onafhankelijke praktijktest die laat zien hoe deze keuze bij verschillende talen uitpakt.

Naast audio levert de verbinding tekst van de oorspronkelijke spraak en de vertaling. Daarmee kunnen ontwikkelaars bijvoorbeeld ondertiteling tonen. Voor gevoelige gesprekken bestaat een instelling die transcripties, vertalingen en uitspreektekst buiten toepassingslogs en sessiegeschiedenis houdt. Die instelling staat volgens de documentatie standaard uit.

Deutsche Telekom werkt volgens ElevenLabs al aan nieuwe belfuncties voor Magenta AI Call Assistant. Die samenwerking begon niet deze week: AI Wereld schreef in maart over de Magenta-assistent voor telefoongesprekken.

Deutsche Telekom beschreef in zijn MWC-documentatie al vertaling via het netwerk, zonder extra apps. De nieuwe aankondiging laat zien dat ElevenLabs verder bouwt aan de onderliggende techniek. Ze bevestigt geen algemene beschikbaarheid van deze nieuwe vertaalfunctie voor alle Telekom-klanten.

Voor een bruikbare beldienst telt uiteindelijk of mensen elkaar correct begrijpen. Bedrijven zullen daarom meer moeten beoordelen dan een prettig klinkende stem: ook bedragen, namen, onderbrekingen en herstel na een misverstand horen bij de praktijktest.