Naar inhoud springen

Perplexity laat AI-verzoeken uitwijken naar een andere aanbieder

Nieuws
Twee gebogen glasvezelkabels naast metalen netwerkmodules op een lichte werkbank.
Perplexity biedt makers van apps één ingang voor meer dan één AI-model. Het bedrijf kan een opdracht opnieuw proberen als de aanbieder die het model draait uitvalt. Zo kan een app bij een storing hetzelfde model blijven gebruiken via een andere aanbieder.

De naam van het model kan dezelfde blijven

Een app stuurt een vraag naar Orchestrator. De maker kiest welk model antwoord moet geven. De dienst zoekt dan een plek waar dat model draait. Ze kijkt naar wachttijd en ruimte. Zo ziet de app één ingang, ook als de plek achter de schermen wisselt.
In de productuitleg van Perplexity staat het voorbeeld van Claude. Als een opdracht bij Anthropic mislukt, kan Orchestrator een tweede poging doen bij Amazon Bedrock, als dezelfde Claude-versie daar beschikbaar is. De dienst kan ook een nieuwe poging doen bij een tijdslimiet of wanneer een aanbieder te veel verzoeken tegelijk krijgt.
Een tweede poging helpt als één partij problemen heeft. Met één plek voor een model valt er weinig te kiezen. Ook kost een tweede poging tijd. Een app moet dus weten hoe lang een gebruiker kan wachten. Voor een chat telt dat soms zwaarder dan voor een lang verslag.

De factuur is centraal, de route kan wisselen

Je betaalt de prijs van het model dat antwoord geeft. Die prijs hangt af van het aantal tokens. Dat zijn stukjes invoer en uitvoer. Wisselt de partij, dan blijft de prijs per token gelijk. Het bedrag gaat af van het tegoed dat je al in het project hebt.
Een app kan ook tekst van klanten meesturen. Dan wil het team weten wie die tekst krijgt. Het kan per plek verschillen hoe lang de tekst blijft staan. Ook kan het land verschillen. Eén factuur zegt op zich weinig over de route van de tekst. Perplexity draait zelf een deel van de open modellen. Andere modellen staan bij partners.
Perplexity telde hoe vaak een antwoord terugkwam. Het vergeleek de eigen dienst met losse partijen. In zijn proef kwam een antwoord via Orchestrator vaker aan. Die cijfers gaan over een paar modellen in oktober en begin november. Een team kan zelf kijken of dat ook lukt met zijn app.

Orchestrator is bedoeld voor softwaremakers

In de aankondiging voor ontwikkelaars noemt Perplexity drie soorten verzoeken die ook bij andere diensten werken, waaronder OpenAI Responses en Anthropic Messages. Voor teams die al zo’n koppeling gebruiken kan dat de overstap kleiner maken. De catalogus bepaalt welke versies van hun modellen ze daarbij kunnen kiezen.
Er is ook een proef voor wie het model wil laten kiezen. De dienst deelt een vraag dan in op soort werk. Zo kan een korte vraag bij een ander model uitkomen dan een vraag met veel tekst. Die proef staat los van de wissel van partij bij uitval.
Wie Perplexity vooral kent van de zoekmachine vindt die uitleg in onze gids over Perplexity. Orchestrator zit achter de schermen van apps die ontwikkelaars zelf bouwen. De afweging draait daar vooral om hoeveel controle een team over de route wil houden, en hoeveel uitval het kan opvangen door een tweede aanbieder achter de hand te hebben.
loading

Populair nieuws

Laatste reacties

Loading