Californië legt recordboete op voor AI blunder van advocaat

In de rechtszalen van Californië speelde zich onlangs een opmerkelijke zaak af die de groeiende invloed van kunstmatige intelligentie in de juridische wereld pijnlijk blootlegt. Wat begon als een ogenschijnlijk standaard beroepsprocedure eindigde in een forse boete en een landelijke discussie over hoe ver het gebruik van AI mag gaan.

De Californische advocaat Amir Mostafavi kreeg een boete van $10.000 omdat hij een beroepschrift had ingediend dat vol stond met verzonnen citaten. Van de 23 aangehaalde rechtszaken bleken er 21 simpelweg niet te bestaan. De rechtbank oordeelde dat hij zijn werk onvoldoende had gecontroleerd en wees erop dat advocaten uitsluitend verwijzingen mogen indienen die ze zelf hebben gelezen en gecontroleerd.

Mostafavi verklaarde dat hij ChatGPT had ingezet om zijn tekst te verbeteren, zonder te beseffen dat de tool automatisch bronverwijzingen kan verzinnen. Hij vindt het “onrealistisch” om advocaten volledig te verbieden AI te gebruiken, maar de rechterlijke waarschuwing is duidelijk: controle blijft de eigen verantwoordelijkheid.

Het voorval staat niet op zichzelf. Wereldwijd duiken steeds vaker gevallen op waarbij juristen neppe zaken citeren. Alleen al in Californië zijn volgens een speciale tracker 52 vergelijkbare incidenten ontdekt, terwijl het totaal in de Verenigde Staten boven de 600 ligt. Onderzoek laat zien dat AI in ongeveer 1 op de 3 query's hallucineert, en naarmate modellen krachtiger worden, wordt het steeds lastiger om zulke fouten te ontdekken.

De Californische rechterlijke macht werkt ondertussen aan duidelijke richtlijnen voor het gebruik van AI in de rechtspraak. Ook de Orde van Advocaten overweegt strengere regels. Eerder dit jaar kregen twee andere Amerikaanse advocatenkantoren al samen $31.100 boete voor vergelijkbare AI blunders.

Opvallend is dat niet alleen advocaten, maar zelfs rechters soms onbedoeld AI hallucinaties hebben opgenomen in hun uitspraken. De zaak-Mostafavi laat zien hoe groot het risico is als professionals AI gebruiken zonder grondige controle.