AI worstelt met het lezen van PDF’s

Veel populaire AI-hulpmiddelen hebben moeite met het correct lezen en verwerken van documenten in PDF-formaat, blijkt uit recente tests. In veel gevallen halen de systemen de verkeerde informatie eruit of missen ze belangrijke details, wat tot foute of onvolledige antwoorden leidt. Deze problemen werden onderzocht door technologie-journalisten die keken naar hoe AI met verschillende soorten PDF’s omgaat, van zakelijke rapporten tot diepgaande handleidingen. Lees het volledige artikel via The Verge.

PDF-parsing is het proces waarbij software tekst en andere informatie uit een PDF haalt zodat het later geanalyseerd kan worden. In theorie moeten AI-modellen in staat zijn om PDF-bestanden te doorzoeken, belangrijke gegevens te herkennen en samen te vatten. Maar in de praktijk blijkt dit lastiger dan verwacht.

PDF-bestanden kunnen zeer verschillend opgebouwd zijn. Soms is een PDF eigenlijk een afbeelding van een gescand document, zonder echte tekstlaag. Andere PDF’s gebruiken complexe lay-outs met kolommen, tabellen, grafieken en ingebedde bestanden. AI-modellen hebben moeite om al die variaties correct te interpreteren.

In tests werden AI-systemen gevraagd om informatie uit PDF-documenten te halen en samen te vatten. Bij eenvoudige documenten ging dat redelijk goed, maar zodra de lay-out ingewikkelder werd of er tabellen en diagrammen in voorkwamen, ontstonden fouten.

Bij sommige documenten gaf de AI verkeerde cijfers, zette het tekst in de verkeerde volgorde of negeerde het delen van de inhoud die juist essentieel waren voor de informatievraag. Dat kan problematisch zijn als iemand AI wil gebruiken om bijvoorbeeld een financieel rapport of een wetenschappelijk paper te analyseren.

Voor professionals die met complexe documenten werken, zoals juristen of onderzoekers, zijn dergelijke fouten vooral lastig omdat het moeilijk is om te weten wanneer de AI correct werkt en wanneer niet. De systemen geven vaak vertrouwenwekkende antwoorden, ook als die gebaseerd zijn op misinterpretaties.

AI-modellen zijn van huis uit getraind op enorme hoeveelheden tekst, maar dat betekent niet automatisch dat ze goed zijn in het begrijpen van elk documentformaat. PDF’s vertegenwoordigen een extra laag van complexiteit. De modellen moeten niet alleen de tekst herkennen, maar ook begrijpen hoe die is opgebouwd en wat de context is binnen kolommen en tabellen.

Bovendien worden veel PDF’s niet standaard opgeslagen met heldere metadata. Dit betekent dat AI niet altijd kan zien wat de titel is, welke secties belangrijk zijn of hoe tekstfragmenten zich tot elkaar verhouden. Soms is de tekst zelf in de verkeerde volgorde opgeslagen, waardoor de AI rare of foutieve interpretaties maakt.

De beperkingen bij PDF-parsing hebben gevolgen voor mensen die AI willen gebruiken om documenten te analyseren. In professionele omgevingen wordt AI vaak ingezet om sneller inzichten te krijgen uit grote hoeveelheden tekst. Wanneer de basisinformatie niet goed wordt gelezen, kan dit leiden tot verkeerde conclusies.

Voor nu blijft menselijk toezicht nodig. Gebruikers die belangrijke beslissingen moeten nemen op basis van informatie uit PDF’s kunnen niet blind vertrouwen op automatische samenvattingen of antwoorden. Controle van de oorspronkelijke bron blijft nodig.

Ontwikkelaars van AI-platforms zijn zich bewust van de problemen. Sommige bedrijven hebben speciale tools aangekondigd om PDF’s te converteren naar betere machineleesbare formaten voordat ze worden geanalyseerd door AI. Anderen proberen modellen te trainen die beter zijn in het herkennen van complexe lay-outs.

Toch lijkt het alsof er nog een lange weg te gaan is voordat AI-parsing van PDF’s net zo betrouwbaar wordt als andere vormen van tekstverwerking. Omdat PDF’s nog steeds een van de meest gebruikte formaten zijn voor officiële documenten en rapporten, blijft dit een belangrijk punt voor verbetering.