Door Christiaan Terwal, stafjurist Accountantskamer

In het vorige jaarverslag nam ik u mee in ons AI-project. In die bijdrage sprak ik de hoop uit dat we in 2024 konden beschikken over een AI-systeem waarmee jurisprudentie en regelgeving voor accountants zijn te bevragen. Nu 2024 achter ons ligt, is natuurlijk de vraag: is het gelukt? Het korte antwoord is nee. Toch was het een leerzaam project en hebben we gewerkt aan de ontwikkeling van een ander soort systeem. 

Waarom is het niet gelukt?

De Accountantskamer heeft meegewerkt aan een onderzoeksproject, waarbij de insteek was een systeem op te leveren waarmee kan worden gechat met data. Het systeem leek daarmee in opzet op ChatGPT. Het belangrijkste verschil is dat de ontwikkelaars zelf de data beheren. De kwaliteit en betrouwbaarheid van de data was op die manier in onze handen. Een groot en belangrijk verschil met ChatGPT.

Het large language model bleek in staat om antwoorden te geven op de gestelde vragen over accountancy en tuchtrecht, inclusief vindplaatsen. Het is de ontwikkelaars echter niet gelukt om de betrouwbaarheid van de gegeven antwoorden te kunnen valideren. Daarvoor was onze use case toch te ingewikkeld en tijdrovend. Het pilotsysteem produceerde daardoor meer dan eens onbruikbare of simpelweg verkeerde antwoorden. 

Wat zijn de lessons learned?

Als Accountantskamer hebben we in het kader van dit AI-project meegewerkt aan een IAMA, een beoordeling of mensenrechten in het geding komen door gebruik van een AI-systeem. Dat gaf een leerzaam inzicht in de impact die AI-systemen kunnen hebben, onder meer vanwege vooringenomenheid. Als voorbeeld: ik heb ChatGPT gevraagd om een afbeelding te genereren van een jurist voor bij het jaarverslag 2023 en hoe ik mijn vraag ook stel, ik krijg niet anders dan een witte man met een bril op. Een vergelijkbaar fenomeen kan zich voordoen bij het bevragen van jurisprudentie en regelgeving. Een bevooroordeelde uitspraak kan een juridische norm vestigen die toekomstige zaken beïnvloedt. Het is goed om daarvan bewust te blijven bij elke nieuwe uitspraak. 

Een ander, meer traditioneel systeem.

Gelukkig was de Informatievoorzieningsorganisatie Rechtspraak bereid om onze oorspronkelijke vraag naar een manier om de jurisprudentie te ontsluiten alsnog te onderzoeken. Gebaseerd op textmining, voorzien van filters en een intelligente zoekmachine staat er nu een systeem in de steigers dat voldoet aan al onze wensen. In opzet lijkt het veel meer op een traditioneel zoeksysteem, maar het spreekwoordelijk bloed kruipt waar het niet gaan kan: de uitspraken worden met hulp van AI voorzien van een beknopte samenvatting. 

Onze uitspraken worden gepubliceerd op Tuchtrecht.nl en de uitspraken in hoger beroep op Rechtspraak.nl. Ons nieuwe systeem is in staat om hierin een koppeling te maken, zodat bij de zoekresultaten direct duidelijk is of onze uitspraak in hoger beroep in stand is gebleven. 

We hopen dat het nieuwe systeem in het najaar voor iedereen toegankelijk wordt via onze website.