Author: doryreilingtech4justice

Multitasking, multilingual senior judge, independent expert on IT and justice, currently working on NL Judiciary's Quality and Innovation Program's digital court procedures.

AI in the courtroom: promise, safeguards, and the digital reality

Where the AI Act draws the line

When the IBA panel asked me to say a few words about the EU AI Act, one question stood out: what does it mean for courts? The Act treats certain AI uses in the administration of justice and democratic processes as high risk because they can pose risks to democracy and the rule of law. An example is a system that helps a judicial authority reach a ruling with legal effect. Such systems must meet requirements designed to prevent or reduce those risks, including risk management, data quality, technical documentation, registration, transparency, and human oversight. As public authorities and entities providing public services, courts and judiciaries must also conduct a fundamental rights impact assessment for high-risk systems.

Support the judge, not replace them

AI can support judicial decision-making and judicial independence, but it must not replace the person making the final decision. The Act also draws a distinction between that kind of assistance and purely ancillary administrative work that does not affect the administration of justice in individual cases. Examples of the latter include anonymizing or pseudonymizing judicial decisions, documents, or data; facilitating communication between personnel; and carrying out administrative tasks. The high-risk classification should not extend to systems used solely for those ancillary activities.

What are courts using today?

To see how courts in Council of Europe member states are using technology for administration and decision support, I turned to the most recent CEPEJ evaluation report. If CEPEJ’s “case management” category is treated as ancillary administration, it has the highest score on the ICT Deployment Index: 5.66. If “decision support” includes assistance in reaching rulings with legal effect, its score is much lower: 2.64. Those comparisons depend on how the categories are interpreted. CEPEJ says the figures show that countries are still focused on basic digital infrastructure, such as e-filing and case registration.

The next wave is taking shape

The EU Justice Scoreboard reports that nine out of 27 EU member countries report using AI for “core activities”. The current CEPEJ evaluation cycle also shows that AI is being used in areas such as class actions, automatic anonymization of judgments and specialized translation. These developments may become more visible in the next evaluation cycle. For now, the contrast is striking: while the possibilities are expanding, the foundations of court digitalization are still being built. Those statistics are dated 2022. CEPEJ says it will publish its next evaluation in December 2026, with more recent information on the use of AI.

AI in the courtroom: a world-wide experiment

We are all part of a worldwide experiment. An experiment is a procedure carried out to determine the efficacy or likelihood of something previously untried, to provide insight into cause-and-effect by demonstrating what outcome occurs when a particular factor is manipulated. For the world-wide AI and justice experiment, we all provide materials, input, for the experiment to test the effects of the output of artificial intelligence. Most of the input is probably case law published online. The output is AI results, the factor to be manipulated is the workings of the AI.

Lawyers’ and case parties’ case information needs to be correct, and it also needs to be explainable, that is, based on solid reasoning and recognized sources. When the discourse found AI did not explain  what its sources were, the output factor was manipulated, and the references were included. So now, we can at least see where the information comes from. But that has not solved the problem. AI’s sources are not always real; AI fabulates sources, apparently because it is trained to please the users. The sources may be non-existent, they may exist but be irrelevant to the case, and they may argue something completely different. Courts and lawyers found this out when they checked the sources in claim documents. Court staff now need to check each reference, which creates a lot of extra work. Judges using AI for their judgments also need to conform to some rules. One is fair procedure: parties must have equal opportunities to put their own case forward and test the other party’s case. This is standard case law now. Judges must also be transparent in their use of AI: in general search results, in testing evidence parties must have a chance to test the results. For judges finding general search results on the internet, judges searching for information. factual data not in the case file, but found on the internet of its own accord the case law is clear. The information needs to be disclosed and parties need to be given the opportunity to present arguments on the matter. Judges also need to be transparent about AI in composing their judgments. By now, there is an abundance of guidance on the use of AI. I will discuss that in another blog.

Court Data: Now You See It, Now You Don’t

Some time ago, over lunch, I spoke with a justice who leads a team at a supreme court. Our conversation began with UNODC’s work to support women judges, but soon turned to a deceptively simple question: how should courts use performance data?

This question brought back a vivid memory from my own time as a judge. As an experiment, our team received a printout showing how many judgments each judge had produced over a given period. One colleague appeared to be performing exceptionally poorly. Yet the figures did not lead to a constructive conversation. My team leader felt he could hardly send this distinguished former lawyer to a judgment-writing course without embarrassing him. The printouts disappeared—and we never saw them again.

From embarrassment to improvement
The problem was not the data itself. It was the culture surrounding it. The figures were treated as a ranking—as evidence of winners and losers—rather than as a starting point for learning. So, I asked my colleague how she used the information generated by her court’s case-management system. Did it help her identify difficulties? Did she discuss it regularly with team members? Could judges see their own results, or those of the team as a whole?

She told me that she used the data primarily to spot problems. That is valuable—but it is only the beginning. I believe the entire team should have access to the team’s performance data, provided the figures are interpreted carefully and used fairly. Transparency allows judges to understand the average, see patterns, identify colleagues who may be able to offer advice, and recognize where they themselves can help. Used well, shared data can strengthen a culture of cooperation rather than competition.

What court data can reveal
Three of the most common, useful measures concern timeliness: clearance rate, time to disposition, and the age of the active pending caseload. Together, they show whether a court is keeping pace with incoming work, resolving cases within expected time frames, and allowing unresolved matters to grow old.

These measures are useful precisely because they can expose problems that are not obvious from individual output alone. While helping to design a digital procedure for appellate courts, for example, I discovered that the courts’ biggest constraint was a shortage of hearing rooms. If a case must wait nine months for a room, improvements elsewhere in case management will have only a limited effect.

Court data can reveal much more. Changes in the volume or type of filings may show whether diversion programs, alternative dispute resolution, or procedural reforms are working. Backlogs—cases that should already have been resolved—may point to bottlenecks, staffing shortages, or mismatched funding. Those pressures can also fall disproportionately on particular groups of court users. Data should therefore prompt questions, not merely produce rankings.

When measurement becomes a target
Performance measures also create risks. When funding or prestige is tied too closely to a metric, people may be tempted to manipulate the metric rather than improve the underlying work. In one recent case, a former colleague faced criminal charges for allegedly falsifying the signatures of two other judges on decisions he had made alone. The court received more funding for cases decided by a three-judge chamber than for cases decided by a single judge. His defense was that he had acted in the court’s interest.

That example captures the paradox of performance data. Hide the figures, and courts lose opportunities to learn. Turn them into crude targets, and the figures can distort behavior. The better approach is transparent, contextual, and developmental: share the data, discuss what lies behind them, and use them to improve systems as well as individual practice. Court data should be a mirror, not a scoreboard—and never a reward for making the numbers look good.

A Writer Needs Readers

Someone recently told me they had read my work — and appreciated it. That simple moment mattered more than I expected. Hearing that my long commitment to IT for courts still resonates reminded me that I still have things to say, and that there may still be people who want to hear it.

Over the past months, I’ve been rethinking the role of technology in justice. Technology evolves, court users’ needs shift, and the principles that anchor justice — impartial judging, independence, fairness, transparency, reasonable time — must continue to guide how we design and govern digital systems. As I wrote, this means ensuring that IT, including AI, supports performance, not just efficiency.

What surprised me was discovering that this “new thinking” wasn’t new at all. It has been present in my work since the early 2000s, from my first article in Nederlands Juristenblad to Doing Justice with Information Technology and even earlier, in a 2002 speech on “IT dreaming and reality.” The thread has always been the same: technology should strengthen the core values of justice.

My fascination with IT began even earlier. In 1984, during an internship, I encountered two enormous Wordplex machines used to produce arbitral decisions. It was primitive by today’s standards, but transformative then — a glimpse of how digital tools could improve the work of justice. That spark eventually led to the first information policy plan for the Netherlands judiciary in 2000, framing IT as a driver of performance improvement.

Rediscovering this history has reminded me why I started writing about justice and technology in the first place — and why I want to continue. There is still experience to share, still lessons worth passing on, and still readers who care about how courts evolve.

So, I’ll keep writing. And I hope you’ll keep reading.

KEI voorbij met ODR

KEI voorbij met ODR, Artikel voor Recht der Werkelijkheid

“I felt so sorry for you, such a lovely tool, and then you have no users!”  Dit commentaar was mijn deel in de wandelgangen van ODR2016. Ik had daar de eKantonrechter gepresenteerd; een mooie tool, maar helaas met weinig gebruikers. ODR2016 was de 15e ODR- conferentie, in het Vredespaleis in Den Haag, georganiseerd door het Hague Institute for Internationalisation of Law (HIIL). De conferentie, in mei 2016, was een platform voor mensen die zich bezighouden met allerlei vormen van online geschilbeslechting (online dispute resolution, ODR).

ODR: een wondermiddel of een tool op zoek naar een gebruiker?
ODR: een wondermiddel tegen alle kwalen van de rechtspraak? De lezer van het Vierde Trendrapport van HIIL[1] over online dispute resolution kan haar ogen bijna niet geloven: ODR maakt een eind aan de administratieve frustraties van de gerechten en de ontgoocheling van hun burgers. Het kan helpen om gerechtelijke procedures te standaardiseren, vereenvoudigen en humaniseren, en mensen die toegang tot het recht zoeken helpen om te onderhandelen, schikken en onopgeloste kwesties aan de rechter voor te leggen. Bovendien kunnen de kosten van conflictoplossing omlaag.
ODR: een technologie op zoek naar een gebruiker? De lezer van een weblog van Arno Lodder van SOLV advocaten[2] waarin hij schrijft over de 15e ODR Conferentie is minder blij: In 2002 dachten ODR-adepten dat het een geweldige toekomst tegemoet ging, maar dat gebeurde niet. Waarom? Was de technologie niet gebruikersvriendelijk genoeg? Was de toepassing teveel gericht op kleine e-commerce geschillen, waardoor de gebruikers wel willen klagen, maar niet het geschil oplossen?
ODR en zijn gebruikers vormen een boeiend en nuttig voorwerp van onderzoek, ook, of misschien wel juist, voor rechtssociologen. Hieronder leg ik uit waarom. Maar eerst: waar hebben we het over bij ODR?

Wat is ODR?
Online dispute resolution (ODR) maakt volgens Wikipedia gebruik van informatie- en communicatietechnologie om het oplossen van geschillen tussen partijen te ondersteunen. De technologie ondersteunt vooral onderhandelen, mediation en arbitrage, of een combinatie van alle drie. Het kan worden gezien als een vorm van alternatieve geschilbeslechting. ODR kan ook traditionele geschilbeslechtingsmethoden verbeteren met innovatieve technieken en online technologie. ODR werd in het verleden vooral gebruikt voor geschillen in e-commerce. Dat ligt ook voor de hand, omdat de geschillen ook online zijn ontstaan. Nu communicatie steeds vaker online verloopt, ligt het ook steeds meer voor de hand om geschillen op te lossen met online communicatie. Een paar voorbeelden.

Cybersettle is een tool die al bestaat sinds 1998. Het ondersteunt onderhandelingsprocessen door middel van dubbel blind bieden door partijen. Het helpt partijen dus om het eens te worden over een geldbedrag. Het kent ook facilitators die partijen over de streep kunnen helpen als het bieden niet tot een oplossing leidt. Volgens informatie op de site zijn sinds 1998 250.000 geschillen geregeld.

Rechtwijzer uit elkaar helpt stellen die uit elkaar willen met het maken van een plan voor de scheiding, en ook met de daadwerkelijke scheiding. Eind juni 2016 hadden volgens informatie op de site meer dan 1000 stellen een begin gemaakt met een scheidingsplan. De tool maakt onder meer gebruik van online formulieren, een chatfunctie, rekenhulpen, en de mogelijkheid om een expert in te schakelen.

DemanderJustice (DJ) is een Franse site waar mensen voor ongeveer €40 kunnen proberen online een geschil op te lossen. Lukt dat niet, dan kan DJ ze helpen de zaak ook voor de rechter te brengen, door het inleidend geschrift per email aan het gerecht te sturen. Dat kost nog eens €70. DJ kan dat alleen doen voor zaken onder €10.000, want die kunnen in Frankrijk zonder advocaat aan de rechter worden voorgelegd. Naar eigen zeggen had DJ in de loop van dit jaar al meer dan 250.000 zaken behandeld. Ongeveer de helft werd geregeld; de eisende partij won in meer dan 80% van de zaken die naar de rechter gingen.

Magontslag is een site waar de gebruiker – doorgaans de werknemer – die ontslag overweegt op basis van zelf beantwoorde vragen een inschatting kan krijgen van de kansen bij ontslag. Bij een kans op succes geeft de tool een overzicht van de argumenten en zijn op deze argumenten gebaseerde ontslagbrieven of een verweerschrift te downloaden, die naar werkgever, UWV of de rechter gestuurd kunnen worden.

Deze ODR-tools doen dus heel verschillende dingen. Cybersettle ondersteunt twee partijen, maar alleen met onderhandelen over een geldbedrag. DJ helpt twee partijen met onderhandelen en om de zaak voor de rechter te brengen. Rechtwijzer uit elkaar helpt twee partijen met informatie, tools en een geleid proces om tot een eindresultaat te komen. Magontslag helpt één partij met informatie, tools en een eindproduct.

Digitalisering in de rechtspraak
Ook binnen de rechtspraak komen er mogelijkheden om digitaal een geschil te beslechten. De eKantonrechter, uit de inleiding hierboven, is daar een voorbeeld van. Partijen die een geschil hebben over rechten waar zij vrij over kunnen beschikken kunnen volgens artikel 96 van het Wetboek van Burgerlijke Rechtsvordering dat geschil voorleggen aan een kantonrechter van hun keuze. Er wordt weinig gebruik van deze mogelijkheid gemaakt. De rechtspraak heeft op basis van dit artikel de eKantonrechter ontwikkeld, deels om, voorafgaand aan het KEI-programma, te experimenteren met digitalisering van een eenvoudig rechtspraakproces zonder dat er wetswijziging nodig was. Het bleek heel goed mogelijk te zijn een digitaal proces te maken voor het voeren van een procedure. En terwijl er bij de ontwikkeling veel enthousiasme was voor het idee dat professionals maar ook gewone burgers zelf digitaal een procedure kunnen doen, bleek er in de praktijk weinig gebruik van gemaakt te worden. Uit een klein evaluatieonderzoek bleek dat een aantal randvoorwaarden de eKantonrechter onaantrekkelijk maken, zoals hoog griffierecht, geen feitenonderzoek en uitsluiting van hoger beroep. De voorwaarde van art. 96, dat partijen samen hun geschil aan de rechter voorleggen, werd ook genoemd als probleem.

KeI, kwaliteit en innovatie in de rechtspraak
Het KEI-programma van de rechtspraak heeft onder meer tot doel om de procedures digitaal te maken. Digitale communicatie is steeds meer de gebruikelijke manier van communiceren geworden. Digitale toegang tot de rechtspraak is voor burgers een flinke vooruitgang in de toegang tot het recht. Digitaal procederen sluit aan bij de gangbare manier van doen in onze samenleving. Toch is bestaande procedures digitaal maken pas het begin. Informatie- en communicatietechnologie maken toegang tot het recht niet alleen eenvoudiger, ze maken ook andere manieren van geschilbeslechting mogelijk. We weten dat er nog steeds veel mensen zijn voor wie het moeilijk is hun recht te halen. Maar hoe zou dat er in de praktijk uit kunnen zien? De deelnemers aan de ODR-conferentie eind mei 2016 in Den Haag werd gevraagd naar hun voorkeur: ODR en rechtspraak los van elkaar zodat concurrentie de kwaliteit omhoog brengt, ODR alleen in de voorfase, of integratie van ODR en rechtspraakprocedures. De overgrote meerderheid koos voor integratie. Wat mij vooral interesseert is, hoe mogelijkheden van ODR geïntegreerd kunnen worden in de rechtspraak procedures. Kan de rechtspraak daarmee tekortkomingen in de toegang tot het recht dit tekort verminderen, en geschillen beter beslechten? Beter: dat wil zeggen eerlijk, snel, toegankelijk en duurzaam. Dat kan alleen als de behoeften van de gebruiker voldoende aandacht krijgen.

Technologie, oftewel wat wil de gebruiker, en wat doen we daarmee?
Deze Forum-bijdrage gaat niet over een tool op zoek naar een gebruiker. Ik wil wetenschappers die op zoek zijn naar een probleem om te onderzoeken inspireren. Interessante, relevante problemen, en de vraag naar oplossingen, zijn er bij ODR genoeg. Uit het onderzoekje naar het gebruik van de eKantonrechter blijkt dat partijen in een geschil vaak niet samen naar de rechter willen. Ook hier doemt de vraag van Arno Lodder op of de vormen van ODR die we nu kennen wel voldoende toegesneden zijn op de gebruiker. Er zijn natuurlijk veel meer vragen, maar dat gebruikersperspectief lijkt mij een mooi onderwerp. Ik leg uit waarom.

Tien jaar geleden maakten we ons vooral druk over de vraag wat informatietechnologie kan doen. Tegenwoordig kan de technologie bijna alles: toegang tot informatie bieden, interactieve tools om te onderhandelen, modellen voor documenten, ervaring delen. Daarmee verschuift de vraag naar het terrein van de gebruiker. Wat wil de gebruiker doen, en wat heeft zij daar voor technologie bij nodig? In mijn ervaring bij het bouwen van KEI is dat ook verreweg de belangrijkste vraag gebleken. Dus hoe kun je als rechtspraak aanbieden wat de gebruiker wil kunnen doen?
De valkuil is dat je snel denkt dat je begrijpt wat mensen willen, maar in de praktijk blijkt dat vaak toch anders te zijn dan je had gedacht. De eKantonrechter is daar een sprekend voorbeeld van: mensen willen samen een geschil aan de rechter voorleggen. Dat vonden alle betrokkenen zoals de rechtsbijstandsverzekeraars en de Consumentenbond een aantrekkelijk idee, en dat hebben we mogelijk gemaakt. Alleen: als je er naar vraagt blijkt dat gebruikers dat toch vaak niet willen. De eisende partij vindt dat zij gelijk heeft, en dat de rechter dat de andere partij maar eens goed duidelijk moet maken. Een inspirerende herinnering heb ik aan een gesprek dat ik ooit had met Leny de Groot-van Leeuwen. Zij vertelde dat ze met studenten mensen had geïnterviewd over hun “rechtsmoment”.[3] Dat was een moment waarop zij in aanraking waren gekomen met het recht of het rechtssysteem, en hoe ze dat beleefd hadden. Zulke momenten kunnen van belang zijn bij het ontwerpen van procedures.

Voer voor rechtssociologen
In het verhaal hierboven komen allerlei kwesties langs waar rechtssociologen iets mee zouden kunnen: de ervaring met de eKantonrechter, het rechtsmoment van mensen, de mogelijkheden die ODR de rechtspraak kan bieden. Daarmee zouden ze een mooie bijdrage kunnen leveren aan de ontwikkeling van online geschilbeslechting voor effectieve rechtsbescherming. Hieronder een paar voorbeelden van vraagstukken die in dit verband interessant kunnen zijn.

Probleemoplossing: een lijn, en netwerk of een wolk?
We stellen ons probleemoplossing vaak voor als een lijn, een lineair proces. Iemand met een probleem doorloopt in zo’n proces stappen die elkaar altijd in dezelfde volgorde opvolgen. Maar misschien is de werkelijkheid wel heel anders, en is het probleemoplossingsproces eerder een wolk of een netwerk. In zo’n proces kan de probleemoplosser, afhankelijk van wisselende omstandigheden, bij het zoeken naar een oplossing allerlei afslagen maken. Welke wegen bewandelen mensen om hun problemen op te lossen?

Hoe kun je partijen eigenaarschap van hun probleem geven?
Een rechtsbijstandsverzekeraar vertelde tijdens ODR2106 dat zijn klanten meer actief betrokken willen zijn bij bun procedure. Ze zijn goed geïnformeerd, ze krijgen alle benodigde informatie van het internet, en willen controle over wat er in hun zaak gebeurt. In de online wereld is het belangrijk dat procesdeelnemers duidelijk weten wat ze kunnen doen, en dat zij er vertrouwen in hebben dat hun handelingen het beoogde resultaat hebben. Hoe kan ook in de rechtspraak beter invulling worden gegeven aan het principe van ADR dat het belangrijk is om partijen zoveel mogelijk eigenaarschap te geven in het oplossen van conflicten?

Hoe betrek je de verwerende partij bij de procedure?
Vrijwillige geschilbeslechting was nooit erg populair, zo komt naar voren uit het onderzoek naar het gebruik van de eKantonrechter. De eisende partij vindt dat zij gelijk heeft, en dat de rechter dat de andere partij maar eens goed duidelijk moet maken. Is deze kwestie ooit onderzocht? Is vrijwillige geschilbeslechting eigenlijk een romantisch idee? Dat leidt tot de vraag, hoe de verwerende partij bij een procedure betrokken kan of moet worden. Een geschil samen oplossen lukt lang niet altijd; de eisende partij kan dan niet anders dan naar de rechter gaan. De verwerende partij wil soms wel, maar vaak ook niet vrijwillig meedoen. Hoe moet die dan toch bij de procedure betrokken worden? Hoe kun je je verwerende partij ertoe brengen mee te doen met een constructieve wijze van conflictoplossing? Wat is daarvoor nodig?

Problemen zijn verschillend; en de oplossingen?
Hoe kan rechtspraak met behulp van ODR beter aansluiten op het gegeven dat er veel verschillende soorten en maten conflicten zijn. De voorbeelden van ODR hierboven bieden allemaal diverse oplossingen voor verschillende problemen. Welke oplossingen zijn het meest geschikt en voor welke problemen?

Hoe kan de oplossing beter aansluiten bij het probleem?
De meeste procedures kunnen zonder advocaat gevoerd worden. De gesubsidieerde rechtshulp is sterk verminderd. Mensen zullen vaker zelf hun zaak voor de rechter moeten brengen. We weten nu al veel meer over wat mensen doen wanneer ze een probleem hebben. We weten dat het soort probleem de soort oplossing bepaalt[4]. Incidentele problemen zijn iets anders dan problemen in een langlopende relatie, zoals een familierelatie, een buren- of een arbeidsverhouding. Gerechten zijn ingericht langs de lijnen van wettelijke categorieën: arbeidsrecht bij de kantonrechter, echtscheidingen bij de familierechter, geschillen met de overheid bij de bestuursrechter. Vooral geschillen met de overheid blijken relatief lastig op te lossen te zijn. Ze zijn op hun manier allemaal deel van de wolk of het netwerk. Zou het mogelijk zijn om gerechten beter in te richten voor de problemen die zij moeten kunnen oplossen? Wat is daarvoor nodig?

Ten slotte
Ik stel mij voor dat er heel wat rechtssociologen zijn die graag zulke actuele kwesties willen onderzoeken. De mensen en het recht, theorie en werkelijkheid, dat zit er allemaal in. En bovendien is dit een moment waarop uitkomsten van het onderzoek nuttig en dienstbaar kunnen zijn aan de verdere digitalisering van de rechtspraak.

[1] ODR and the Courts: 100% Access to Justice?

[2] ODR is Dead! Long live ODR! 15th ODR Conference: Targeting the courts

[3] Ik heb geprobeerd daar een publicatie van te vinden, maar dat is me niet gelukt.

[4] Voert, M.J. ter, Klein Haarhuis, C.M. Geschilbeslechtingsdelta 2014, WODC