MIT-onderzoekers hebben ontdekt dat machine-learning modellen die menselijke besluitvorming nabootsen vaak strenger oordelen dan mensen, omdat ze op de verkeerde gegevens zijn getraind. Modellen moeten worden getraind op “normatieve gegevens” (door mensen gelabeld voor regelovertreding), maar worden doorgaans getraind op “beschrijvende gegevens” (door mensen gelabelde feitelijke kenmerken), wat leidt tot overvoorspelling van regelovertredingen.
Deze onnauwkeurigheid kan ernstige gevolgen hebben in de praktijk, zoals strengere beoordelingen bij beslissingen over borgtocht of veroordelingen. De studie benadrukt het belang van het afstemmen van de trainingscontext op de inzetcontext voor modellen voor het opsporen van regelovertredingen en suggereert dat dataset-transparantie en transfer learning het probleem kunnen helpen verminderen.
De eerlijkheidskloof tussen mens en AI
In een afzonderlijk onderzoek onder zesduizend Amerikaanse volwassenen werd de mening over AI-rechters onderzocht. Daaruit bleek dat AI-rechters weliswaar als minder eerlijk werden ervaren dan menselijke rechters, maar dat de kloof gedeeltelijk kon worden gedicht door de uitlegbaarheid van de AI-rechter en zijn vermogen om hoor en wederhoor toe te passen te vergroten. Menselijke rechters kregen een gemiddelde score van 4,4 op een schaal van 7, terwijl AI-rechters iets minder dan 4 scoorden. Wanneer een door AI geleide procedure echter een hoorzitting bood en uitlegbare beslissingen gaf, werd deze even eerlijk gevonden als een door mensen geleide procedure zonder hoorzitting en niet-uitlegbare beslissingen.
Naarmate AI-instrumenten zoals ChatGPT een grotere nauwkeurigheid laten zien en slagen voor juridische redeneringstests zoals de examens van de Minnesota Law School, kan de eerlijkheidskloof tussen mens en AI steeds kleiner worden. In sommige gevallen worden geavanceerde AI-beslissingen gezien als eerlijker dan menselijke rechterlijke beslissingen, wat suggereert dat toekomstige ontwikkelingen op het gebied van AI-rechtspraak ertoe kunnen leiden dat AI-procedures over het algemeen als eerlijker worden gezien dan menselijke procedures.
AI en blockchain in de rechtszaal
AI-gestuurde juridische diensten winnen aan populariteit, met platforms als LegalZoom die geautomatiseerde juridische diensten op consumentenniveau aanbieden. AI heeft het potentieel om menselijke vooroordelen, emoties en fouten in juridische omgevingen te verminderen en de “toegang tot de rechter” voor Amerikanen met een laag inkomen aan te pakken. Professor Gillian K. Hadfield van de Universiteit van Toronto stelt dat AI de kosten verlaagt en de toegang tot het recht helpt bestrijden. Ze erkent echter ook dat er meer werk nodig is voordat AI gemeengoed wordt in gerechtsgebouwen, omdat de wet technische fouten niet tolereert.
Blockchaintechnologie vindt ook zijn weg naar juridische diensten. Openbare blockchains bieden transparantie, vertrouwen en fraudevrije grootboeken, met sterke punten als traceerbaarheid en decentralisatie als aanvulling op AI om vertrouwen te wekken en waardevolle informatie te verstrekken over herkomst en geschiedenis. Verwacht wordt dat slimme contracten een rol zullen spelen in het evoluerende rechtssysteem, waarbij veel commerciële contracten in de nabije toekomst waarschijnlijk als slimme contracten zullen worden geschreven. Decentrale rechtssystemen, zoals Kleros, maken gebruik van op blockchain gebaseerde arbitrageoplossingen met slimme contracten en crowdsourced juryleden.
Het probleem aanpakken: Dataset-transparantie en transfer learning
Het verbeteren van de transparantie van datasets is één manier om het probleem van harde AI-oordelen aan te pakken. Als onderzoekers weten hoe de gegevens zijn verzameld, kunnen ze ervoor zorgen dat de gegevens op de juiste manier worden gebruikt. Een andere mogelijke strategie is transfer learning – het verfijnen van een beschrijvend getraind model op een kleine hoeveelheid normatieve gegevens. Deze aanpak, alsmede het onderzoeken van reële contexten zoals medische diagnose, financiële controle en juridische oordelen, kan onderzoekers helpen ervoor te zorgen dat AI-modellen de menselijke besluitvorming nauwkeurig weergeven en negatieve gevolgen vermijden.
De conclusie is dat AI-modellen harder oordelen over regelovertredingen als gevolg van beschrijvende trainingsgegevens in plaats van normatieve gegevens. Dit kan grote gevolgen hebben, zoals strengere rechterlijke uitspraken. De onderzoekers stellen voor de transparantie van datasets te verbeteren, de trainingscontext af te stemmen op de context en realistische toepassingen te onderzoeken om ervoor te zorgen dat AI-modellen de menselijke besluitvorming nauwkeurig nabootsen.
Als je dit artikel leuk vindt, lees dan ook:
