Ik heb veel LinkedIn-posts voorbij zien komen, artikelen gelezen en paneldiscussies bijgewoond over de noodzaak van uitlegbaarheid en transparantie van AI-modellen om de veiligheid en betrouwbaarheid ervan te garanderen. Het algemene idee en het algemeen aanvaarde standpunt is dat we AI-outputs moeten kunnen uitleggen en de werking van het model moeten kunnen traceren. Afhankelijk van de stakeholder kan het niveau van uitlegbaarheid variëren, maar er zou een soort basislijn moeten zijn.
Daarom was ik geïntrigeerd toen ik op de podcastaflevering van Ethical Machines stuitte met de titel “In Defense of Black Box AI”. Black box AI verwijst naar AI-systemen die outputs of voorspellingen genereren zonder de onderliggende mechanismen achter de uitkomsten bekend te maken. De gast van deze aflevering was Kristof Horompoly, hoofd Responsible AI bij JPMorgan, een van de grootste banken ter wereld. Het besproken perspectief was tegengesteld aan wat ik tot dan toe voorbij had zien komen: Wat als we het maximaliseren van AI-prestaties voorop stellen, zonder afbreuk te doen aan de complexiteit omwille van de verklaarbaarheid?
Verklaarbaarheid VS prestaties
Vanuit een technisch perspectief kan verklaarbaarheid voor bepaalde AI-modellen een wissel trekken op prestaties. Naast prestaties is verklaarbaarheid tijdrovend, verhoogt het de doorlooptijd, kan het duur zijn en heeft het een impact op het milieu. Daarom kan het optimaliseren van de prestaties in bepaalde contexten zwaarder wegen dan de behoefte aan uitlegbaarheid. In plaats daarvan zouden we de technologie kunnen accepteren door de input- en output in kaart te brengen, en te controleren op nauwkeurigheid en eerlijkheid zonder de innerlijke werking van het model te begrijpen.
In de podcastaflevering wordt de auto – waarin we allemaal rijden zonder de mechanica ervan te kennen – als metafoor gebruikt. Ik raad ten zeerste aan om de hele aflevering te luisteren, omdat deze ook ingaat op eenvoudig uit te leggen technische details.
Black box AI voor medisch gebruik
Ik was verrast door deze lessen, die me aan het denken zetten over black box AI voor medisch gebruik. Beide sprekers erkenden dat uitlegbaarheid noodzakelijk is in gereguleerde sectoren zoals de gezondheidszorg of de financiële wereld om vooroordelen en fouten te ontdekken en te corrigeren. Als een AI-gebaseerde conclusie over diagnostische beeldvorming bijvoorbeeld een onevenredig groot effect heeft op een specifieke etniciteit, dan is uitlegbaarheid essentieel om dergelijke vooroordelen te identificeren en aan te pakken. Het introduceren van verklaarbaarheid in de AI-workflow brengt echter wel een extra stap met zich mee, die vragen oproept over de bruikbaarheid en efficiëntie van AI-integratie. Als we de AI-resultaten nauwkeurig onderzoeken op vertekeningen, kan het contra-intuïtief lijken om AI überhaupt in te zetten.
Dus, als advocaat van de duivel, vraag ik me af: wat wordt er allemaal mogelijk als we de behoefte aan verklaarbaarheid wegnemen en ons volledig richten op de prestaties van AI in de gezondheidszorg? Hoe kunnen we ervoor zorgen dat het in kaart brengen van input en output niet voor een oneerlijke bias zorgt?
Als we kijken naar het voorbeeld van beeldvormende diagnostiek, dan is AI veelbelovend omdat het patroonherkenningsmogelijkheden heeft en details en subtiele verschillen die voor mensen moeilijk op te merken zijn, herkent. Maar weten we zeker dat de modellen worden getraind op gegevens die relevant zijn voor de populatie waarvoor we het apparaat gebruiken? Ethici kunnen – en zouden moeten – werken in de fase van gegevensverzameling en -verwerking. Ze zouden moeten pleiten voor ethische gegevenspraktijken en problemen aan moeten pakken die te maken hebben met vertekening van datasets. Aangezien er op dit moment geen regelgeving voor AI is, is het nu de fabrikant die deze ethische overwegingen moet maken en implementeren.
Van overkoepelende richtlijnen naar concrete regels
Als we specifiek naar de sector medische hulpmiddelen kijken, vertegenwoordigt de EU-verordening inzake medische hulpmiddelen (EU MDR) het huidige regelgevingskader. De Europese markt heeft dit aanzienlijk veranderd sinds de invoering ervan in 2017. Deze verordening heeft alle bedrijven ertoe aangezet om snel prioriteit te geven aan naleving. Ook verplicht het tot intensievere monitoring en voortdurende verzameling van gegevens om de veiligheid en doeltreffendheid van hulpmiddelen aan te tonen. Er worden echter geen specifieke details voorgeschreven over welke gegevens moeten worden verzameld, laat staan hoe. In plaats daarvan stelt de richtlijn overkoepelende richtlijnen en principes vast die fabrikanten moeten volgen bij het verzamelen en verwerken van gegevens over medische hulpmiddelen.
Wat als materiedeskundigen drempelwaarden en normen kunnen bedenken met betrekking tot de selectie, hoeveelheid en het labelen van gegevens, zodat ze kunnen worden opgenomen in de regelgeving voor medische hulpmiddelen? Zou de introductie van een black box AI-model in de gezondheidszorg mogelijk zijn als we meer controle hadden over het vermijden van oneerlijke en bevooroordeelde output? De regelgeving moet zich misschien langzaam richten op specifieke toepassingen, bijvoorbeeld de eerder genoemde beeldvormende diagnostiek.
Een groep experts zou kunnen itereren en een concrete set vereisten voor de gegevensverzamelingsfase kunnen ontwikkelen die de ontwikkeling van een veiliger model vanaf het begin mogelijk maakt. Op deze manier hoeven we geen compromissen te sluiten over verklaarbaarheidsmethoden en minder krachtige algoritmen. De inspanning van continue monitoring van de outputs zou daar een gevolg van zijn, maar is minder kostbaar, sneller en al gedaan in overeenstemming met de EU MDR.
Met dit opiniestuk wil ik het perspectief aanvechten om te focussen op ethische AI-toepassingen in de implementatiefase, en niet pas in gegevensverzameling en -verwerking.
Ja, dit kan betekenen dat we enkele jaren moeten wachten met het uitrollen van een black box AI-systeem; we moeten immers eerst ethische én technische regelgeving rondom gegevensverzameling concretiseren. Een aangetoonde nauwe samenwerking met ethische teams bij de ontwikkeling van AI zou echter de acceptatie van AI binnen de gezondheidszorg kunnen verbeteren.
Als je dit artikel leuk vindt, lees dan ook:
