Een aanval van een hacker op autonome voertuigen kan rampzalig zijn. Maar het is zeker niet het enige risico waar de bouwers rekening mee moeten houden. Een onderzoeksteam van het Max Planck Instituut voor Intelligente Systemen (MPI-IS) en de Universiteit van Tübingen heeft nu aangetoond dat een eenvoudige kleurvlek – bewust of onbewust aangebracht – het gedrag van een zelfrijdende auto volledig kan verstoren. Zo’n vlek kan bijna ongemerkt ‘in beeld’ komen via een T-shirt, een sticker op de achterruit van een auto, of zelfs in een logo op een boodschappentas.
“Het kostte ons drie, misschien vier uur om het patroon te construeren – het ging vrij snel,” merkt Anurag Ranjan, promovendus in de Perceiving Systems Department of the MPI-IS in Tübingen, Duitsland, op. Ranjan is de hoofdauteur van de paper getiteld “Attacking Optical Flow,” een gezamenlijk onderzoeksproject met de Perceiving Systems Department en de Autonoom Visiegroep bij MPI-IS.
De onderzoekers hebben uit voorzorg een aantal autofabrikanten geïnformeerd die momenteel werken aan de ontwikkeling van autonome modellen. Op die manier kunnen zij snel reageren op mogelijke risico’s.
Optische flow is verstoord
In hun onderzoek hebben de onderzoekers de slimheid van een aantal verschillende algoritmes voor het bepalen van de ‘optische flow’ getest. Dit soort systemen wordt gebruikt in autonome voertuigen, robotica, geneeskunde, videospelletjes en navigatie. De optische flow verwijst naar de beweging in een scène die door camera’s aan boord van een voertuig wordt vastgelegd.
Recente ontwikkelingen op het gebied van machinaal leren hebben geleid tot snellere en betere methoden voor het berekenen van bewegingen. Het onderzoek van de Tübinger wetenschappers toont echter aan dat dergelijke methoden foutgevoelig zijn. Een eenvoudig, kleurrijk patroon dat aan een scène wordt toegevoegd als een obstructief signaal kan bijvoorbeeld dingen verstoren – zelfs als het gekleurde patroon niet beweegt. Dit kan ertoe leiden dat de diepe neurale netwerken (die tegenwoordig vaak gebruikt worden voor stromingsberekeningen) verkeerde berekeningen maken. Als gevolg daarvan kan het netwerk plotseling (verkeerd) uitrekenen dat een groot deel van de elementen in een scène de verkeerde kant op beweegt.
Wetenschappers hebben al aangetoond dat zelfs kleine kleurpatronen de neurale netwerken kunnen verstoren. Dit was de reden waarom objecten zoals stoptekens in het verleden verkeerd werden geclassificeerd. De Tübinger onderzoekers ontdekten dat algoritmen die gebruikt worden om de bewegingen van objecten te bepalen, ook gevoelig zijn voor dit soort aanvallen. Duidelijk is dat systemen voor autonome voertuigen hier absoluut niet mee te maken mogen krijgen.
Kleine vlek met een enorm effect
De onderzoekers werken sinds maart vorig jaar aan het project Attacking Optical Flow. In de loop van hun onderzoek waren ze verbaasd dat zelfs een klein stukje kleur al voor veel chaos kan zorgen. Een grootte van minder dan 1% van het totale beeld is op zich groot genoeg om het systeem te verstoren. Maar hoe groter het kleurvlak, hoe verwoestender de impact. “Dit is verontrustend, omdat in veel gevallen het flow control systeem de beweging van objecten over de hele scene heeft weggevaagd”, zegt Ranjan.
Maar hoeveel fabrikanten van autonome auto’s werkelijk last zullen hebben van dit fenomeen, is onbekend. Ze laten vooralsnog niet in hun keuken kijken. Daarom kunnen computer vision-wetenschappers alleen maar speculeren. “Ons werk is erop gericht om de fabrikanten van zelfrijdende technologie wakker te schudden en hen te waarschuwen voor de potentiële bedreiging”, zegt Michael J. Black, directeur van de Perceiving Systems Department van het Max Planck Institute for Intelligent Systems. “Als ze dat weten, kunnen ze hun systemen trainen om dergelijke aanvallen te weerstaan.”
Ranjan en zijn team hopen dat hun onderzoek zal bijdragen aan de bewustwording over dit probleem. Hun doel is om autofabrikanten dit soort aanvallen serieus te laten nemen. Zo kunnen ze hun systemen aanpassen om ze minder gevoelig te maken voor storingen. Het onderzoek is op 2 november gepresenteerd op de International Conference on Computer Vision ICCV in Seoul, de belangrijkste internationale conferentie over machinevisie.
