Farbfleck könnte autonome Piloten irritieren

Ein Hackerangriff auf autonome Fahrzeuge könnte katastrophal sein. Und dabei scheint er nicht schwer: Ein Forscherteam des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) und der Uni Tübingen zeigte nun auf, dass ein einfacher Farbfleck autonome Piloten komplett durcheinanderbringen könnte. Und dabei kann dieser Farbfleck sogar recht unauffällig auf einem T-Shirt, als Heckscheibenaufkleber oder als Emblem auf einer Einkaufstüte aufgebracht werden.

„Wir haben drei, vielleicht vier Stunden gebraucht, um das Muster zu erstellen – das ging ganz schnell“, beschreibt Anurag Ranjan, Doktorand in der Abteilung für Perzeptive Systeme am MPI-IS in Tübingen.

Ranjan ist Erstautor der Publikation „Attacking Optical Flow“, einem gemeinsamen Forschungsprojekt der Abteilung für Perzeptive Systeme und der Forschungsgruppe für Autonomes Maschinelles Sehen.

Doch zum Glück gibt´s im Moment noch Entwarnung: Die Gefahr, dass aktuell auf dem Markt verfügbare Serienfahrzeuge betroffen sind, ist gering. Dennoch informierten die Forscher vorsichtshalber einige Automobilhersteller, die derzeit selbstfahrende Modelle entwickeln. So können diese zeitnah auf das Risiko reagieren.

Optischer Fluss wird gestört

In ihrer Forschungsarbeit prüften Anurag Ranjan, seine Kollegen Joel Janai, Andreas Geiger und Michael J. Black die Robustheit einer Reihe verschiedener Algorithmen zur Bestimmung des sogenannten optischen Flusses. Derartige Systeme werden u.a. in selbstfahrenden Autos, in der Robotik, Medizin, bei Videospielen und in der Navigation verwendet. Der optische Fluss beschreibt die Bewegung in einer Szene, die von den Bordkameras erfasst wird.

Neueste Entwicklungen im Bereich des maschinellen Lernens führten zu schnelleren und besseren Verfahren beim Berechnen von Bewegung. Die Forschung der Tübinger Wissenschaftler zeigt jedoch, dass derartige Verfahren anfällig sind. So kann ein einfaches, buntes Muster, das als Störsignal in die Szene platziert wird, irritieren. Und zwar auch, wenn sich das Muster nicht bewegt. Es könnte dazu führen, dass tiefe neuronale Netze – diese werden heute häufig zur Flussberechnung eingesetzt -, falsch rechnen. Entspechend könnte das Netzwerk plötzlich kalkulieren, dass sich große Teile der Szene in die falsche Richtung bewegen.

Schon früher zeigten Wissenschaftler auf, dass selbst winzige Muster neuronale Netze verwirren können. So waren diese Ursache, dass Objekte wie Stoppschilder falsch klassifiziert wurden. Die Tübinger Forschungsarbeit stellte nun fest, dass auch Algorithmen zur Bestimmung der Bewegung von Objekten anfällig für derartige Angriffe sind. Bei der Verwendung in sicherheitskritischen Anwendungen – wie in autonomen Fahrzeugen – darf dies nicht passieren. Hier müssen diese Systeme hinsichtlich derartiger Angriffe absolut sicher funktioneren.

Kleiner Fleck mit großer Wirkung

Die Forschenden arbeiteten seit März vergangenen Jahres an dem Projekt attacking optical flow. Im Zuge ihrer Forschungsarbeit waren sie überrascht, dass selbst ein kleiner Fleck großes Chaos auslösen kann. Denn es reicht allein eine Größe von weniger als 1 % des Gesamtbildes aus, um das System anzugreifen. Die kleinste Störung verursachte, dass das System schwere Fehler bei seinen Berechnungen machte. Und davon war dann die Hälfte des Bildbereichs betroffen. Je größer der Fleck, desto verheerender die Auswirkungen.

„Dies ist bedenklich, da das Flow-System in vielen Fällen die Bewegung der Objekte in der gesamten Szene gelöscht hat“, erklärt Ranjan.

Man kann sich leicht vorstellen, welchen Schaden ein lahmgelegter Autopilot verursachen kann. Vor allem, wenn ein selbstfahrendes Auto bei hohen Geschwindigkeiten oder in der Stadt fährt .

Geheimnis selbstfahrender Autos noch bewahrt

Noch ist es ein Geheimnis der jeweiligen Hersteller, wie einzelne selbstfahrende Autos funktionieren. Daher können Computer Vision Grundlagenforscher nur mutmaßen.

„Unsere Arbeit soll die Hersteller von selbstfahrender Technologie wachrütteln, sie vor der potenziellen Bedrohung warnen. Wenn sie davon wissen, können sie ihre Systeme so trainieren, dass sie gegenüber derartigen Angriffen robust sind“, sagt Michael J. Black, Direktor der Abteilung für Perzeptive Systeme am Max-Planck-Institut für Intelligente Systeme.

Ein Anliegen des Entwicklerteams ist es, der Automobilindustrie darzustellen, wie man unter Verwendung einer sogenannten „zero flow“-Prüfung bessere optische Flussalgorithmen entwickeln kann.

„Wenn wir dem System zwei identische Bilder zeigen und es keinerlei Bewegung zwischen den beiden gibt, sollte sich der optische Flussalgorithmus farblich überhaupt nicht verändern. Dies ist jedoch oft nicht der Fall, selbst ohne einen Angriff. Schon da fangen also die Probleme an. Hier müssen wir ansetzen, um zu beheben, was das Netz falsch macht“, erläutert Ranjan.

Er und sein Team hoffen, dass ihre Forschungsarbeit dazu beiträgt, das Bewusstsein für die Problematik zu stärken. Ihr Ziel ist, dass Automobilhersteller derartige Angriffe ernst nehmen. So können diese ihre Systeme entsprechend anpassen, um sie weniger störanfällig zu machen.

Die Publikation wird bei der führenden internationalen Konferenz im Bereich Maschinelles Sehen, der International Conference on Computer Vision ICCV, präsentiert.

 

Weitere IO-Artikel zum Thema Autonomes Fahren finden Sie hier.