Kann manuelles Tagging dazu beitragen, dass autonome Fahrzeuge nicht gehackt werden?

Chawin Sitawarin und ein Team von Forschern an der Princeton University haben vor Kurzem eine Studie veröffentlicht, die in der KI-Gemeinde für große Aufmerksamkeit sorgte. Die Arbeit beschäftigt sich in erster Linie mit dem Risiko potenzieller Angriffe auf fahrerlose Autos. Es wurde dabei die Frage aufgeworfen, was passieren würde, wenn ein Krimineller ein Auto absichtlich... Read more »

Chawin Sitawarin und ein Team von Forschern an der Princeton University haben vor Kurzem eine Studie veröffentlicht, die in der KI-Gemeinde für große Aufmerksamkeit sorgte. Die Arbeit beschäftigt sich in erster Linie mit dem Risiko potenzieller Angriffe auf fahrerlose Autos. Es wurde dabei die Frage aufgeworfen, was passieren würde, wenn ein Krimineller ein Auto absichtlich dazu bringen würde, ein Verkehrsschild falsch zu interpretieren und sich das Fahrzeug dadurch falsch verhält. Im ersten Moment scheint die Angelegenheit nicht so problematisch zu sein. Doch wenn Sie sich vorstellen, dass ein Auto, welches die Autobahn entlang braust, eine Geschwindigkeitsbegrenzung von 120 km/h als 30 km/h falsch interpretiert, dann wird einem schnell klar, wie verhängnisvoll ein solches Problem tatsächlich werden kann.

Sitawarin und seine Kollegen untersuchten diese Angriffe, die sie DARTS (Deceiving Autonomous Cars with Toxic Signs), zu deutsch etwa: Täuschung fahrerloser Autos mit falschen Verkehrsschildern) nennen, mithilfe zahlreicher virtueller Tests sowie mit solchen unter Realbedingungen. In beiden Szenarien entwickelten die Wissenschaftler absichtlich falsche Verkehrsschilder und installierten sie in der Umgebung. Dann nahmen sie Videos mithilfe einer an einem Fahrzeug befestigten Kamera auf und verarbeiteten die Daten mit einem Signalerkennungsprogramm. Das erschreckende Ergebnis war, dass die Forscher in mehr als 90 % der Fälle die Autos erfolgreich täuschen konnten – und das sowohl unter simulierten als auch unter realen Testbedingungen.

Ein so verheerendes Ergebnis zieht natürlich die Frage nach sich: Weshalb können Autos derart manipuliert werden und auf welche Weise lassen sich solche Systeme effektiver schützen?

from: „DARTS: Deceiving Autonomous Cars with Toxic Signs“

Die Entwicklung von IT-Security Maßnahmen

Um zu verstehen, wie das Problem gelöst werden kann, ist zuerst ein grundlegendes Verständnis der Technologie erforderlich, die hinter dem autonomen Fahren steckt. Üblicherweise sind diese Autos mit zahlreichen Sensoren ausgestattet, wie etwa Kameras und einem sogenannten LIDAR (Light Imaging Detection and Ranging, zu deutsch etwa: Bild- und Abstandserkennung durch Licht), das die Straßenbedingungen permanent überwacht und Kollisionen vermeiden soll.

Die international agierende Outsourcing-Firma Archer Software, die im Bereich der virtuellen Sicherheit tätig ist, hat einige softwarebasierte Lösungen zu obigem Problem vorgeschlagen. Zum einen empfiehlt das Unternehmen Redundanzsysteme: Es sollten stets mehrere LIDAR-Sensoren zeitgleich aktiv sein. Wenn mehrere LIDAR mit unterschiedlichen Wellenlängen, die sich nicht überlagern, eingesetzt werden, so kann das die Erfolgschancen eines Angreifers verringern, da es sowohl schwieriger als auch teurer ist, mehrere Signale gleichzeitig zu manipulieren.

Weitere Methoden, die vorgeschlagen werden, konzentrieren sich auf die Art der Signalerkennung. Beispielsweise könnte es für Hacker schwieriger werden, durch das Einführen einer zufälligen Abtastung der Signale, die nicht miteinander übereinstimmenden Informationen zu synchronisieren. Indem das Zeitintervall dieser Abtastung variiert wird, soll es Angreifern erschwert werden, die nächste Signalperiode vorherzusagen. So würde zum Beispiel eine Verringerung der LIDAR-Reichweite auf 100 Meter das Zeitintervall verkürzen, in dem ein möglicher Hacker einen erfolgreichen Angriff durchführen könnte.

Auch wenn viele dieser Ansätze erfolgsversprechend scheinen, so müssen sie doch alle zum richtigen Zeitpunkt des Sendens oder Empfangens eines Signals eingreifen. Für zusätzliche Sicherheit ist es jedoch für Entwickler auch notwendig, über die Interpretation

 

from: Robust Physical-World Attacks on Deep Learning Models

Das ursprüngliche Signal korrekt erkennen

Es überrascht viele Leute, wie viel Arbeit von Menschenhand erledigt werden muss, um Künstliche Intelligenz erfolgreich einzusetzen. Damit Computer etwa in der Lage sind, spezifische Objekte zu erkennen, ist anfangs immer noch die Hilfe des Menschen erforderlich (in Form etwa der „Crowd“). Aus diesem Blickwinkel ist die KI immer nur so gut, wie die zur Verfügung gestellten Daten, mit denen das System trainiert wird – dafür wiederum werden Menschen benötigt. Aus diesem Grund können sich zum Beispiel die Kosten für das Erstellen und Annotieren von Karten für Städte alleine in den USA auf mehrere Milliarden US-Dollar belaufen.

Auch wenn die Arbeit ziemlich arbeitsintensiv ist, ist der Annotationsprozess vergleichsweise einfach. Einer Person wird ein Datensatz, ein kurzes Video oder ein Bild vorgelegt und sie bekommt die Aufgabe, Bounding Boxes um die jeweiligen Straßenelemente (Autos, Straßenschilder, Fußgänger und so weiter) zu ziehen und diese zu kennzeichnen. Um umfangreiche KI-Trainingsdaten zu generieren, ist eine große Crowd unerlässlich: Die Annotation der Daten einer einzigen Stunde Autofahrt benötigt an die 800 Arbeitsstunden.

Weil diese Zahl hoch erscheint, muss sie ins Verhältnis zum erhaltenen Output gesetzt werden. So ist jede Stunde gut investiert, wenn sie die Grundlage für Deep Learning bildet. In diesem Zusammenhang haben etwa Unternehmen wie Drive damit begonnen, Deep Learning zu nutzen, um die Automatisierung der Annotierung weiter zu verbessern. Das System umfasst eine kleine Gruppe von Menschen, die grundlegende Trainingsdaten völlig neue Szenarien entwickeln und die Annotationen überprüfen, die vom System selbstständig erstellt wurden. „Es gibt einige Szenarien, in denen unser Deep-Learning-System hervorragend arbeitet,“ erklärte der CEO von Drive, Sameep Tandon, gegenüber dem Spectrum Magazine. „Wir haben ein Team, das die initialen Annotationen vornimmt – und wir verbessern schrittweise unser Deep-Learning-System.“

from: DARTS: Deceiving Autonomous Cars with Toxic Signs

Fazit

Die Gefahr hinter DARTS ist nicht zu unterschätzen: Ein einziger Hack hat das Potenzial, viele Menschenleben zu kosten. Gleichzeitig ist das Problem vielschichtig und erfordert eine Lösung, die Software- und Hardwareelemente berücksichtigt. Die Grundlage dafür bildet dabei die Verfeinerung des Trainings unserer KI-Systeme. Sitawarin und die oben erwähnten Princeton-Forscher schlagen eine Gegenmaßnahme vor, die auf einem „Adversial Training“ basiert, das vorerst intensiven Input durch Menschen erfordert, bevor durch Deep Learning weitere Maßnahmen ergriffen werden können.