Wie prüft man KI?

17. März 2022

Ob Bilderkennung, Spracherkennung oder Empfehlungsalgorithmen auf den einschlägigen Videoportalen – Künstliche Intelligenz (KI) hält immer mehr Einzug in unseren Alltag. Doch wollen wir der KI künftig auch das Steuer unserer Autos überlassen, muss sie jederzeit verlässlich funktionieren und darf sich nicht manipulieren lassen. Wie und nach welchen Kriterien KI für das autonome Auto geprüft werden kann, erforschen Vasilios Danos und sein Team von TÜViT in einem Projekt mit dem Automobilzulieferer ZF und dem Bundesamt für Sicherheit in der Informationstechnik (BSI).

Welches Ziel verfolgen Sie in dem gemeinsamen Projekt mit ZF und dem BSI?

Vasilios Danos: Software wird im Auto bereits seit geraumer Zeit verwendet und muss dabei eine Reihe von Kriterien erfüllen. Das Problem: Diese Kriterien lassen sich nicht ohne weiteres auf Künstliche Intelligenz anwenden. Denn KI-Systeme sind zumeist eine Blackbox: Man weiß nicht mit Sicherheit, was sie gelernt haben und wie sie sich in Zukunft verhalten werden. Im Rahmen des Projektes wollen wir deshalb herausarbeiten, welche Kriterien man diesen KI-Systeme anlegen kann und wie sich diese in der Praxis überprüfen lassen, um ein entsprechendes Sicherheitsniveau zu gewährleisten. Das spielen wir zunächst an zwei konkreten KI-Funktionalitäten im Auto durch. Auf dieser Basis lassen sich in einer nächsten Stufe dann allgemeine Regeln erarbeiten, die auch auf andere Funktionen im automatisierten Auto anwendbar wären.

Welche Ausfall- oder Angriffsszenarien sind denkbar – und mit welchen Folgen wären sie verbunden?

Anfällig ist etwa die Verkehrszeichenerkennung im Fahrzeug: Selbst wenn auf einem Stoppschild Laub oder Sticker kleben, können wir Menschen es immer noch eindeutig erkennen. Die KI dagegen könnte das Schild mit einer Werbetafel verwechseln. Oder schlimmer noch: als Vorfahrtschild interpretieren. Und während die KI im Steuerungssystem der Fahrzeuge recht gut gegen Hackerangriffe gesichert ist, können sich Angreifer diese Schwächen in der Umgebungswahrnehmung zunutze machen, um die  Systeme zu manipulieren. Indem sie etwa nach bestimmten Verfahren kleine Aufkleber auf Verkehrsschildern anbringen: Sehr subtile Veränderungen, die wir gar nicht wahrnehmen würden, die aber für die KI das gesamte Bild verändern. Und aus einem Tempo 30-Schild ein Tempo 130 machen. IT-Security und Allgemeine Sicherheit sind insofern hier zwei Seiten einer Medaille. Wenn wir sicherstellen können, dass die Systeme gegenüber bewussten Manipulationen robust sind, sind sie zugleich auch gegenüber natürlichen Störungen gefeit.

Wie lässt sich etwa die Verlässlichkeit der Verkehrsschilderkennung prüfen?

Viele Prüfverfahren für KI bewegen sich aktuell noch auf Forschungsebene. Und ein Schwerpunkt des Projektes besteht auch darin, geeignete Methoden zu identifizieren. Eine vermeintlich naheliegende Möglichkeit wäre etwa, die KI mit Beispielverkehrsschildern zu füttern und zu testen. Das Problem: Dabei müssen unheimlich viele Variablen berücksichtigt werden. Unterschiedliche Lichtverhältnisse und Witterungsbedingungen also Regen, Schnee, Nebel, das Schild kann schief stehen oder verschmutzt sein. Alle diese Fälle mit Beispielbildern abzudecken, ist schlicht nicht möglich. Vielversprechender ist es daher, nach „Lernschwächen“ der KI zu suchen und sie gezielt an ihre Grenzen zu bringen.

Und auf welche Weise fühlen Sie der KI konkret auf den Zahn?

Wir schauen uns zunächst an, welche Situationen dem System die meisten Probleme bereiten: Bei der KI zur Verkehrszeichenerkennung sind das etwa bestimmte Lichtverhältnisse. Die Fußgängererkennung wiederum gerät in Schwierigkeiten, wenn Menschen bunte Mützen tragen – warum auch immer. Auf Basis solcher Erkenntnisse bohren wir immer weiter, um zu sehen, wann und ab welchem Punkt die KI sich falsch verhält.

Welche weiteren Methoden bieten sich zur KI-Prüfung an?

Man könnte von vorneherein ein erklärbares oder inhärent sicheres KI-System verwenden. Aktuell kommen vor allem die besagten Blackbox-Systeme zum Einsatz. Hier werden die Regeln nicht in die KI einprogrammiert, sondern von ihr selbstständig aus Trainingsdaten gelernt. Einerseits ist dadurch der Entwicklungsaufwand verhältnismäßig gering. Andererseits lässt sich das Verhalten der KI eben nicht verlässlich voraussagen. Es gibt aber auch andere KI-Architekturen, bei denen sich die Regeln, nach denen die KI operiert, zumindest teilweise ableiten lassen. So kann man im Vorfeld feststellen, dass sie unter bestimmten Umständen sicher reagieren wird. Allerdings stecken diese Verfahren noch in den Kinderschuhen und lassen sich zumindest aktuell nicht überall einsetzen. Im Rahmen des Projektes wollen wir daher auch ermitteln, für welche Funktionen im automatisierten Fahrzeug sich diese KI-Architekturen künftig eignen könnten.

Welche Schlüsse müssten Hersteller wie Regulierungsbehörden aus den Ergebnissen von KI-Prüfungen ziehen?

Mit der Prüfung lässt sich die Wahrscheinlichkeit für ein Fehlverhalten der KI ermitteln. Auf Basis dieses Ergebnisses müssen die entsprechenden Behörden entscheiden, ob dieses Risiko tolerierbar ist oder nicht. Möglicherweise zeigt die Prüfung aber auch, dass das entsprechende System nicht robuster werden kann. Dann könnten die Hersteller etwa mit entsprechenden Backup-Funktionalitäten gegensteuern: dass etwa die Verkehrssituation nicht nur anhand des Kamerabildes eingeschätzt wird, sondern auch mit zusätzlicher Sensorik, etwa Radar und LiDAR. Viele Fahrzeug-Systeme sind ja heute bereits in dieser Weise konzipiert. Letztlich wird es aber auf bestimmte Kriterien hinauslaufen, die Hersteller erfüllen müssen – wie und mit welchem Maßnahmen ist ihnen überlassen. Das ist ja außerhalb des KI-Bereichs etwa bei den DIN-Normen nicht anders.

Was macht für Sie die Faszination von Künstlicher Intelligenz aus?

Mich fasziniert, dass wir bereits mit mathematisch vergleichsweise banalen Lernverfahren die Funktionsweise der Nervenzellen des Gehirns relativ gut kopieren können. Viele Tätigkeiten konnten bislang nur von Menschen übernommen werden. Und jeder einzelne Mensch muss mühsam angelernt werden. Bei KI ist die Hoffnung, dass sie einmal trainiert, beliebig oft kopiert werden kann. Das bietet ein enormes Potenzial für Automatisierung. Und die Entwicklung geht immer schneller voran. Mittlerweile werden bei der KI pro Jahr mehr Fortschritte erzielt als in den vergangenen 20 Jahren. KI kann in Zukunft in immer mehr Bereichen eine große Rolle spielen. Und wir müssen uns heute darüber verständigen, wo wir die Sicherheitsgrenzen ziehen, welche Systeme wir zulassen wollen und welche nicht. Bei der Beantwortung dieser Fragen soll unser Projekt einen Beitrag leisten.