Erklärbare und transparente KI

KI-Verfahren, inbesondere Verfahren aus dem Bereich des Deep Learnings, liefern in vielen Anwendungsbereichen hervorragende Ergebnisse und werden vielseitig eingesetzt. Sie bringen jedoch den Nachteil mit sich, dass die Ergebnisse der Verfahren oft für den Anwender nicht nachvollziehbar sind. Erklärbare und transparente KI (auch XAI genannt, explainable artificial intelligence) bezeichnen eine Gruppe von Verfahren, die die Entscheidungen und Ergebnisse von KI-Modellen für den Anwender besser interpretierbar bzw. nachvollziehbar machen sollen. Eine Erklärung kann beispielsweise daraus bestehen, dass die Elemente der Eingabedaten markiert werden, die den größten Einfluss auf das Ergebnis eines konkreten KI-Modells hatten.

Die Vorteile von nachvollziehbaren KI-Entscheidungen erhöhen das Vertrauen der Anwender in die KI-Verfahren und ermöglichen eine verbesserte Analyse von Fehlerfällen. XAI ermöglicht zudem einen klareren Einblick in KI-Modelle sowohl für die Anwender*innen, die die Entscheidungen nachvollziehen wollen, als auch für Entwickler*innen, die KI-Modelle in ihre Anwendung einbetten und diese parametrisieren wollen. Auch für Wissenschaftler*innen, die KI-Modelle entwickeln und verbessern wollen, bietet XAI wertvolle Informationen.

Das Querschnittsthema XAI wird am Fraunhofer IOSB über eine große Bandbreite von KI-Anwendungen hinweg weiterentwickelt.

Anwendungsbereiche

Die Erklärbarkeit von Detektions- und Klassifikationsentscheidungen von Objekten in Videomassendaten wird aktuell für die feingranulare Klassifikation von Fahrzeugen entwickelt. In vielen Fällen werden interaktive Abläufe mit Auswertepersonal umgesetzt, für das die Nachvollziehbarkeit der Ergebnisse von KI-Verfahren einen signifikanten Mehrwert darstellt.

Wir bieten KI-basierte Assistenzsysteme, die den Menschen mit wissensbasierter XAI bei Klassifikationsaufgaben unterstützen. Die semantischen Wissensmodelle können genutzt werden, um die mittels maschineller Lernverfahren generierten Ergebnisse einer Plausibilitätsprüfung zu unterziehen und sie in einer für den Menschen verständlichen Weise zu begründen.

Mit der semantischen Segmentierung von Bilddaten klassifizieren wir pixel- bzw. punktweise zwei- und dreidimensionale Daten. Dies wird u.a. in der Off-Road-Robotik angewandt, um die potentiellen Pfade als befahrbar einzustufen. Bei dieser Erkennung und Vermeidung von Hindernissen ist es von größter Relevanz, die Klassifikationsentscheidungen der KI-Verfahren nachvollziehen zu können.

Für die Kontrolle und Überwachung des Schiffsverkehrs entwickeln wir Methoden zur Situationserkennung und Anomaliedetektion. Mithilfe der Trajektorienklassifikation können verschiedene Schiffstypen anhand von KI-Verfahren und geographischer Eigenschaften klassifiziert werden. XAI-Methoden stellen hierbei sicher,  dass diese Modelle sinnvolle Ergebnisse liefern und transparente Vorhersagemodelle erstellen.

KI-Verfahren können präzise voraussagen, wann in einem Stromnetz Verluste auftreten werden. Diese Information benötigen Netzbetreiber, um zum Ausgleich effizient und kostengünstig Strom zu beschaffen und in das Netz einzuspeisen. Eine Nachvollziehbarkeit der Verlustvorhersage duch die KI stellt dabei einen signifikanten Mehrwert für die Netzbetreiber dar.

Fertigungsprozesse wie der Kunststoffspritzgießprozess sind durch eine Fülle freier Parameter gekennzeichnet. Diese werden in der Praxis von erfahrenem Personal sorgfältig eingestellt, um die Produktqualität sicherzustellen. Um den unterstützenden Prozess der KI-basierten Qualitätssicherung 
transparenter und wiederholbar zu gestalten, wird am Fraunhofer IOSB ein Assistenzsystem auf Basis von XAI entwickelt.