Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 
Projektziele
Das vom BMWi geförderte Projekt INITIATIVE verfolgt das Ziel, eine KI-gestützte adaptive Kommunikation für die Integration automatisierter Fahrzeuge in gemischten Verkehrsszenarien zu erarbeiten. Dazu muss das automatisierte Fahrzeug entsprechende Kommunikationsschnittstellen für außenstehende Verkehrsteilnehmer (externe Mensch-Maschine-Schnittstellen bzw. human computer interface, HMI) und für Insassen des Fahrzeuges (interne Mensch-Maschine-Schnittstellen) bereitstellen. Diese sollen im Projekt unter Berücksichtigung einer winkel- und tageszeitabhängigen Erkennbarkeit entwickelt und validiert werden.
Darüber hinaus soll mittels kamerabasierter Verfahren die Intention der Kommunikationsteilnehmer im Straßenverkehr erfasst und bei der Kommunikation untereinander KI-basiert berücksichtigt werden. Dadurch wird sichergestellt, dass die Botschaften situativ angepasst übermittelt werden. Um Missverständnisse der Teilnehmer zu vermeiden, müssen die Nachrichten der externen und internen Interaktionsschnittstellen entsprechend synchronisiert werden.
Die Funktion der Systeme und der Sensorik wird zudem projektübergreifend evaluiert. Für die Identifikation relevanter Teilnehmer einer Kommunikation wird auf Metadaten aus einer vernetzten Infrastruktur (externe Sensorik) zurückgegriffen, welche mittels C2X-Kommunikation übertragen werden. Im Gesamtkontext eines gemischten Verkehrsszenarios eignen sich Methoden der KI dabei für die Synchronisation der Nachrichten, die Intentionserkennung der Kommunikationsteilnehmer und die Vorauswahl relevanter Verkehrsteilnehmer.
Beitrag und Methodik
Der wissenschaftliche Beitrag des Fraunhofer IOSB liegt bei der kamerabasierten Erfassung der Fahrzeuginsassen und schwächeren Verkehrsteilnehmer, wie z. B. Fußgänger, im direkten Umfeld des Fahrzeugs. Die Erfassung erfolgt mit Hilfe maschineller Lernverfahren, u.a. Deep Learning.
Das geplante Vorgehen ist hierbei zweistufig: Im ersten Schritt werden geeignete Kamerasysteme für den Innen- und Außenraum konzipiert und identifiziert. Anschließend wird jede Kamera und jede am Szenario beteiligte Person (Fahrer und Passanten) mit Hilfe von echtzeitfähigen KI-Verfahren detektiert und individuell analysiert. Dazu werden zuerst Basismerkmale erfasst (z. B. die Körperhaltung) und anschließend die relevante Gestik zur Kommunikation im vorliegenden Szenario mit maschinellen Lernverfahren ausgewertet.
Im zweiten Schritt werden die Merkmale in einem Szenenmodell fusioniert. Auf Basis dieses Modells finden weitere Analysen zur Gesamtsituation statt. Hierbei soll erfasst werden, welche Personen mit dem automatisierten Fahrzeug in einen Dialog treten möchte und welche Ziele diese Personen verfolgen. Auch hierfür werden maschinelle Lernverfahren verwendet. Die so verarbeiteten Daten werden anschließend von Projektpartnern für die Entscheidungsfindung des automatisierten Fahrzeugs genutzt.