INITIATIVE – Intelligente Mensch-Technik-Kommunikation im gemischten Verkehr

Künstliche Intelligenz für das Fahrzeug der Zukunft

Projektziele

Das vom BMWi geförderte Projekt INITIATIVE verfolgt das Ziel, eine KI-gestützte adaptive Kommunikation für die Integration automatisierter Fahrzeuge in gemischten Verkehrsszenarien zu erarbeiten. Dazu muss das automatisierte Fahrzeug entsprechende Kommunikationsschnittstellen für außenstehende Verkehrsteilnehmer (externe Mensch-Maschine-Schnittstellen bzw. human computer interface, HMI) und für Insassen des Fahrzeuges (interne Mensch-Maschine-Schnittstellen) bereitstellen. Diese sollen im Projekt unter Berücksichtigung einer winkel- und tageszeitabhängigen Erkennbarkeit entwickelt und validiert werden.

Darüber hinaus soll mittels kamerabasierter Verfahren die Intention der Kommunikationsteilnehmer im Straßenverkehr erfasst und bei der Kommunikation untereinander KI-basiert berücksichtigt werden. Dadurch wird sichergestellt, dass die Botschaften situativ angepasst übermittelt werden. Um Missverständnisse der Teilnehmer zu vermeiden, müssen die Nachrichten der externen und internen Interaktionsschnittstellen entsprechend synchronisiert werden.

Die Funktion der Systeme und der Sensorik wird zudem projektübergreifend evaluiert. Für die Identifikation relevanter Teilnehmer einer Kommunikation wird auf Metadaten aus einer vernetzten Infrastruktur (externe Sensorik) zurückgegriffen, welche mittels C2X-Kommunikation übertragen werden. Im Gesamtkontext eines gemischten Verkehrsszenarios eignen sich Methoden der KI dabei für die Synchronisation der Nachrichten, die Intentionserkennung der Kommunikationsteilnehmer und die Vorauswahl relevanter Verkehrsteilnehmer.

Beitrag und Methodik

Der wissenschaftliche Beitrag des Fraunhofer IOSB liegt bei der kamerabasierten Erfassung der Fahrzeuginsassen und schwächeren Verkehrsteilnehmer, wie z. B. Fußgänger, im direkten Umfeld des Fahrzeugs. Die Erfassung erfolgt mit Hilfe maschineller Lernverfahren, u.a. Deep Learning.

Das geplante Vorgehen ist hierbei zweistufig: Im ersten Schritt werden geeignete Kamerasysteme für den Innen- und Außenraum konzipiert und identifiziert. Anschließend wird jede Kamera und jede am Szenario beteiligte Person (Fahrer und Passanten) mit Hilfe von echtzeitfähigen KI-Verfahren detektiert und individuell analysiert. Dazu werden zuerst Basismerkmale erfasst (z. B. die Körperhaltung) und anschließend die relevante Gestik zur Kommunikation im vorliegenden Szenario mit maschinellen Lernverfahren ausgewertet.

Im zweiten Schritt werden die Merkmale in einem Szenenmodell fusioniert. Auf Basis dieses Modells finden weitere Analysen zur Gesamtsituation statt. Hierbei soll erfasst werden, welche Personen mit dem automatisierten Fahrzeug in einen Dialog treten möchte und welche Ziele diese Personen verfolgen. Auch hierfür werden maschinelle Lernverfahren verwendet. Die so verarbeiteten Daten werden anschließend von Projektpartnern für die Entscheidungsfindung des automatisierten Fahrzeugs genutzt.

Projektpartner

  • Electric-Special Photronicsysteme (ESPS) GmbH: Umgebungserfassung mit sog. Road Side Units (z.B. intelligente Straßenlaternen)
  • Fraunhofer IOSB: KI-basierte Erfassung des Fahrers und Passanten im direkten Umfeld des Fahrzeugs. Bestimmung von Intention und Kommunikation
  • HELLA GmbH & Co. KGaA: Konsortialführer, Mensch-Maschine-Interaktion im Fahrzeuginnenraum. Betrieb des Versuchsträgers
  • Karlsruher Institut für Technologie (KIT) IRS: Einigungs- und Entscheidungsfindung (wie sollen die Mensch-Maschine-Schnittstellen bzw. das Fahrzeug auf Sensoreingaben reagieren)
  • Karlsruher Institut für Technologie (KIT) LTI: Lichtbasierte Gestaltung der Mensch-Maschine-Interaktion im Außenraum
  • Universität des Saarlandes – Institut für Rechtsinformatik (IFR): Datenschutzkonzept, Rechtsrahmen
  • Version1 GmbH: Mithilfe beim Design der Mensch-Maschine-Interaktion
  • Würzburger Institut für Verkehrswissenschaften (WIVW) GmbH: Fahrsimulatorstudien zur Datensammlung und Systemverifikation
 

Abteilung Interaktive Analyse und Diagnose

Sie wollen mehr über unser Kompetenz- und Leistungsspektrum im Bereich Interaktive Analyse und Diagnose erfahren? Dann besuchen Sie die Seite der Abteilung IAD.

Weitere Informationen

zum Projekt »INITIATIVE - INtellIgenTe Mensch-Technik KommunIkATIon im gemischten Verkehr«:

  • Projektlaufzeit: 4/2021 - 3/2024
  • Fördergeber: Bundesministerium für Wirtschaft und Energie (BMWi)
  • Fachprogramm: Neue Fahrzeug- und Systemtechnologien
  • Budget: 4,09 Mio. Euro