Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 
Herausforderung kontextsensitive Fahrerbeobachtung
Kognitive Ablenkung kann die Reaktion auf das Verkehrsgeschehen beeinträchtigen, selbst wenn Fahrende weiterhin auf die Straße blicken. Gängige Fahrerbeobachtungssysteme (driver-monitoring systems) erfassen vor allem einzelne sichtbare Merkmale oder momentane Zustände und reichen für diesen komplexen, multidimensionalen Zustand nicht aus. In SensAI entwickeln Fraunhofer-Forschende deshalb ein multimodales System, das Kamera-, Audio-, Vital- und Fahrzeugdaten KI-gestützt zusammenführt. Ziel ist, kognitive Ablenkung im Fahrkontext zu erkennen – in Echtzeit und datenschutzkonform – und unnötige oder unpassend ausgelöste Warnungen perspektivisch zu vermeiden.
IOSB-Beitrag: Computer Vision, Aktivitätenerkennung
Das Fraunhofer IOSB koordiniert SensAI und bringt seine Kompetenz in Computer Vision, Insassenbeobachtung und Fahrerzustandsmodellierung ein. Wir untersuchen mit Innenraumkameras Blickverhalten, Körperhaltung, Aktivitäten und Objektinteraktionen. Gemeinsam mit den Beiträgen der Partner zur kontaktlosen Vitaldatenerfassung und zur akustischen Szenenanalyse entstehen spezialisierte Encoder für die jeweiligen Datenquellen. Ihre Ausgaben werden zu einem digitalen Zwilling des kognitiven Zustands der fahrenden Person zusammengeführt. Ein domänenspezifisches KI-Modell soll daraus den Fahrerzustand einschätzen und die relevanten Einflussfaktoren in verständlicher Form ausgeben.
Projektziel: Demonstrator und Validierungsdatensatz
SensAI befindet sich in der Entwicklungsphase. Die beteiligten Institute bauen die Sensorik und Datenverarbeitung auf und bereiten die Integration in Versuchsträger vor. Als zentrale Projektergebnisse sind ein integrierter Demonstrator, ein multimodaler Validierungsdatensatz und eine empirisch gestützte Messdefinition für kognitive Ablenkung vorgesehen. Damit sollen Fahrerbeobachtungssysteme systematisch entwickelt, verglichen und geprüft werden können. Für Fahrzeughersteller, Zulieferer und Prüforganisationen ergeben sich Anknüpfungspunkte bei Sensorintegration, KI-Modellen, Datenerhebung, Benchmarks und der Entwicklung kontextsensitiver Assistenzsysteme.
