Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 
Kurzbeschreibung des Projekts
Automatisierte Fahrzeuge werden den Fahrer zukünftig nicht nur entlasten, sondern zeitweise ganz die Fahrzeugführung übernehmen. Dadurch entsteht die Notwendigkeit, die Fahrzeugkontrolle zwischen Fahrer und Automation übergeben zu können. Für eine sichere Übergabe muss das automatisierte Fahrzeug das aktuelle Leistungsvermögen des Fahrers kennen und sich selbst daran anpassen. Nur durch eine effiziente und umfangreiche Fahrerbeobachtung lassen sich Kontrollübergaben sicher und komfortabel bewältigen.
Projektziele
Das Problem: Heutige Fahrerbeobachtung ignoriert Nebenaktivitäten.
Der heutige Stand der Technik zur Fahrerbeobachtung beschränkt sich vorwiegend auf Müdigkeitserkennung und Blickmessung zur Aufmerksamkeitsdetektion. Eine Prognose über die Ablenkung des Fahrers, z.B. aufgrund der Nebenaktivität der er nachgeht, findet bisweilen nicht statt. Mit zunehmender Automatisierung ist damit zu rechnen, dass bereits heute vom Fahrer durchgeführte Nebenaktivitäten vermehrt auftreten werden. Und mit Reduktion der menschlichen Fahrverantwortung, liegt eine Liberalisierung der Ablenkungsverbote im Innenraum nahe, sofern sichergestellt werden kann, dass der Fahrer rechtzeitig die Fahrkontrolle zurück übernehmen kann.
Nebenaktivitäten können kamerabasiert erkannt werden. Solche Systeme spielen ihre Stärken in dem genannten Anwendungsfall aus, weil die Möglichkeiten im Fahrzeuginnenraum begrenzt sind und eine vordefinierte Menge zu erfassender Aktivitäten eingegrenzt werden kann.
Projektergebnis
Fahrerbeobachtung zur Erfassung von Nebenaktivitäten.
Am IOSB wird die kamerabasierte Fahrerbeobachtung dahingehend ausgeweitet, dass zusätzlich zur Blickrichtung und Kopfdrehung auch das Körperskelett erfasst wird. Dadurch gewinnt die Innenraumerfassung Wissen darüber, wo sich Hände, Kopf und schließlich auch die Aufmerksamkeit des Fahrers befinden. Durch eine gesamte Innenraumerfassung aller Objekte und Insassen können physische Aktivitäten damit in einen Kontext gestellt und Nebenaktivitäten robust klassifiziert werden.
Auf Basis der erkannten Nebenaktivitäten werden im Projekt Übernahmezeiträume untersucht, in denen der Fahrer prinzipiell bereit zur Wiederaufnahme der Fahrverantwortung ist. Adaptive Mensch-Maschine-Schnittstellen, um den Fahrer auf den Bedarf einer Übernahme hinzuweisen, werden dementsprechend angepasst.