PAKoS

Personalisierte, adaptive, kooperative Systeme für automatisierte Fahrzeuge

Kurzbeschreibung des Projekts

Automatisierte Fahrzeuge werden den Fahrer zukünftig nicht nur entlasten, sondern zeitweise ganz die Fahrzeugführung übernehmen. Dadurch entsteht die Notwendigkeit, die Fahrzeugkontrolle zwischen Fahrer und Automation übergeben zu können. Für eine sichere Übergabe muss das automatisierte Fahrzeug das aktuelle Leistungsvermögen des Fahrers kennen und sich selbst daran anpassen. Nur durch eine effiziente und umfangreiche Fahrerbeobachtung lassen sich Kontrollübergaben sicher und komfortabel bewältigen.

Projektziele

Das Problem: Heutige Fahrerbeobachtung ignoriert Nebenaktivitäten.

Der heutige Stand der Technik zur Fahrerbeobachtung beschränkt sich vorwiegend auf Müdigkeitserkennung und Blickmessung zur Aufmerksamkeitsdetektion. Eine Prognose über die Ablenkung des Fahrers, z.B. aufgrund der Nebenaktivität der er nachgeht, findet bisweilen nicht statt. Mit zunehmender Automatisierung ist damit zu rechnen, dass bereits heute vom Fahrer durchgeführte Nebenaktivitäten vermehrt auftreten werden. Und mit Reduktion der menschlichen Fahrverantwortung, liegt eine Liberalisierung der Ablenkungsverbote im Innenraum nahe, sofern sichergestellt werden kann, dass der Fahrer rechtzeitig die Fahrkontrolle zurück übernehmen kann.

Nebenaktivitäten können kamerabasiert erkannt werden. Solche Systeme spielen ihre Stärken in dem genannten Anwendungsfall aus, weil die Möglichkeiten im Fahrzeuginnenraum begrenzt sind und eine vordefinierte Menge zu erfassender Aktivitäten eingegrenzt werden kann.

Projektergebnis

Fahrerbeobachtung zur Erfassung von Nebenaktivitäten.

Am IOSB wird die kamerabasierte Fahrerbeobachtung dahingehend ausgeweitet, dass zusätzlich zur Blickrichtung und Kopfdrehung auch das Körperskelett erfasst wird. Dadurch gewinnt die Innenraumerfassung Wissen darüber, wo sich Hände, Kopf und schließlich auch die Aufmerksamkeit des Fahrers befinden. Durch eine gesamte Innenraumerfassung aller Objekte und Insassen können physische Aktivitäten damit in einen Kontext gestellt und Nebenaktivitäten robust klassifiziert werden.

Auf Basis der erkannten Nebenaktivitäten werden im Projekt Übernahmezeiträume untersucht, in denen der Fahrer prinzipiell bereit zur Wiederaufnahme der Fahrverantwortung ist. Adaptive Mensch-Maschine-Schnittstellen, um den Fahrer auf den Bedarf einer Übernahme hinzuweisen, werden dementsprechend angepasst.

Projektpartner

Fraunhofer IOSB zusammen mit
  • b.i.g. security service GmbH
  • BMW AG
  • Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung
  • FZI Forschungszentrum Informatik
  • Karlsruher Institut für Technologie
  • mVISE AG
  • Robert Bosch GmbH
  • Spiegel Institut Holding GmbH & Co. KG
  • Technische Universität München
  • Videmo Intelligente Videoanalyse GmbH und Co. KG

Weitere Informationen über die Projektpartner und ihre Zuständigkeiten finden Sie hier.

 

Abteilung Human-AI Interaction

Sie wollen mehr über unser Kompetenz- und Leistungsspektrum im Bereich Human-AI Interaction erfahren? Dann besuchen Sie die Seite der Abteilung HAI.

 

Weitere Informationen

zum Projekt PAKoS – Personalisierte, adaptive, kooperative Systeme für automatisierte Fahrzeuge:

 

Das Projekt wird gefördert vom Bundesministerium für Bildung und Forschung (BMBF).