Assistenzroboter schenkt Frau eine Rose
© Fraunhofer IOSB
Aufmerksamkeits-Sensitiver Assistenzroboter

ASARob – Aufmerksamkeits-sensitiver Assistenzroboter

Interaktion mit und Unterstützung von Menschen in Alltagsumgebungen.

Projektziele

Wenn Assistenzroboter den Menschen im Alltag intuitiv und effektiv unterstützen sollen, dann ist eine fehlerfreie und an die Erwartungen angepasste Interaktion zwischen Mensch und Roboter essenziell. Eine verlässliche Interpretation des menschlichen Handelns inklusive des sprachlichen Kontexts ist dabei wesentlich, um eine nutzerzentrierte und intuitive Interaktion zwischen Mensch und Roboter zu ermöglichen. 

In dem durch das BMBF-geförderten Projekt ASARob sollte eine fehlerfreie Aufmerksamkeitserfassung und -lenkung implementiert werden, welche die Interaktionsmöglichkeiten zwischen Mensch und Roboter erweitert. Dafür wurde untersucht, wie der Roboter über unterschiedliche Informationen (textuell, auditiv, sprachlich, räumlich und visuell) erkennen kann, worauf sich die visuelle Aufmerksamkeit des Menschen richtet. Des Weiteren musste der Roboter die Aufmerksamkeit des Menschen über dieselben Modalitäten lenken können, um z.B. auf Ablenkungen des Nutzers entsprechend reagieren zu können.

Beitrag und Methodik

Das IOSB trug im Projektverbund die kamerabasierte Nutzererfassung, multimodale Aufmerksamkeitserkennung und Aktivitätserkennung für die Roboter-Mensch-Interaktion bei. Die echtzeitfähigen Verfahren wurden während der Projektlaufzeit entwickelt und in die Gesamtarchitektur des eingesetzten Roboters integriert. Die Erkennung der Nutzeraufmerksamkeit basierte dabei auf einer robusten Erfassung der Kopfdrehung sowie Objekterfassung im Umfeld des Roboters. In Verbindung mit dem Dialogmanagementsystem des Roboters wurde ein Weltmodell erzeugt, in dem mögliche Aufmerksamkeitsziele des Nutzers stetig abgebildet und aktualisiert wurden. Durch das Nachvollziehen der Nutzerinteraktion mit einzelnen Objekten, der Kopfdrehung und Dialoggestaltung konnte die Aufmerksamkeit präzise wahrgenommen werden.

 

Das System wurde an die Anforderungen in häuslicher Umgebung ausgerichtet, wobei in Absprache mit zwei Geriatriezentren anwendungsnahe Evaluationskriterien erarbeitet wurden. Damit sollte es Robotern ermöglicht werden, das Verhalten, Handeln und den sprachlichen Kontext von Nutzerinnen und Nutzern sicher zu erfassen und zu interpretieren, um im Alltag sinnvoll und situationsgerecht zu helfen.

Abteilung Interaktive Analyse und Diagnose

Sie wollen mehr über unser Kompetenz- und Leistungsspektrum im Bereich Interaktive Analyse und Diagnose erfahren? Dann besuchen Sie die Seite der Abteilung IAD.

Weitere Informationen

zum Projekt ASARob - Aufmerksamkeits-Sensitiver AssistenzROBoter:
 

Projektlaufzeit: 2017 - 2020

Das Projekt wird gefördert vom Bundesministerium für Bildung und Forschung (BMBF).

Weitere Projekte der Abteilung IAD

Hier finden Sie weitere Projekte mit Beteiligung der Abteilung Interaktive Analyse und Diagnose.