Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Sensorbasierte Verhaltensanalyse

Die automatisierte Analyse des Verhaltens von Agenten in einer Szene bildet einen zentralen Bestandteil für eine Vielzahl von Anwendungen im Bereich der zivilen Sicherheit. Hierzu zählen rein passive Beobachtungsaufgaben, wie z.B. Perimeterschutz oder der Schutz öffentlicher Veranstaltungen, ebenso wie interaktive Ansätze zur Auswertung großer Datenmengen. Als Agent wird hierbei jedes Objekt, bzw. jede Person, bezeichnet welche potentiell eine Veränderung der aktuellen Situation herbeiführen kann.

Ebenso vielfältig wie die Aufgaben sind auch die technischen Konzepte, welche zu deren Lösung herangezogen werden. Die am häufigsten verfolgten Ansätze beruhen im Wesentlichen auf bildgebender Sensorik, sowie nachfolgenden (teil-)automatisierten Auswerteverfahren. Einer der großen Vorteile von Videoauswertung liegt darin, dass die Ergebnisse eines automatisierten Analyseprozesses unmittelbar von einem Nutzer interpretiert und verifiziert werden können.

Videobasierte Aktionserkennung

Im Bereich der videobasierten Aktionserkennung werden aktuell zwei Ansätze untersucht, welche sich in ihrer Aussagekraft ergänzen können:

1. Analyse intrinsischer Bewegungsmuster. Darunter versteht man die Analyse der Formveränderung, z.B. der Veränderung der Körperhaltung, während eine Aktion ausgeführt wird. In Abb. 1 sind Beispiele eines Datensatzes zur Klassifikation einzelner Aktionen dargestellt. Gegenstand aktueller Untersuchungen ist hierbei im Wesentlichen die Verwendbarkeit statistischer Lernverfahren zur Aktionsklassifikation im sichtbaren und infrarotem Spektralbereichen, sowie die Abhängig der Erkennungsleistung vom Blickpunkt [1]. Aufgrund ihrer Konstruktion sind solche Verfahren vorwiegend für kurze und mittlere Distanzen geeignet.

Abbildung 1: 7 Aktionsklassen (v. links nach rechts: Filmen, Schlagen, Neutral, Zeigen, Werfen, Winken. Die Videosequenzen wurden parallel im sichtbaren Spektrum, sowie im langwelligem infrarot Spektrum aufgenommen. © Fraunhofer IOSB

 

2. Analyse extrinsischer Bewegungsmuster. Hierzu zählt die Analyse von Trajektorien, bzw. komplexerer Bewegungsprofile entlang von Trajektorien, denen beobachtete Objekte folgen. Der technische Ansatz besteht aus einer Fusion von Objektdetektion und Objektverfolgung. Hierbei ist es wichtig die Identität einzelner Objekte über einen möglichst langen Zeitraum aufrecht zu erhalten. Hierzu werden aktuell Verfahren zum »Online«-Lernen spezifischer Objektmerkmale untersucht ([2], Abb. 2), welche in der Lage sind, zumindest auf kurzen Zeitintervallen, einzelne Objekte wieder zu erkennen.

Abbildung 2. »Online«-Lernen von Personenmodellen zur kurzzeitigen Wiedererkennung. Oben: Aktuelle Szene mit detektierten Personen (MOT15 Benchmarktest). Mitte u. Unten: Zwei Einzelpersonen und die zur Wiedererkennung genutzten Merkmale (Boxen). © Fraunhofer IOSB

Skalierbarkeit von Aktionserkennungsansätzen

Eine der großen Herausforderungen aktueller Ansätze liegt in deren Skalierung auf größere Anwendungsfelder, bei denen die Aktionen unterschiedlicher Agenten voneinander abhängig sein können. Die größte Herausforderung stellt hierbei das Problem der s.g. »kombinatorischen Explosion« dar, welches in unterschiedlichen Ausprägungen auftreten kann. Im Bereich statistischer Lernverfahren ist dies die Bereitstellung hinreichend großer und variabler Datensätze. Im Bereich symbolischer Situationsmodellierung (s. z.B. [3]) entsteht das Problem durch die Notwendigkeit die Variabilität der Umwelt in ein starres Regelsystem abbilden zu müssen. Ein möglicher Lösungsweg könnte in der Verwendung hybrider Ansätze (»Gray Box Modelle«) liegen, bei denen statistische Lernverfahren durch vom Endnutzer eingebrachtes Expertenwissen ergänzt werden können.

Referenzen

[1] Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016

[2] Kieritz H., Becker S., Hübner W., Arens M., „Online Multi-Person Tracking using Integral Channel Features“, IEEE Advanced Video and Signal-based Surveillance (AVSS), 2016

[3] Münch D., Hilsenbeck B., Kieritz H., Becker S., Grosselfinger A., Hübner W., Arens M.: „Detection of infrastructure manipulation with knowledge-based video surveillance“,  Proc. of SPIE, 2016