Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Inhaltsbezogene Videoanalyse

Inhaltsbezogene Videoanalyse

Videoanalyse

Gruppenbeschreibung

Die automatische Analyse von Videodaten bzgl. anwendungsspezifischer Inhalte hat in den letzten Jahren stetig an Bedeutung gewonnen. In Umgebungen mit definierter Komplexität, welche vorwiegend im industriellen Umfeld zu finden sind, zählen videobasierte Automatisierungsansätze heutzutage zu den etablieren Technologien. Trotz aller Fortschritte in den vergangenen Jahren stellt die automatische Analyse von Videodaten unter unkontrollierten Bedingungen dennoch ein in weiten Bereichen ungelöstes Problem dar. Eine der großen Herausforderungen resultiert dabei aus der Komplexität und Variabilität beobachteter Szenen.  Hierzu zählen zum Beispiel starke Formveränderungen von Objekten, ebenso wie die Anzahl der zu detektierenden Objekte und die Strukturierung des Hintergrunds. Unter Berücksichtigung dieser Aspekte bearbeiten wir schwerpunktmäßig folgende Fragestellungen:

  • Robuste Videoanalyse. Schwerpunkt der Forschungsarbeiten liegt in der Analyse von Videodaten auf bewegten Plattformen  in unstrukturierten Umgebungen. Hierzu zählt die Detektion- und Verfolgung von Objekten, ebenso wie die Entwicklung effizienter Vorverarbeitungsalgorithmen welche sich für Anwendungen auf frei beweglichen Sensorplatformen eignen.
      
  • Adaptivität. Videoanalysesysteme, welche in unbekannten Umgebungen, bzw. unter unbekannten Umgebungen eingesetzt werden, müssen in der Lage sein sich automatisch an ihre Umgebung anzupassen. Die automatische Anpassung kann dabei „offline“ durch statistische Verfahren, aber auch durch automatisches Nachlernen nach Inbetriebnahme erfolgen.
      
  • Skalierbarkeit. Robuste Verfahren zur Szenenanalyse sind zur Zeit auf die Detektion weniger spezialisierter Objekte oder Ereignisse beschränkt. Durch die Zunehmende Vernetzung, sowie stetig steigende Anforderung an die Diskriminationsleistung von Videoanalysesystemen gewinnt insbesondere das Problem der Skalierbarkeit solcher Verfahren zunehmend an Bedeutung.

Mitarbeiter

Dr. Wolfgang Hübner
Stefan Becker
Ann-Kristin Grosselfinger
Ronny Hug
Hilke Kieritz
Dr. David Münch


Projekte


Pfadprädiktion und Risikobewertung
Die Prädiktion möglicher Pfade, welchen z.B. Fußgänger oder Fahrzeuge in einer gegebenen Situation folgen werden, bildet einen zentralen Baustein für eine automatisierte Risikobewertung. Hierbei bietet die Prädiktion, im Gegensatz zu zeitlich rückwärts gerichteten Inferenzmethoden, den Vorteil, dass sie ohne Zeitverzögerung erfolgen kann.

Zielsetzung. Aufbauend auf tiefen rekurrenten Netzwerken wird ein statistisches Verhaltensmodell aufgebaut. Dabei werden in dem Verhaltensmodell unterschiedliche Informationsquellen integriert. Hierzu können z.B. visuell wahrnehmbare Hindernisse, das Verhalten anderer Agenten, sowie Bewegungsprofile entlang von Trajektorien zur Vorhersage genutzt werden.


Automatische Generierung komplexer Filterarchitekturen
Zustandsschätzer, wie z.B. lineare Kalman-Filter oder Partikelfilter, werden insbesondere zur Modellierung dynamischer Systeme genutzt, wie sie z.B. bei Trackingverfahren zum Einsatz kommen. Um diese effizient nutzen zu können müssen allerdings eine Vielzahl von Modellannahmen, z.B. über  Objektdynamiken oder über die Struktur der Systemzustände, getroffen werden. Bei komplexen Systemen ist eine manuelle Modellierung allerdings nur eingeschränkt möglich.

Zielsetzung ist die Entwicklung eines auf Methoden des maschinellen Lernen beruhenden Ansatzes, welcher automatisch komplexe Filterarchitekturen erzeugen kann. Hierbei werden Anwendung anvisiert, welche komplexe Filtersysteme erfordern, wie z.B. die Beobachtung von Objekten ohne Tiefeninformationen ("monokulares Tracking").


Integriertes Trackmanagement
Im Bereich der ansichtsbasierten Objektdetektion bilden Trackingverfahren i.d.R. einen nachgeschalteten Verarbeitungsschritt, der dazu genutzt wird die Identität einzelner Objekte über mehrere Bilder hinweg sicher zu stellen. Neben direkten Anwendungen, wie z.B. der Erzeugung von Bewegungsprofilen, werden Trackingansätze auch zur Verbesserung der Systemleistung genutzt. Aktuell werden Detektion und Tracking i.d.R. allerdings als isolierte Bausteine betrachtet.

Zielsetzung ist die Entwicklung einer auf "Deep Learning" basierenden Architektur welche Objektdetektion und  Trackmanagement integriert. Hierdurch werden ad-hoc Verarbeitungsschritte eliminiert, was z.B. zu einer robusteren Datenassoziation führt.


Semi-automatische Datenakquisition und -aufbereitung
Die Verfügbarkeit großer Datenmengen  in Kombination mit qualitativ hochwertigen Grundwahrheitsdaten ist die Grundlage für die meisten aktuellen Verfahren des maschinellen Lernens. Die manuelle Erzeugung großer Datenmengen, welche z.B. für "Deep Learning" Ansätze geeignet sind stellt trotz der rapiden algorithmischen Weiterentwicklung eine große Hürde für die Anwendbarkeit  lernbasierter Verfahren dar.

Zielsetzung ist die Entwicklung eines interaktiven Modellierungswerkzeuges, welches neben der rein manuellen Erzeugung von Grundwahrheitsdaten auch automatisierte Komponenten zur Aufbereitung von Daten bereit stellt. Hierzu zählen u.A. auch Funktionalitäten zum Schutz der Privatsphäre durch Anonymisierung von Videodaten, wie z.B. dem Entfernen von Kennzeichen.


Automatisches Monitoring von Aktivitäten in Innenräumen
Zu den wesentlichen Herausforderungen beim automatischen Erfassen von Aktivitäten in Innenräumen mittels Videotechnik, zählen u.A. auch legale und soziale Problemstellungen, Fragen der Skalierbarkeit, und auch Fragen der Kompatibilität mit anderen cyber-physikalischen Sicherheitssystemen.

Zielsetzung des Projekts ist die Entwicklung von Videoanalysekomponenten welche eine automatische Generierung von Log-Daten unterstützten. Mit Hilfe der Log-Daten können z.B. Ereignisse in Videoströmen auf einem semantisch abstrakten Niveau zusammengefasst, indiziert, oder mit anderen cyber-physikalischen Systemen fusioniert werden.

Multi-Spektrale Videoanalyse
IR-Daten bieten in Ergänzung zu Videodaten im sichtbaren Spektrum den Vorteil das sie auch bei schwacher Umgebungsbeleuchtung ausreichend Informationen liefern können. Insbesondere bei stark veränderlichen Licht- und Wetterbedingungen kommen hierbei multi-spektrale Ansätze zum Einsatz. Bei der Anwendung maschineller Lernverfahren entsteht allerdings das Problem, dass im IR-Bereich nur sehr eingeschränkt Trainingsdaten zur Verfügung stehen.

Zielsetzung ist die Entwicklung geeigneter Lernverfahren welche Informationen aus dem sichtbaren Spektrum in das IR-Spektrum übertragen können, um hierdurch Ansätze wie Objektdetektion und ansichstbasierte Aktionsklassifikation für multi-spektrale Sensorsysteme anwendbar zu machen.
 

Autokalibrierung von "Master-Slave" Systemen
Um große Bereiche von einem einzelnen Beobachtungspunkt aus erfassen zu können, muß ein Ausgleich zwischen der Größe des Öffnungswinkels des optischen Systems und der für die meisten Bildverarbeitungsaufgaben notwendigen Mindestauflösung gefunden werden. Multi-fokale Systeme bieten hierbei eine Möglichkeit diesem Problem zu begegnen. Hierbei können multi-fokale Systeme als sogenannte "Master-Slave"-Systeme konzipiert werden, wobei allerdings eine gegenseitige Registrierung der einzelnen Kameras erforderlich ist.

Zielsetzung ist die Entwicklung einer einfachen Methode zur Selbstkalibrierung, welche die Verwendung kommerzieller Kameras erlaubt, und weiterhin auch keine großen Anforderungen an die Qualität der Kameraaufhängung stellt.

"Online" Visualisierung von Personentracks mit einer Kamera
Das Beobachten und Einschätzen von Situationen über einen längeren Zeitraum stellt menschliche Beobachter vor große Herausforderungen. Dies gilt insbesondere in komplexen, dynamischen Szenen in denen viele Ereignisse parallel ablaufen.

Zielsetzung ist die Entwicklung von Verfahren, welche eine statische Ansicht auf dynamische Szenen generieren und somit menschliche Beobachter entlasten können. Hierzu werden aus Personentracks automatisch einzelne optimale Ansichten ("Best Shot Analyse") ausgewählt, sowie eine statische Zusammenfassung einzelner Bewegungsabläufe generiert.



Ausgewählte Veröffentlichungen

  • Becker S., Hübner W., Arens M.: „State estimation for tracking in image space with a de- and re-coupled IMM filter“, Multimedia Tools and Applications, Springer, 2017
  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016 [Best Paper Award]
  • Münch D., Grosselfinger A., Hübner W., Arens M.: „Automatic unconstrained  online configuration of a master-slave camera system“, In Proc. of the Inter. Conf. on Computer Vision Systems (ICVS), LCNS, Springer, 2013 [Best Paper Award]
  • Kieritz H., Becker S., Hübner W., Arens M.: „Online multi-person tracking using integral channel features“, In Proc. of the 13th IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS), 2016
  • Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016
  • IJsselmuiden J., Münch D., Grosselfinger A., Arens M., Stiefelhagen R.: „Automatic understanding of group behavior using fuzzy temporal logic“, In: Journal of ambient intelligence and smart environments, S.623-649, 2014

Aktuelle Veröffentlichungen Mehr ]

  • Becker S., Hübner W., Arens M.: „State estimation for tracking in image space with a de- and re-coupled IMM filter“, Multimedia Tools and Applications, Springer, 2017
  • Hug R., Hübner W., Arens M.: „Interactive concepts for shaping generative models of spatial behavior“, In Proc. of IEEE 4th Int. Conf. on Soft Computing & Machine Intelligence (ISCMI), 2017
  • Hug R., Becker S., Hübner W., Arens M.: „On the reliability of LSTM-MDL models for pedestrian trajectory prediction“, Int. Workshop on Representation, analysis and recognition of shape and motion, 2017
  • Hug R., Hübner W., Arens M.: „Supporting generative models of spatial behaviour by user interaction“, In Proc. of European Symposium on Artifical Neural Networks, Computational Intelligence and Machine Learning, 2017
  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016
  • Kieritz H., Becker S., Hübner W., Arens M.: „Online multi-person tracking using integral channel features“, In Proc. of the 13th IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS), 2016
  • Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016
  • Hilsenbeck B., Münch D., Grosselfinger A., Hübner W., Arens M.: „Action recognition in the longwave infrared and the visible spectrum using Hough forests“, In Proc. IEEE Int. Symposium on Multimedia (ISM), 2016
  • Becker S., Scherer-Negenborn N., Thakkar P., Hübner W., Arens M.: „The effects of camera jitter for background subtraction algorithms on fused infrared-visible video streams“,  Proc. of SPIE, 2016
  • Becker S., Krah S., Hübner W., Arens M.: „MAD for visual tracker fusion“,  Proc. of SPIE, 2016
  • Münch D., Hilsenbeck B., Kieritz H., Becker S., Grosselfinger A., Hübner W., Arens M.: „Detection of infrastructure manipulation with knowledge-based video surveillance“,  Proc. of SPIE, 2016
  • Münch D., Becker S., Kieritz H., Hübner W., Arens M.: „Video-based log generation for security systems in indoor surveillance scenarios“,  Security Research Conference „Future Security“, 2016
  • Becker S., Hübner W., Arens M.: „Annotation driven MAP search space estimation for sliding-window based person detection“,  Proc. of 14th IAPR Int. Conf. on Machine Vision Applications (MVA), 2015
  • Becker S.,Münch D., Kieritz H., Hübner W., Arens M.: „Detecting abandoned objects using interacting multiple models“, Proc. of SPIE, 2015
  • Becker S., Scherer-Negenborn N., Thakkar P., Hübner W., Arens M.: „An evaluation of background subtraction algorithms on fused infrared-visible video streams“,  Proc. of SPIE, 2015
  • Münch D., Becker S., Kieritz H., Hübner W., Arens M.: „Knowledge-based situational analysis of unusual events in public places“,  Security Research Conference „Future Security“, 2015
  • Mehr ]

Aktuelle Abschlussarbeiten

  • P. Abel, „Robust Object Tracking with Interleaved Detection and Segmentation“, Masterarbeit, Institut für Theoretische Elektrotechnik und Systemoptimierung (ITE), KIT, 2017
  • F. Finkenbein, „Poseninvariante Erkennung von Fußgängern mittels nicht linearer Merkmalsintegration“, Masterarbeit, Karlsruher Institut für Technologie (KIT), 2015
  • S. Krah, „Erscheinungsbasiertes Tracking unter Ausnutzung von 3D Modellwissen“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014 
  • H. Caesar, „Image-based Activity Recognition using UAVs“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014
  • M. Cassola, „Using Online Multiple Instance Learning for Person Re-Identification in Video Data“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014 

Dissertationen

  • D. Münch, „Begriffliche Situationsanalyse aus Videodaten bei unvollständiger und fehlerhafter Information“, Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2017
  • J. Brauer, „Human Pose Estimation with Implicit Shape Models“, Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2014

Datensätze

  • Der IOSB „Multispectral Action Dataset“ enthält Videosequenzen von agressivem und nicht agressivem Verhalten, aufgezeichnet im sichtbaren und im IR Spektrum. Der Datensatz ist auf Nachfrage frei verfügbar. [ Download ]