Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Inhaltsbezogene Videoanalyse

Inhaltsbezogene Videoanalyse

 Videoanalyse

Gruppenbeschreibung

Die automatische Analyse von Videodaten bzgl. anwendungsspezifischer Inhalte hat in den letzten Jahren stetig an Bedeutung gewonnen. In Umgebungen mit definierter Komplexität, welche vorwiegend im industriellen Umfeld zu finden sind, zählen videobasierte Automatisierungsansätze heutzutage zu den etablieren Technologien. Trotz aller Fortschritte in den vergangenen Jahren stellt die automatische Analyse von Videodaten unter unkontrollierten Bedingungen dennoch ein in weiten Bereichen ungelöstes Problem dar. Eine der großen Herausforderungen resultiert dabei aus der Komplexität und Variabilität beobachteter Szenen.  Hierzu zählen zum Beispiel starke Formveränderungen von Objekten, ebenso wie die Anzahl der zu detektierenden Objekte und die Strukturierung des Hintergrunds. Unter Berücksichtigung dieser Aspekte bearbeiten wir schwerpunktmäßig folgende Fragestellungen:

  • Robuste Videoanalyse. Schwerpunkt der Forschungsarbeiten liegt in der Analyse von Videodaten auf bewegten Plattformen  in unstrukturierten Umgebungen. Hierzu zählt die Detektion- und Verfolgung von Objekten, ebenso wie die Entwicklung effizienter Vorverarbeitungsalgorithmen welche sich für Anwendungen auf frei beweglichen Sensorplatformen eignen.
      
  • Adaptivität. Videoanalysesysteme, welche in unbekannten Umgebungen, bzw. unter unbekannten Umgebungen eingesetzt werden, müssen in der Lage sein sich automatisch an ihre Umgebung anzupassen. Die automatische Anpassung kann dabei „offline“ durch statistische Verfahren, aber auch durch automatisches Nachlernen nach Inbetriebnahme erfolgen.
      
  • Skalierbarkeit. Robuste Verfahren zur Szenenanalyse sind zur Zeit auf die Detektion weniger spezialisierter Objekte oder Ereignisse beschränkt. Durch die Zunehmende Vernetzung, sowie stetig steigende Anforderung an die Diskriminationsleistung von Videoanalysesystemen gewinnt insbesondere das Problem der Skalierbarkeit solcher Verfahren zunehmend an Bedeutung.

Mitarbeiter

Dr. Wolfgang Hübner
Stefan Becker
Ann-Kristin Grosselfinger
Ronny Hug
Hilke Kieritz
David Münch


Projekte

  • Ansichtsbasierte Personendetektion und -wiedererkennung
    Personendetektion, bzw. die Detektion von Fußgängern, ist eines der etablierten Felder in der bildbasierten Objekterkennung. Die Anwendungsbereiche reichen hierbei von automatisierten Videoanalysemethoden, über Robotik, bis hin zu allgemeineren Assistenzaufgaben. Im Rahmen des Projekts wird das Problem der Personendetektion durch eine Kombination aus "offline" und "online" trainierten Klassifikatoren angegangen. Die Kombination der beiden Komponenten erlaubt die Detektion von Personen in unstrukturierten Umgebungen, sowie die Verfolgung von Personen auch bei starken Veränderungen in Größe und Körperhaltung. Weiterhin können Personen über kürzere Zeitbereiche wiedererkannt werden. Die vorgestellten Verfahren können dabei parallel in unterschiedlichen Spektralbereichen angewandt werden, obwohl die Klassifikatoren ausschließlich im sichtbaren Spektrum trainiert wurden ("Transmodalität").

  • "Online" Visualisierung von Personentracks mit einer Kamera
    Das Beobachten und Bewerten dynamischer Szenen aufgrund eines oder mehrerer Videoströme ist für den menschlichen Beobachter eine schwierige Herausforderung. Ziel des Projektes ist die Entwicklung von Verfahren, welche eine statische Ansicht auf dynamische Szenen generieren und somit menschliche Beobachter entlasten können. Hierzu werden aus Personentracks automatisch einzelne optimale Ansichten ("Best Shot Analyse") einzelner Personen ausgewählt. Weiterhin werden multiple Ansichten sich bewegender Personen generiert, welche den Informationsgewinn für einen Beobachter maximieren sollen.

  • Automatisches Monitoring von Aktivitäten in Innenräumen
    Zu den wesentlichen Herausforderungen beim automatischen Erfassen von Aktivitäten in Innenräumen mittels Videotechnik, zählen u.A. legale und soziale Problemstellungen, Fragen der Skalierbarkeit, und auch Fragen der Kompatibilität mit anderen cyber-physikalischen Sicherheitssystemen. Das Ziel des Projekts ist die Entwicklung von Videoanalysekomponenten welche die automatische Generierung von Log-Daten unterstützten. Mit Hilfe der Log-Daten können z.B. Ereignisse in Videoströmen auf einem semantisch abstrakten Niveau zusammengefasst und weiterverarbeitet werden.

  • Autokalibrierung von "Master-Slave" Systemen
    Um große Bereiche von einem einzelnen Beobachtungspunkt aus erfassen zu können, muß ein Ausgleich zwischen der Größe des Öffnungswinkels des optischen Systems und der für die meisten Bildverarbeitungsaufgaben notwendigen Mindestauflösung gefunden werden. Multi-fokale Systeme bieten hierbei eine Möglichkeit diesem Problem zu begegnen. Hierbei können multi-fokale Systeme als sogenannte "Master-Slave"-Systeme konzipiert werden, wobei allerdings eine gegenseitige Registrierung der einzelnen Kameras erforderlich ist. Ziel des Projektes ist die Entwicklung einer einfachen Methode zur Selbstkalibrierung, welche die Verwendung einfacher Standardkameras erlaubt, und weiterhin auch keine großen Anforderungen an die Qualität der Kameraaufhängung stellt. Dieser Aufbau kann ebenfalls als Knoten innerhalb von semi-stationären Netzwerken verwendet werden, wobei sich jeder einzelne Knoten einfach auf- und abbauen lässt.

Ausgewählte Veröffentlichungen

  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016 [Best Paper Award]
  • Münch D., Grosselfinger A., Hübner W., Arens M.: „Automatic unconstrained  online configuration of a master-slave camera system“, In Proc. of the Inter. Conf. on Computer Vision Systems (ICVS), LCNS, Springer, 2013 [Best Paper Award]
  • Kieritz H., Becker S., Hübner W., Arens M.: „Online multi-person tracking using integral channel features“, In Proc. of the 13th IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS), 2016
  • Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016
  • IJsselmuiden J., Münch D., Grosselfinger A., Arens M., Stiefelhagen R.: „Automatic understanding of group behavior using fuzzy temporal logic“, In: Journal of ambient intelligence and smart environments, S.623-649, 2014

Aktuelle Veröffentlichungen Mehr ]

  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016
  • Kieritz H., Becker S., Hübner W., Arens M.: „Online multi-person tracking using integral channel features“, In Proc. of the 13th IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS), 2016
  • Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016
  • Hilsenbeck B., Münch D., Grosselfinger A., Hübner W., Arens M.: „Action recognition in the longwave infrared and the visible spectrum using Hough forests“, In Proc. IEEE Int. Symposium on Multimedia (ISM), 2016
  • Becker S., Scherer-Negenborn N., Thakkar P., Hübner W., Arens M.: „The effects of camera jitter for background subtraction algorithms on fused infrared-visible video streams“,  Proc. of SPIE, 2016
  • Becker S., Krah S., Hübner W., Arens M.: „MAD for visual tracker fusion“,  Proc. of SPIE, 2016
  • Münch D., Hilsenbeck B., Kieritz H., Becker S., Grosselfinger A., Hübner W., Arens M.: „Detection of infrastructure manipulation with knowledge-based video surveillance“,  Proc. of SPIE, 2016
  • Münch D., Becker S., Kieritz H., Hübner W., Arens M.: „Video-based log generation for security systems in indoor surveillance scenarios“,  Security Research Conference „Future Security“, 2016
  • Becker S., Hübner W., Arens M.: „Annotation driven MAP search space estimation for sliding-window based person detection“,  Proc. of 14th IAPR Int. Conf. on Machine Vision Applications (MVA), 2015
  • Becker S.,Münch D., Kieritz H., Hübner W., Arens M.: „Detecting abandoned objects using interacting multiple models“, Proc. of SPIE, 2015
  • Becker S., Scherer-Negenborn N., Thakkar P., Hübner W., Arens M.: „An evaluation of background subtraction algorithms on fused infrared-visible video streams“,  Proc. of SPIE, 2015
  • Münch D., Becker S., Kieritz H., Hübner W., Arens M.: „Knowledge-based situational analysis of unusual events in public places“,  Security Research Conference „Future Security“, 2015
  • Mehr ]

Aktuelle Abschlussarbeiten

  • P. Abel, „Robust Object Tracking with Interleaved Detection and Segmentation“, Masterarbeit, Institut für Theoretische Elektrotechnik und Systemoptimierung (ITE), KIT, 2017
  • F. Finkenbein, „Poseninvariante Erkennung von Fußgängern mittels nicht linearer Merkmalsintegration“, Masterarbeit, Karlsruher Institut für Technologie (KIT), 2015
  • J. Brauer, „Human Pose Estimation with Implicit Shape Models“, Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2014
  • S. Krah, „Erscheinungsbasiertes Tracking unter Ausnutzung von 3D Modellwissen“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014 
  • H. Caesar, „Image-based Activity Recognition using UAVs“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014
  • M. Cassola, „Using Online Multiple Instance Learning for Person Re-Identification in Video Data“, Diplomarbeit, Institut für Anthropomatik (IFA), KIT, 2014 

Datensätze

  • Der IOSB „Multispectral Action Dataset“ enthält Videosequenzen von agressivem und nicht agressivem Verhalten, aufgezeichnet im sichtbaren und im IR Spektrum. Der Datensatz ist auf Nachfrage frei verfügbar. [ Download ]