Inhaltsbezogene Videoanalyse

Gruppenbeschreibung

Die automatische Analyse von Videodaten bzgl. anwendungsspezifischer Inhalte hat in den letzten Jahren stetig an Bedeutung gewonnen. In Umgebungen mit definierter Komplexität, welche vorwiegend im industriellen Umfeld zu finden sind, zählen videobasierte Automatisierungsansätze heutzutage zu den etablieren Technologien. Trotz aller Fortschritte in den vergangenen Jahren stellt die automatische Analyse von Videodaten unter unkontrollierten Bedingungen dennoch ein in weiten Bereichen ungelöstes Problem dar. Eine der großen Herausforderungen resultiert dabei aus der Komplexität und Variabilität beobachteter Szenen.  Hierzu zählen zum Beispiel starke Formveränderungen von Objekten, ebenso wie die Anzahl der zu detektierenden Objekte und die Strukturierung des Hintergrunds. Unter Berücksichtigung dieser Aspekte bearbeiten wir schwerpunktmäßig folgende Fragestellungen:

  • Robuste Videoanalyse. Schwerpunkt der Forschungsarbeiten liegt in der Analyse von Videodaten auf bewegten Plattformen  in unstrukturierten Umgebungen. Hierzu zählt die Detektion- und Verfolgung von Objekten, ebenso wie die Entwicklung effizienter Vorverarbeitungsalgorithmen welche sich für Anwendungen auf frei beweglichen Sensorplatformen eignen.
      
  • Adaptivität. Videoanalysesysteme, welche in unbekannten Umgebungen, bzw. unter unbekannten Umgebungen eingesetzt werden, müssen in der Lage sein sich automatisch an ihre Umgebung anzupassen. Die automatische Anpassung kann dabei „offline“ durch statistische Verfahren, aber auch durch automatisches Nachlernen nach Inbetriebnahme erfolgen.
      
  • Skalierbarkeit. Robuste Verfahren zur Szenenanalyse sind zur Zeit auf die Detektion weniger spezialisierter Objekte oder Ereignisse beschränkt. Durch die Zunehmende Vernetzung, sowie stetig steigende Anforderung an die Diskriminationsleistung von Videoanalysesystemen gewinnt insbesondere das Problem der Skalierbarkeit solcher Verfahren zunehmend an Bedeutung.


Mitarbeiter

Dr. Wolfgang Hübner
Dr. Stefan Becker
Ronny Hug
Dr. David Münch
Jens Bayer
Ann-Kristin Grosselfinger
Vanessa Burmester


Projekte und Forschungsthemen


Pfadprädiktion und Risikobewertung
Die Prädiktion möglicher Pfade, welchen z.B. Fußgänger oder Fahrzeuge in einer gegebenen Situation folgen werden, bildet einen zentralen Baustein für eine automatisierte Risikobewertung. Hierbei bietet die Prädiktion, im Gegensatz zu zeitlich rückwärts gerichteten Inferenzmethoden, den Vorteil, dass sie ohne Zeitverzögerung erfolgen kann.

Zielsetzung. Aufbauend auf tiefen rekurrenten Netzwerken wird ein statistisches Verhaltensmodell aufgebaut. Dabei werden in dem Verhaltensmodell unterschiedliche Informationsquellen integriert. Hierzu können z.B. visuell wahrnehmbare Hindernisse, das Verhalten anderer Agenten, sowie Bewegungsprofile entlang von Trajektorien zur Vorhersage genutzt werden.


Automatische Generierung komplexer Filterarchitekturen
Zustandsschätzer, wie z.B. lineare Kalman-Filter oder Partikelfilter, werden insbesondere zur Modellierung dynamischer Systeme genutzt, wie sie z.B. bei Trackingverfahren zum Einsatz kommen. Um diese effizient nutzen zu können müssen allerdings eine Vielzahl von Modellannahmen, z.B. über  Objektdynamiken oder über die Struktur der Systemzustände, getroffen werden. Bei komplexen Systemen ist eine manuelle Modellierung allerdings nur eingeschränkt möglich.

Zielsetzung ist die Entwicklung eines auf Methoden des maschinellen Lernen beruhenden Ansatzes, welcher automatisch komplexe Filterarchitekturen erzeugen kann. Hierbei werden Anwendung anvisiert, welche komplexe Filtersysteme erfordern, wie z.B. die Beobachtung von Objekten ohne Tiefeninformationen ("monokulares Tracking").


Integriertes Trackmanagement
Im Bereich der ansichtsbasierten Objektdetektion bilden Trackingverfahren i.d.R. einen nachgeschalteten Verarbeitungsschritt, der dazu genutzt wird die Identität einzelner Objekte über mehrere Bilder hinweg sicher zu stellen. Neben direkten Anwendungen, wie z.B. der Erzeugung von Bewegungsprofilen, werden Trackingansätze auch zur Verbesserung der Systemleistung genutzt. Aktuell werden Detektion und Tracking i.d.R. allerdings als isolierte Bausteine betrachtet.

Zielsetzung ist die Entwicklung einer auf "Deep Learning" basierenden Architektur welche Objektdetektion und  Trackmanagement integriert. Hierdurch werden ad-hoc Verarbeitungsschritte eliminiert, was z.B. zu einer robusteren Datenassoziation führt.


Semi-automatische Datenakquisition und -aufbereitung
Die Verfügbarkeit großer Datenmengen  in Kombination mit qualitativ hochwertigen Grundwahrheitsdaten ist die Grundlage für die meisten aktuellen Verfahren des maschinellen Lernens. Die manuelle Erzeugung großer Datenmengen, welche z.B. für "Deep Learning" Ansätze geeignet sind stellt trotz der rapiden algorithmischen Weiterentwicklung eine große Hürde für die Anwendbarkeit  lernbasierter Verfahren dar.

Zielsetzung ist die Entwicklung eines interaktiven Modellierungswerkzeuges, welches neben der rein manuellen Erzeugung von Grundwahrheitsdaten auch automatisierte Komponenten zur Aufbereitung von Daten bereit stellt. Hierzu zählen u.A. auch Funktionalitäten zum Schutz der Privatsphäre durch Anonymisierung von Videodaten, wie z.B. dem Entfernen von Kennzeichen.


Automatisches Monitoring von Aktivitäten in Innenräumen
Zu den wesentlichen Herausforderungen beim automatischen Erfassen von Aktivitäten in Innenräumen mittels Videotechnik, zählen u.A. auch legale und soziale Problemstellungen, Fragen der Skalierbarkeit, und auch Fragen der Kompatibilität mit anderen cyber-physikalischen Sicherheitssystemen.

Zielsetzung des Projekts ist die Entwicklung von Videoanalysekomponenten welche eine automatische Generierung von Log-Daten unterstützten. Mit Hilfe der Log-Daten können z.B. Ereignisse in Videoströmen auf einem semantisch abstrakten Niveau zusammengefasst, indiziert, oder mit anderen cyber-physikalischen Systemen fusioniert werden.

Multi-Spektrale Videoanalyse
IR-Daten bieten in Ergänzung zu Videodaten im sichtbaren Spektrum den Vorteil das sie auch bei schwacher Umgebungsbeleuchtung ausreichend Informationen liefern können. Insbesondere bei stark veränderlichen Licht- und Wetterbedingungen kommen hierbei multi-spektrale Ansätze zum Einsatz. Bei der Anwendung maschineller Lernverfahren entsteht allerdings das Problem, dass im IR-Bereich nur sehr eingeschränkt Trainingsdaten zur Verfügung stehen.

Zielsetzung ist die Entwicklung geeigneter Lernverfahren welche Informationen aus dem sichtbaren Spektrum in das IR-Spektrum übertragen können, um hierdurch Ansätze wie Objektdetektion und ansichstbasierte Aktionsklassifikation für multi-spektrale Sensorsysteme anwendbar zu machen.
 

Autokalibrierung von "Master-Slave" Systemen
Um große Bereiche von einem einzelnen Beobachtungspunkt aus erfassen zu können, muß ein Ausgleich zwischen der Größe des Öffnungswinkels des optischen Systems und der für die meisten Bildverarbeitungsaufgaben notwendigen Mindestauflösung gefunden werden. Multi-fokale Systeme bieten hierbei eine Möglichkeit diesem Problem zu begegnen. Hierbei können multi-fokale Systeme als sogenannte "Master-Slave"-Systeme konzipiert werden, wobei allerdings eine gegenseitige Registrierung der einzelnen Kameras erforderlich ist.

Zielsetzung ist die Entwicklung einer einfachen Methode zur Selbstkalibrierung, welche die Verwendung kommerzieller Kameras erlaubt, und weiterhin auch keine großen Anforderungen an die Qualität der Kameraaufhängung stellt.

"Online" Visualisierung von Personentracks mit einer Kamera
Das Beobachten und Einschätzen von Situationen über einen längeren Zeitraum stellt menschliche Beobachter vor große Herausforderungen. Dies gilt insbesondere in komplexen, dynamischen Szenen in denen viele Ereignisse parallel ablaufen.

Zielsetzung ist die Entwicklung von Verfahren, welche eine statische Ansicht auf dynamische Szenen generieren und somit menschliche Beobachter entlasten können. Hierzu werden aus Personentracks automatisch einzelne optimale Ansichten ("Best Shot Analyse") ausgewählt, sowie eine statische Zusammenfassung einzelner Bewegungsabläufe generiert.



Ausgewählte Veröffentlichungen

  • Hug R., Becker S., Hübner W., Arens M., Introducing Probabilistic Bezier Curves for N-Step Sequence Prediction, The Thirty-Fourth {AAAI} Conference on Artificial Intelligence (AAAI), 2020
  • Kieritz H., Hübner W., Arens M.: „Joint detection and online multi-object tracking“, Conf. on Computer Vision and Pattern Recognition (CVPR) Workshops, 2018
  • Becker S., Hübner W., Arens M.: „State estimation for tracking in image space with a de- and re-coupled IMM filter“, Multimedia Tools and Applications, Springer, 2017
  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016 [Best Paper Award]
  • Münch D., Grosselfinger A., Hübner W., Arens M.: „Automatic unconstrained  online configuration of a master-slave camera system“,  In Proc. of the Inter. Conf. on Computer Vision Systems (ICVS), LCNS, Springer, 2013 [Best Paper Award]

Aktuelle Veröffentlichungen Mehr ]

  • Hug R., Becker S., Hübner W., Arens M., Introducing Probabilistic Bezier Curves for N-Step Sequence Prediction, The Thirty-Fourth {AAAI} Conference on Artificial Intelligence (AAAI), 2020
  • Hug R., Becker S., Hübner W., Arens M., A Short Note on Analyzing Sequence Complexity in Trajectory Prediction Benchmarks, Workshop on Long-term Human Motion Prediction (LHMP), 2020
  • Hug R., Becker S., Hübner W., Arens M., A complementary trajectory prediction benchmark, Workshop on Benchmarking Trajectory Forecasting Models (BTFM), 2020
  • Hug R., Hübner W., Arens M.: Modeling continuous-time stochastic processes using N-Curve mixtures, arXiv:1908.04030 [stat.ML], 2019
  • Becker S., Hug R., Hübner W., Arens M.: An RNN-based IMM Filter Surrogate, Scandinavian Conference on Image Analysis (SCIA), 2019
  • Becker S.: „RNN-based Prediction of Pedestrian Turning Maneuvers“, Proc. of the Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory, KIT Scientific Publishing, 2019
  • Becker S., Hug R., Hübner W., Arens M.: „RED: A simple but effective Baseline Predictor for the TrajNet Benchmark“, European Conference on Computer Vision (ECCV) Workshops, 2018
  • Hug R., Becker S., Hübner W., Arens M.:„Particle-based pedestrian path prediction using lstm-mdl models“, IEEE Int. Conf. on Intelligent Transportation Systems (ITSC), 2018
  • Kieritz H., Hübner W., Arens M.: „Joint detection and online multi-object tracking“, Conf. on Computer Vision and Pattern Recognition (CVPR) Workshops, 2018
  • Münch D., Arens M.:„Dynamic belief fusion of different person detection methods“, SPIE, 2018
  • Becker S., Hübner W., Arens M.: „State estimation for tracking in image space with a de- and re-coupled IMM filter“, Multimedia Tools and Applications, Springer, 2018
  • Hug R., Hübner W., Arens M.: „Interactive concepts for shaping generative models of spatial behavior“, In Proc. of IEEE 4th Int. Conf. on Soft Computing & Machine Intelligence (ISCMI), 2017
  • Hug R., Becker S., Hübner W., Arens M.: „On the reliability of LSTM-MDL models for pedestrian trajectory prediction“, Int. Workshop on Representation, analysis and recognition of shape and motion, 2017
  • Hug R., Hübner W., Arens M.: „Supporting generative models of spatial behaviour by user interaction“, In Proc. of European Symposium on Artifical Neural Networks, Computational Intelligence and Machine Learning, 2017
  • Becker S., Kieritz H., Hübner W., Arens M.: „On the Benefit of State Separation for Tracking in Image Space with an Interacting Multiple Model Filter“, Proc. 7th Int. Conf. on Image and Signal Processing (ICISP), 2016
  • Kieritz H., Becker S., Hübner W., Arens M.: „Online multi-person tracking using integral channel features“, In Proc. of the 13th IEEE Int. Conf. on Advanced Video and Signal Based Surveillance (AVSS), 2016
  • Hilsenbeck B., Münch D., Kieritz H., Hübner W., Arens M.: „Hierarchical Hough forests for view-independent action recognition“, In Proc. 23rd Int. Conf. on Pattern Recognition (ICPR), 2016
  • Mehr ]

Aktuelle Abschlussarbeiten

  • T. Kostov, „Integration of Observation Uncertainty into an RNN-based Prediction Network“, Masterarbeit, KIT, 2019

Dissertationen

  • S. Becker, „Dynamic Switching State Systems for Visual Tracking“, (DOI 10.5445/IR/1000119143), Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2020
  • D. Münch, „Begriffliche Situationsanalyse aus Videodaten bei unvollständiger und fehlerhafter Information“, Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2017
  • J. Brauer, „Human Pose Estimation with Implicit Shape Models“, Doktorarbeit, Karlsruher Institut für Technologie (KIT), 2014

Datensätze

  • Single Trajectory Sanity Check Benchmark Der Benchmark enthält Daten zur Bewertung von Algorithmen zur Vorhersage von Objektbahnen (engl. path prediction). Die Daten sowie weitere Informationen können über GitHub heruntergeladen werden.
  • Multispectral Action Dataset Der IOSB „Multispectral Action Dataset“ enthält Videosequenzen von agressivem und nicht agressivem Verhalten, aufgezeichnet im sichtbaren und im IR Spektrum. Der Datensatz ist auf Nachfrage frei verfügbar. [ Download ]