Intelligente Videoüberwachung für mehr Sicherheit und Datenschutz

Algorithmenbasierte Videoüberwachung im öffentlichen Raum zur Bekämpfung von Straßenkriminalität

Der Algorithmus extrahiert aus den Videoaufnahmen zunächst die Position der Körper und Gliedmaßen (»digitales Skelett«). Auf dieser Basis kann die KI dann bestimmte Verhaltensweisen klassifizieren.
© Originalbild Polizeipräsidium Mannheim, Bearbeitung Fraunhofer IOSB
Der Algorithmus extrahiert aus den Videoaufnahmen zunächst die Position der Körper und Gliedmaßen (»digitales Skelett«). Auf dieser Basis kann die KI dann bestimmte Verhaltensweisen klassifizieren.
© Fraunhofer IOSB
Systemarchitektur im Projekt: Konventionelle und die in Entwicklung befindliche intelligente Videoauswertung laufen parallel auf verschiedenen Rechnern.

Computer erkennen bestimmte Verhaltensmuster

Bei dem Pilotprojekt zum intelligenten, algorithmenbasierten Videoschutz geht es um die Bekämpfung von Straßenkriminalität im öffentlichen Raum. Das Gesicht bzw. die Identität einer Person spielt dabei keine Rolle, sondern lediglich deren Verhaltensmuster. Ziel ist, dass Computer bestimmte Verhaltensmuster, die auf Straftaten hindeuten - etwa Schlagen oder Treten - automatisch erkennen und die Polizeibeamten im Führungs- und Lagezentrum darauf hinweisen. Die Polizeibeamten dort können dann gezielt auf diese Situationen schauen und entscheiden, ob eine Intervention erforderlich ist und sie Kollegen zum Ort des Geschehens schicken.

Projektziele: Mehr Sicherheit UND mehr Datenschutz

Zum einen geht es darum, den Polizeibeamten im Führungs- und Lagezentrum die Arbeit zu erleichtern und damit letztlich die Sicherheit der Bürger*innen zu verbessern: Niemand kann über Stunden hinweg die Bilder von Dutzenden Videokameras parallel und mit konstanter Aufmerksamkeit  verfolgen. Ein Assistenzsystem, das relevante Szenen vorfiltert und die Aufmerksamkeit der Beamten gezielt dorthin lenkt, wo es sich lohnt genauer hinzuschauen, ist eine große Hilfe.

Zum anderen bietet dieser Ansatz neue Möglichkeiten, Videoüberwachung und Privatsphäre zusammenzubringen: Wenn brenzlige Situationen erst einmal zuverlässig erkannt werden, können im Normalbetrieb alle Bilder verpixelt werden; scharf gestellt wird erst, wenn das System zu der Einschätzung kommt, dass ein Mensch sich diese Situation genauer anschauen sollte. 

Umsetzungsschritte

Im Projekt läuft das intelligente System parallel zur menschlichen Auswertung der Aufnahmen (die für 72 Stunden gespeichert und dann überschrieben werden) im Probebetrieb. Zum Einsatz kommt eine Experimentalsoftware, entwickelt in früheren Forschungsprojekten unter Laborbedingungen. Sie wird nun Schritt für Schritt an den Einsatz im realen Leben angepasst. Zunächst ist die Software in der Lage, Personen und Objekte zu erkennen. In einem zweiten Schritt kann sie die Körperhaltungen und Bewegungsabläufe von Personen erfassen. Auf dieser Basis soll die eingebaute Künstliche Intelligenz (KI) dann lernen, polizeilich relevante Situationen zu erkennen. Die KI benötigt dafür Trainingsdaten, also Aufnahmen entsprechender Situationen, um ähnliche Verhaltensmuster aus der Vielfalt der Bilder herausfiltern zu können. Solche Trainingsdaten aus dem öffentlichen Raum existieren aus Datenschutzgründen aber praktisch nicht. Deshalb hat das Projekt in Mannheim echten Pilotcharakter. Wie gut, mit welcher Zuverlässigkeit und welcher Rate an Fehleinschätzungen die Erkennung polizeilich relevanter Ereignisse gelingt, wird sich erst im Verlauf des Projekts erweisen.

Projektpartner

  • Polizeipräsidium Mannheim
  • Stadt Mannheim
  • Ministerium für Inneres, Digitalisierung und Migration Baden-Württemberg

Mannheim nimmt mit diesem Projekt eine Vorreiterrolle ein. Eine gezielte Änderung des baden-württembergischen Polizeigesetzes Ende 2017 schaffte überhaupt die rechtliche Grundlage für einen derartigen Technikeinsatz. Zu diesem Zeitpunkt hatten sich die Stadt und das Polizeipräsidium Mannheim sowie das Fraunhofer IOSB als Projektpartner bereits gefunden. Im Lauf des Jahres 2018 wurde in Mannheim Videoüberwachungshardware beschafft und an Orten mit deutlich erhöhter Straßenkriminalität installiert - insgesamt geplant sind 76 Kameras, die ihre Bilder über ein eigenes, abgeschottetes Glasfasernetz an das Lagezentrum im Mannheimer Polizeipräsidium übertragen. Eine Verbindung zum Internet besteht an keiner Stelle.

Mannheim machte bereits in den Jahren 2001 bis 2007 viel beachtete Erfahrungen mit der Videoüberwachung: Der »Mannheimer Weg« wurde damals zum Synonym für eine Videoüberwachung, die weniger auf Aufzeichnung und nachträgliche Aufklärung von Straftaten zielt als auf die unmittelbare und schnelle Intervention - und damit letztlich auf Prävention. Die Mannheimer Polizei erreichte damals eine durchschnittliche Reaktionszeit von zweieinhalb Minuten. In der Folge ging die Kriminalität an den beobachteten Brennpunkten so stark zurück, dass die Rechtsgrundlage für eine Videoüberwachung wegfiel und das damalige (analoge) System abgeschaltet werden musste. In den darauf folgenden Jahren verschlechterte sich die Sicherheitslage wieder.

Wissenschaftliche Veröffentlichungen

Jahr
Year
Titel/Autor:in
Title/Author
Publikationstyp
Publication Type
2026 Utilization of Occluded Detections and Target Information in Multi-Person Tracking
Stadler, Daniel
Dissertation
Doctoral Thesis
2025 Leveraging Thermal Imaging for Robust Human Pose Estimation in Low-Light Vision
Cormier, Mickael; Ng Zhi Yi, Caleb; Specker, Andreas; Blaß, Benjamin; Heizmann, Michael; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2025 UPPET: Unified Pedestrian Pose Estimation in Thermal Imaging
Cormier, Mickael; Specker, Andreas; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2025 Privacy-friendliness in human behavior analysis for urban surveillance scenarios
Golda, Thomas
Dissertation
Doctoral Thesis
2024 UPAR Challenge 2024: Pedestrian Attribute Recognition and Attribute-Based Person Retrieval - Dataset, Design, and Results
Cormier, Mickael; Specker, Andreas; Cezar Silveira Jacques Junior, Julio; Moritz, Lennart; Metzler, Jürgen; Moeslund, Thomas B.; Nasrollahi, Kamal; Escalera, Sergio; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2024 MUSAL: towards multisource 4D scene modeling by autonomous robot systems for the surveillance of critical infrastructure
Ruf, Boitumelo; Hermann, Max; Araujo, Antonio; Zimmermann, Robert; Petereit, Janko; Frey, Christian
Konferenzbeitrag
Conference Paper
2024 Knowledge-Distillation-Based Label Smoothing for Fine-Grained Open-Set Vehicle Recognition
Wolf, Stefan; Loran, Dennis; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2023 Intelligente Bild- und Videoauswertung für die Sicherheit
Golda, Thomas; Cormier, Mickael; Beyerer, Jürgen
Aufsatz in Buch
Book Article
2023 A Transformer-based Late-Fusion Mechanism for Fine-Grained Object Recognition in Videos
Koch, Jannik; Wolf, Stefan; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2022 A Simple Pyramid Vision Transformer for Human Pose Estimation in Crowds
Cormier, Mickael
Konferenzbeitrag
Conference Paper
2022 For the Sake of Privacy: Skeleton-Based Salient Behavior Recognition
Golda, Thomas; Thiemich, Johanna; Cormier, Mickael; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2022 Where are we with Human Pose Estimation in Real-World Surveillance?
Cormier, Mickael; Clepe, Aris; Specker, Andreas; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2022 Fast and Lightweight Online Person Search for Large-Scale Surveillance Systems
Specker, Andreas; Moritz, Lennart; Cormier, Mickael; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2022 Szeneninterpretation unter Verwendung multimodaler Sensorik und Salienzmaßen
Müller, Markus
Dissertation
Doctoral Thesis
2022 Perception of Risks and Usefulness of Smart Video Surveillance Systems
Golda, Thomas; Guaia, Deborah; Wagner-Hartl, Verena
Zeitschriftenaufsatz
Journal Article
2022 Intelligente Bild- und Videoauswertung für die Sicherheit
Golda, Thomas; Cormier, Mickael; Beyerer, Jürgen
Aufsatz in Buch
Book Article
2021 "Let's get ready to bundle!": Crowd-level Human Keypoint Tracking
Golda, Thomas
Konferenzbeitrag
Conference Paper
2021 A Data Annotation Process for Human Activity Recognition in Public Places
Cormier, Mickael
Konferenzbeitrag
Conference Paper
2021 Interactive Labeling for Human Pose Estimation in Surveillance Videos
Cormier, Mickael; Röpke, Fabian; Golda, Thomas; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2021 Fast Pedestrian Detection for Real-World Crowded Scenarios on Embedded GPU
Cormier, Mickael; Wolf, Stefan; Sommer, Lars; Schumann, Arne; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2020 Part Affinity Field based Activity Recognition
Golda, Thomas
Konferenzbeitrag
Conference Paper
2020 Image domain adaption of simulated data for human pose estimation
Golda, Thomas; Blattmann, Andreas; Metzler, Jürgen; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2020 Extended retinex and optimized image sharpening for hidden detail uncovering, visual range improvement, and image enhancement
Müller, Thomas
Konferenzbeitrag
Conference Paper
2020 A Realistic Predictor for Pedestrian Attribute Recognition
Specker, Andreas
Konferenzbeitrag
Conference Paper
2019 3D Face Reconstruction from Low-Resolution Images with Convolutional Neural Networks
Winkler, Rouven; Qu, Chengchao; Voth, Sascha; Beyerer, Jürgen
Konferenzbeitrag
Conference Paper
2019 Image-based Anomaly Detection within Crowds
Golda, Thomas
Konferenzbeitrag
Conference Paper
2019 Projekt "Videoüberwachung Mannheim 2017"
Pietsch, Klaus; Müller, Markus
Zeitschriftenaufsatz
Journal Article
2019 What goes around comes around: Cycle-Consistency-based Short-Term Motion Prediction for Anomaly Detection using Generative Adversarial Networks
Golda, Thomas; Murzyn, Nils A.; Qu, Chengchao; Kroschel, Kristian
Konferenzbeitrag
Conference Paper
Diese Liste ist ein Auszug aus der Publikationsplattform Fraunhofer-Publica

This list has been generated from the publication platform Fraunhofer-Publica

Abteilung VID des Fraunhofer IOSB

Sie wollen mehr über unsere Projekte im Bereich »intelligente Videoüberwachung« erfahren? Dann besuchen Sie die Seite unserer Abteilung VID und informieren Sie sich über weitere Projekte.

Projektsteckbrief

Intelligente Videoüberwachung in Mannheim

Projektstart: 3.12.2018 (dann Verlängerung im Dezember 2023)

Projektdauer: 5 + 3 Jahre

Projektvolumen: Stadt und Land investieren insgesamt ca. 1,6 Mio. Euro, davon fließen 0,5 Mio. Euro an das Fraunhofer IOSB (Stand 2018)