Bewegungsdetektion, Bewegungsanalyse und Objektverfolgung

Bewegungsdetektion in Bildsequenzen

ist ein wichtiger Bestandteil für die Bildauswertung. Wenn die Bewegung zwischen Bildern bekannt ist, kann diese Information u.a. zur Bewegungsdetektion, -Verfolgung, -Erkennung, zur Segmentierung oder 3D Rekonstruktion verwendet werden. Die geschätzten Bewegungsfelder können auch dazu verwendet werden um bestimmte Bewegungen zu analysieren, z.B. ist die Detektion von anormalem Verhalten anhand von Bewegungsfeldern möglich.

Differentielle Verfahren auf Basis des optischen Flusses zählen zu den genauesten Verfahren zur Bewegungsdetektion. Mit Hilfe des optischen Flusses kann die Veränderung von Grauwerten zwischen zwei Bildern auf Grund von Bewegung bestimmt werden. Ein Nachteil des optischen Flusses ist die Komplexität der Algorithmen, die zu einer langen Ausführungsdauer führen. Die Abbildung zeigt zwei Bilder der Middlebury-Testsequenz „DogDance“ und den geschätzten optischen Fluss. Der optische Fluss ist farbkodiert nach der in der Abbildung ganz rechts dargestellten Farbkodierung, d.h. dunkelrot bedeutet große Bewegung nach rechts, gelb bedeutet Bewegung nach unten. Es ist gut zu erkennen, dass sich das Mädchen nach rechts und der Hund nach unten links bewegt.

Aktuelle Grafikkarten (GPU) bieten die Möglichkeit parallele Anwendungen um ein Vielfaches schneller auszuführen als Standard PC’s. Daher werden Grafikkarten immer häufiger in der Bildverarbeitung eingesetzt um Anwendungen in Echtzeit ausführen zu können.

Die Abteilung ASM verfügt über unterschiedliche Methoden zur Bewegungsschätzung auf Basis des optischen Flusses. Neben Verfahren, die die Berechnung auch von größeren Bilddaten in Echtzeit erlauben, sind auch Verfahren für hohe Genauigkeit und Robustheit entwickelt worden.

Bewegungsdetektion in Echtzeit und Objektverfolgung

Die Bewegung in Bildfolgen liefert wertvolle Informationen bezüglich der Struktur der Szene, der Bewegung der Kamera und den Eigenschaften von Objekten. Durch Schätzen der Verschiebungsfelder zwischen zwei aufeinanderfolgenden Aufnahmen erhält man den sog. Optischen Fluss.

Der Optische Fluss kann zur Segmentierung von Vorder- und Hintergrundbewegungen verwendet werden, was wiederum eine Rolle bei der Unfallprävention im Straßenverkehr spielen kann. Die Abbildung zeigt links ein Bild einer Autosequenz, in der Mitte, das in Echtzeit berechnete Bewegungsfeld und rechts daneben das um die Eigenbewegung des Fahrzeuges korrigierte Bewegungsfeld. Die Vordergrundobjekte (eine Person und die zwei Autos) sind deutlich zu erkennen.

Auf der Grundlage von Verschiebungsvektoren im Bild lassen sich beispielsweise verwackelte Videoaufnahmen stabilisieren, Bilfdfolgenteppiche generieren oder höhere Bildauflösungen erzielen.

Da einmal detektierte Objekte insbesondere in Straßen- oder Überwachungsszenarien selten an nur einer Stelle bleiben, ist die Information der Objektbewegung maßgeblich für die Erfassung der Situation. Die Verfolgung einzelner Objekte (Tracking) ist ein wesentlicher Forschungsschwerpunkt der Abteilung VID.

Super-Resolution

In bestimmten Fällen verfügen Bilder nicht über die gewünschte Auflösung um nachfolgende Analysen durchzuführen, z.B. zur Identifikation von Personen in großer Entfernung. Mit Hilfe des optischen Flusses können mehrere Bilder einer Videosequenz zu einem höheraufgelösten Bild zusammengefügt werden.

Die Abbildung zeigt in der oberen Reihe Bilder einer Testsequenz. Das Bild links unten ist das vergrößerte Bild des ersten Bildes. Das zweite Bild ist das mit Hilfe des optischen Flusses berechnete Bild aus mehreren Eingangsbildern. Der Kontrast ist deutlich höher, so wie die Kanten ausgeprägter im Vergleich zum linken Bild.

Erkennung von abnormalen Aktivitäten

Das Bewegungsfeld in Videos kann auch dazu verwendet werden, anormale Bewegungen, z.B. Schlägereien, zu detektieren. Dafür werden zunächst normale Bewegungsmuster gelernt. Anschließend werden die Bewegungen analysiert und verglichen, ob es sich um normale Bewegungen handelt. Ein Index gibt an, wie ungewöhnlich diese Bewegung dann ist.

Die Abbildung zeigt zwei Eingangsbilder einer Sequenz mit ungewöhnlichen Bewegungen. Der rote Punkt gibt an, dass anormale Bewegungen detektiert wurden. Das dritte Bild zeigt den berechneten optischen Fluss und das Bild ganz rechts zeigt den sog. „Abnormality“-Index. Dabei entspricht „0“ einer normalen und „1“ einer sehr ungewöhnlichen Bewegung.

3D Rekonstruktion und 3D Bewegungsschätzung

Berechnet man die Bewegung zwischen unterschiedlichen Kameras, können die Bewegungsfelder zur 3D Rekonstruktion und Bewegungsschätzung verwendet werden.

Die Abbildung zeigt das Eingangsbild eines rotierenden Arms und die dazugehörige 3D Rekonstruktion und 3D Bewegung.