Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Bewegungsdetektion und Bewegungsanalyse

Bewegungsdetektion in Bildsequenzen ist ein wichtiger Bestandteil für die Bildauswertung. Ist die Bewegung zwischen Bildern bekannt, kann diese Information u.a. zur Bewegungsdetektion, -Verfolgung, -Erkennung, zur Segmentierung oder 3D Rekonstruktion verwendet werden. Die geschätzten Bewegungsfelder können auch dazu verwendet werden um bestimmte Bewegungen zu analysieren, z.B. ist die Detektion von anormalem Verhalten anhand von Bewegungsfeldern möglich.

Differentielle Verfahren auf Basis des optischen Flusses zählen zu den genauesten Verfahren zur Bewegungsdetektion. Mit Hilfe des optischen Flusses kann die Veränderung von Grauwerten zwischen zwei Bildern auf Grund von Bewegung bestimmt werden. Ein Nachteil des optischen Flusses ist die Komplexität der Algorithmen, die zu einer langen Ausführungsdauer führen. Abbildung 1 zeigt zwei Bilder der Middlebury-Testsequenz „DogDance“ und den geschätzten optischen Fluss. Der optische Fluss ist farbkodiert nach der in der Abbildung 1 ganz rechts dargestellten Farbkodierung, d.h. dunkelrot bedeutet große Bewegung nach rechts, gelb bedeutet Bewegung nach unten. Es ist gut zu erkennen, dass sich das Mädchen nach rechts und der Hund nach unten links bewegt.

 

 

Abbildung 1: Zwei Bilder einer Testsequenz, der berechnete optische Fluss und die dazugehörige Farbkodierung.

 

Aktuelle Grafikkarten (GPU) bieten die Möglichkeit parallele Anwendungen um ein Vielfaches schneller auszuführen als Standard PC’s. Daher werden Grafikkarten immer häufiger in der Bildverarbeitung eingesetzt um Anwendungen in Echtzeit ausführen zu können.

Die Abteilung ASM verfügt über unterschiedliche Methoden zur Bewegungsschätzung auf Basis des optischen Flusses. Neben Verfahren, die die Berechnung auch von größeren Bilddaten in Echtzeit erlauben, sind auch Verfahren für hohe Genauigkeit und Robustheit entwickelt worden.

 

Anwendungen:

 

Bewegungsdetektion in Echtzeit

Der Optische Fluss kann zur Segmentierung von Vorder- und Hintergrundbewegungen verwendet werden. Dies kann z.B. in Autos zur Vermeidung von Unfällen verwendet werden. Abbildung 2 zeigt links ein Bild einer Autosequenz, in der Mitte, das in Echtzeit berechnete Bewegungsfeld und rechts daneben das um die Eigenbewegung des Fahrzeuges korrigierte Bewegungsfeld. Die Vordergrundobjekte (eine Person und die zwei Autos) sind deutlich zu erkennen.

 


Abbildung 2: Eingangsbild der Testsequenz, berechneter optischer Fluss, und segmentierte Vordergrundobjekte.

 

 

Super-Resolution

In bestimmten Fällen verfügen Bilder nicht über die gewünschte Auflösung um nachfolgende Analysen durchzuführen, z.B. zur Identifikation von Personen in großer Entfernung. Mit Hilfe des optischen Flusses können mehrere Bilder einer Videosequenz zu einem höheraufgelösten Bild zusammengefügt werden. Abbildung 3 zeigt in der oberen Reihe Bilder einer Testsequenz. Das Bild links unten ist das vergrößerte Bild des ersten Bildes. Das zweite Bild ist das mit Hilfe des optischen Flusses berechnete Bild aus mehreren Eingangsbildern. Der Kontrast ist deutlich höher, so wie die Kanten ausgeprägter im Vergleich zum linken Bild.

 

Abbildung 3: Oben: Eingangssequenz mit niedrigaufgelösten Bildern. Unten links: vergrößertes Bild des ersten Eingangsbildes, unten rechts: hochaufgelöstes Bild aus mehreren Eingangsbildern.

 

 

Abnormal Activity Recognition

Das Bewegungsfeld in Videos kann auch dazu verwendet werden, anormale Bewegungen, z.B. Schlägereien, zu detektieren. Dafür werden zunächst normale Bewegungsmuster gelernt. Anschließend werden die Bewegungen analysiert und verglichen, ob es sich um normale Bewegungen handelt. Ein Index gibt an, wie ungewöhnlich diese Bewegung dann ist. Abbildung 4 zeigt zwei Eingangsbilder einer Sequenz mit ungewöhnlichen Bewegungen. Der rote Punkt gibt an, dass anormale Bewegungen detektiert wurden. Das dritte Bild zeigt den berechneten optischen Fluss und das Bild ganz rechts zeigt den sog. „Abnormality“-Index. Dabei entspricht „0“ einer normalen und „1“ einer sehr ungewöhnlichen Bewegung.

 

 

Abbildung 4: Zwei Eingangsbilder einer ungewöhnlichen Sequenz, der berechnete optische Fluss und der dazugehörige „Abnormality“-Index.

 

 

3-D Rekonstruktion und 3-D Bewegungsschätzung

Berechnet man die Bewegung zwischen unterschiedlichen Kameras, können die Bewegungsfelder zur 3-D Rekonstruktion und Bewegungsschätzung verwendet werden. Abbildung 5 zeigt ein Eingangsbild eines Arms. Daneben ist die 3-D Rekonstruktion sowie die 3-D Bewegung (Rotation) dargestellt.

 

 

Abbildung 5: Eingangsbild eines rotierenden Arms und die dazugehörige 3-D Rekonstruktion und 3-D Bewegung.