Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

MoViS - Motion based Vision System

MoViS ist ein Eigenforschungsprojekt mit dem Ziel, mittels multiokularen Kameraeinsatzes im Fahrzeug die Szene dreidimensional und intuitiv für den Fahrer darzustellen. Insbesondere bei vielen Kameras fällt es menschlichen Operateuren schwer, die gesamte und äußerst komplexe Bildinformation zu verarbeiten. Dies ist z. B. bei fensterlosen Fahrzeugen oder ferngesteuerten Fahrzeugen in potenziell gefährlichen Umgebungen erforderlich.

Durch die 3-D-Rekonstruktion der Szene soll der Fahrer also in die Lage versetzt werden, anhand der Visualisierung neue 3-D-Sichten zu generieren und seinen Eindruck von der Szene verbessern. Hierbei wird nur auf die Bildinformation der Kameras zurückgegriffen.

Das Projekt untergliedert sich in folgende Teilprojekte:

 

RobOd MoViS - Robust Odometry Estimation in a Motion based Vision System

  • Monokulare Bewegungsschätzung (visuelle Odometrie)
  • Selbstanalyse

Monokular geschätzte Bewegungstrajektorie

 

MonSter MoViS - Monocular Stereo Vision in a Motion Vision System

  • Gewichtete, dichte Tiefekarten (Semi-globales Matching) je Kamera mittels Bewegungsschätzung

Tiefenkarte aus einer Fahrt mit einer monokularen Kamera, texturiert (oben) und farbcodiert (unten).

 

MuSiCal MoViS - Multiple and Single Camera Calibration in a Motion based Vision System

  • Intrinsische Kalibrierung der Einzelkameras
  • Bestimmung der relativen Lage und Orientierung der Kameras sowohl offline (musterbasiert) als auch online (bewegungsbasiert, auch mit nichtüberlappenden Sichten!)
  • Schätzung der Bodenebene und Generierung einer Vogelperspektie

Links: Bildmosaik mit einer im Fahrzeug installierten Kamera. Rechts oben: Kamerabild, mit den für die Schätzung der Bodenebene verwendeten Bildbereiche (grün) und Ausreißern (rot). Rechts unten: Optischer Fluss.

 

DiSCo MoViS - Display and Scene Continuity in a Motion based Vision System

  • Fusion der 3-D-Daten aller Kameras in gemeinsamem Koordinatensystem
  • Quantisierung, temporäre Filterung, Polygonisierung und Visualisierung virtueller Sichten

 

Virtuelle Sichten eines Multikamerasystems mit nichtüberlappenden Sichten.