Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

MQUBE

MQUBE

Was ist mQube?


mQube unterstützt die Raum- und Bühnengestaltung für Theater, Film oder Musikveranstaltungen. Denkbar ist aber auch ein Einsatz im Messebau oder in Stadtplanung und Architektur - überall dort, wo in dreidimensionalen Umgebungen modelliert und geplant werden muss.

Die Mixed Reality Stage


Für die Bereiche Theater / Film / Musik wurde ein Prototyp entwickelt, die Mixed Reality Stage.

Weiterentwickelte Techniken aus dem Forschungsgebiet Augmented Reality integrieren beliebige computergenerierte Objekte und Akteure in das reale 3-D-Umfeld einer Arbeitsgruppe.

Das Besondere: die eingeblendeten virtuellen Objekte werden nicht nur als wahrer Bestandteil der Szene wahrgenommen, sondern können auch wie reale Objekte manipuliert werden.

 
Mixed Reality Stage

Kern der Mixed Reality Stage ist ein realer Bühnennachbau inklusive kompletter Lichttechnik im Maßstab 1:4 (siehe Abb.). In der Mixed Reality Stage werden nun Aufbauten und Raumelemente ebenso virtuell simuliert wie die Positionen und Bewegungen von Figuren. Die virtuellen Objekte können von allen Beteiligten durch Stellvertreter-Objekte von Hand verschoben oder verändert werden.

3-D-Objektverfolgung aus Videos


Das IOSB Karlsruhe liefert im Rahmen von mQube Verfahren zur 3-D-Verfolgung der Stellvertreter-Objekte aus Videodaten.

Hierfür wurden zwei Ansätze entwickelt:

Object Tracking by Shape (OTS)


OTS verfolgt die dreidimensionale Lage und Position der Stellvertreterobjekte auf Basis der Objektkonturen.

 

Im Bildbeispiel wird ein hantelförmiges Objekt bei Scheinwerferlicht und partieller Verdeckung durch die Hand (links) sowie vor komplexem Hintergrund (rechts) verfolgt. Die roten Markierungen stellen die geschätzte Position des verfolgten Objekts dar.

Weitere Informationen zu Object Tracking by Shape (OTS)

Markenbasierte Verfolgung


Mit so genannten Mehrpunktmarken werden die Position und die Orientierung des Stellvertreterobjekts mit nur einer Kamera verfolgt.

 

Im Bildbeispiel wird ein Würfel verfolgt. Seine Lageschätzung ist in rot dargestellt, das Szenenkoordinatensystem in Form einer Szenentischebene mit gelb und blau (links: Darstellung bezüglich Kamerabild, rechts: bezüglich einer virtuellen Ansicht).

Weitere Informationen zur Markenbasierten Verfolgung: Markenbasierte 3-D-Lagemessung

mQube wurde als Verbundprojekt vom BMBF gefördert.

 

Gruppe: Bildgestützte Echtzeitsysteme