Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Objekterkennung in 3D-Sensordaten

Objekterkennung in 3D-Sensordaten

Gruppenbeschreibung

Gruppenbeschreibung

Die Erfassung und Analyse von 3D-Sensordaten gewinnt vor allem in solchen Anwendungsbereichen an Bedeutung, in denen ein hohes Maß an Automatisierung und Zuverlässigkeit in der Objekterkennung erforderlich ist. Beispielhafte Einsatzgebiete sind etwa die Kollisionsvermeidung für Fahrzeuge, Fluggeräte und mobile Roboter, die modellbasierte Erkennung und Verfolgung von Objekten im Nah- und Fernbereich, sowie die Optimierung der Annäherungsbewegung bei automatischen Andockmanövern.

Bei der Auswertung von 3D-Daten besteht der Unterschied zur klassischen Bild­verarbeitung darin, dass die räumliche Objektgeometrie nicht rekonstruiert werden muss, sondern in den Daten unmittelbar vorliegt. Die Objekterkennung wird dadurch erleichtert, dass eine Segmentierung der 3D-Daten und eine Bewertung von Formmerkmalen unabhängig von den Beleuchtungsverhältnissen und Farbkontrasten möglich sind.

Die Gruppe Objekterkennung in 3D-Sensordaten bearbeitet dieses Thema in einem breiten Anwendungsspektrum. Hierbei werden Auswerteverfahren für gängige aber auch für prototypische 3D-Sensoren entwickelt und optimiert. Zu den vorrangig eingesetzten Sensortypen gehören neben Stereokameras vor allem Sensoren mit aktiver Beleuchtung (z.B. Musterprojektoren, TOF-Kameras und Laserscanner). Neben der Objekterkennung werden Daten dieser Sensoren auch zur 3D-Änderungsdetektion und zur Bereitstellung von Kontextinformationen für die Bildauswertung genutzt.


Mitarbeiter

Dr. Marcus Hebel
Björn Borgmann
Axel L. Diehm
Joachim Gehrung
Dr. Marcus Hammer


Projekte

  • Technologieträger MODISSA
    Oft besteht der Bedarf an einem vielseitig einsetzbaren und konfigurierbaren Fahrzeug, das die zu Forschungszwecken nötigen Technologie- und Verfahrenstests für eine Vielzahl möglicher Sensoren und für verschiedene Einsatzszenarien erlaubt. Beim Technologieträger MODISSA (engl. Mobile Distributed Situation Awareness) handelt es sich um die IOSB-eigene Realisierung einer Experimentierplattform zur Sensorbewertung und Verfahrensentwicklung im Zusammenhang mit Aufgabenstellungen und Rahmenbedingungen von Fahrzeugschutz und fahrzeugbezogener Sicherheit, auch bei militärischen Anwendungen.
  • Änderungsdetektion in urbanen Gebieten
    Zum Monitoring städtischer Gebiete wurde eine Methodik zur Änderungsdetektion mit Daten hubschraubergetragener Laserscanner entwickelt. Die zur Referenz­daten­erzeugung vorgestellten Verfahren behandeln die Kalibrierung des Sensorsystems sowie die objektbasierte Analyse und Koregistrierung mehrerer Punktwolken aus vorausblickenden Schrägansichten. Der Vergleich mit den Referenzdaten erfolgt durch schritthaltende Segmentierung, geländereferenzierte Korrektur der Navigationsdaten und Analyse von Raumbelegungskonflikten im Ausbreitungsweg der Laserpulse.
  • Methoden zur modellbasierten 3D-Objekterkennung
    Am IOSB entwickelte Verfahren ermöglichen eine echtzeitfähige modellbasierte Objekterkennung auch bei größeren Modellbibliotheken. Durch einen proba­bi­listischen Ansatz, der auch Segmentierungs- und Korrespondenzfehler stochastisch modelliert, ist eine hohe Klassifikations­genauigkeit erreichbar. Für die Generierung von 3D-Modellen können Entfernungsbilder der Objekte verwendet werden, wie sie sich sehr gut mit aktuellen LIDAR-Systemen gewinnen lassen. Außerdem wurden Verfahren zur Objekterkennung und -verfolgung entwickelt, die ein generisches Objektmodell verwenden. Zur Bewertung existierender ATR-Ver­fahren wird ein Testdatensatz bereitgestellt, der aus 347 Entfernungs- und Intensitätsbildern von 146 verschiedenen maritimen Objekten besteht.
  • 3D-Tracking dynamischer Objekte
    Zur Demonstration der Vorteile eines LIDAR-Systems zur Objektverfolgung wurde beispielhaft ein Personen-Tracker aufgebaut. Die vom LIDAR aufgenommene Szene wird in Echtzeit in eine 3D-Punktwolke umgerechnet und darin ein grobes Per­sonenmodell gesucht. Wird damit eine Person detektiert, wird der Schwenk-Neige-Kopf mit dem Sensor so angesteuert, dass die Person bei den nachfolgenden Aufnahmen in der Mitte der Szene gehalten wird. Eine ähnliche Untersuchung fand zur Unterstützung der Entwicklung von unbemannten Fahr­zeugen für Fahrten im Konvoi statt. Hierbei wurde geprüft, inwiefern die auto­matische Verfolgung eines Führungsfahrzeugs auch unter erschwerten Be­dingungen (urbanes Gebiet, Verdeckungen, Abzweigungen, Gegenverkehr) fehlerfrei durchgeführt werden kann.
  • Hinderniswarnung für Hubschrauber
    Bei Hubschraubereinsätzen kann eine erhebliche Kollisionsgefahr mit schlecht sichtbaren Hindernissen bestehen. Hierfür wurden echtzeitfähige Verfahren zur 3D-Objektdetektion in Laserdaten entwickelt, insbesondere zur Bestimmung der Geländeoberfläche, zur Klassifizierung und Parametrisierung der darauf befindlichen Objekte und zur Erkennung spezieller Hindernisse wie Masten, Drähte und Überlandleitungen.

Verfügbare Datensätze (Testdaten, Benchmark-Datensätze)

  • Mobiles Laserscanning (MLS 1 - TUM City Campus)
    Am 18. April 2016 wurden mithilfe eines Sensorfahrzeugs des Fraunhofer IOSB Sensordaten mobiler Laserscanner (MLS) vom Stammgelände der TU München erfasst (48.1493° N, 11.5685° E). Die hier verfügbaren MLS-Daten sind für die Verfahrensentwicklung im Bereich der 3D-Objekterkennung geeignet, aber auch für Untersuchungen im Bereich LiDAR-SLAM und für zahlreiche andere Anwendungen von Laserdaten urbaner Gebiete, z.B. für Untersuchungen zur Stadtmodellerstellung.
  • Airborne Laserscanning (Abenberg-Daten)
    Hierbei handelt es sich um multitemporale Multi-Aspekt ALS-Daten (Airborne Laser Scanning) vom Ort Abenberg. Die Hubschrauberbefliegungen wurden am 18. April 2008 und am 31. August 2009 durchgeführt. Neben 3D-Punkten der abgetasteten Szene enthalten die beiden herunterladbaren Datensätze auch die Sensorpositionen zu jedem Einzelpunkt, Ergebnisse der Vorklassifizierung, lokale Normalenvektoren und Intensitätswerte. Die zeitversetzt aufgenommenen Daten eignen sich sehr gut zur Entwicklung und Untersuchung von Methoden zur automatischen Änderungsdetektion, aber auch für die Verfahrensentwicklung im Hinblick auf weitere Anwendungen von ALS-Daten urbaner Gebiete (z.B. Stadtmodellerstellung).
  • Maritimer Flash LIDAR Datensatz
    Die gesamte Datenbasis IOSB-MFL-20716 besteht aus 20716 Entfernungs- und Intensitätsbildern von 146 verschiedenen maritimen Fahrzeugen, die mit dem ASC 3D-Flash-LIDAR erfasst wurden. Eine aus 347 Entfernungsbilddateien bestehende Teilmenge dieser Datenbasis, zusammen mit 46 3D-Modellen und ground-truth-Daten, kann zur Algorithmenentwicklung und Verfahrensprüfung heruntergeladen werden: IOSB-MFL-347. Jede .txt-Bilddatei enthält Entfernungs-, Intensitäts- und Segmentierungsdaten.

Ausgewählte Veröffentlichungen [mehr]

  • Hebel, M., Arens, M., Stilla, U., 2013. Change detection in urban areas by object-based analysis and on-the-fly comparison of multi-view ALS data. ISPRS Journal of Photogrammetry and Remote Sensing 86, pp. 52-64. [DOI: 10.1016/j.isprsjprs.2013.09.005] [publica]
  • Gordon, M., Meidow, J., 2013. Calibration of a multi-beam laser system by using a TLS-generated reference. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume II-5/W2, ISPRS Workshop Laser Scanning 2013, pp. 85-90. [DOI: 10.5194/isprsannals-II-5-W2-85-2013] [publica]
  • Armbruster, W., Hammer, M., 2012. Segmentation, classification, and pose estimation of maritime targets in flash-ladar imagery. Proceedings of SPIE Vol. 8542 85420K. [DOI: 10.1117/12.974838] [publica]
  • Armbruster, W., Hammer, M., 2012. Maritime target identification in flash-ladar imagery. Proceedings of SPIE Vol. 8391 83910C. [DOI: 10.1117/12.920264] [publica]
  • Hebel, M., Stilla, U., 2011. Simultaneous Calibration of ALS Systems and Alignment of Multiview LiDAR Scans of Urban Areas. IEEE Transactions on Geoscience and Remote Sensing, Volume 50, Issue 6, pp. 2364-2379, [DOI: 10.1109/TGRS.2011.2171974] [publica]
  • Hebel, M., Stilla, U., 2010. LiDAR-supported Navigation of UAVs Over Urban Areas. Surveying and Land Information Science, Journal of the American Congress on Surveying and Mapping, ISSN 1538-1242, Volume 70, Number 3, pp. 139-149, [publica]

Abgeschlossene Abschlussarbeiten

  • Adam, E., 2015. Personendetektion in 3D-Punktwolken. Masterarbeit, Fakultät Elektrotechnik und Informatik, Fachgebiet Bildverarbeitung, Hochschule Aalen - Technik und Wirtschaft.
  • Maxein, A., 2014. Segmentierung von 3D-LIDAR-Punktwolken zur Klassifizierung pflanzlicher Strukturen. Diplomarbeit, Fakultät für Informatik, Lehrstuhl für Interaktive Echtzeitsysteme, KIT.
  • Hebel, M., 2012. Änderungsdetektion in urbanen Gebieten durch objektbasierte Analyse und schritthaltenden Vergleich von Multi-Aspekt ALS-Daten. Dissertation, Technische Universität München. Erscheint in: Deutsche Geodätische Kommission bei der Bayerischen Akademie der Wissenschaften (DGK), Reihe C, Nr. 690. ISBN 978-3-7696-5102-7, 147 S. [pdf (DGK)] [pdf (TUM)] [publica]
  • Schilling, C., 2007. Online-Extraktion von Primitivobjekten aus Laserradardaten. Diplomarbeit, Fakultät für Elektrotechnik und Informationstechnik, Institut für Nachrichtentechnik (INT), Universität Karlsruhe (TH).