Erkennungssysteme und Bildauswertung

Erkennungssysteme sind Systeme/Verfahren, die aus eingehenden Daten höherwertige Informationen und Wissen über Entitäten in der realen Welt gewinnen oder den Menschen bei dieser Aufgabe assistieren.

Im IOSB werden insbesondere Erkennungssysteme auf der Basis von bildgebender Sensorik erforscht und in die Anwendung gebracht. Die bildgebende Sensorik umfasst dabei sowohl die visuellen als auch die IR-Spektralbereiche, die in Form von Einzelbildern oder auch Videobildfolgen verarbeitet werden. Hierbei spielt insbesondere auch der Echtzeitaspekt und die Verfahrensoptimierung für leichtgewichtige Hardware für anwendungsspezifische Lösungen eine wesentliche Rolle. Erkennungsverfahren sind primär Deep Learning/CNN-Ansätze, die entsprechend den Aufgabenstellungen angepasst und auf den institutseigenen Deep Learning Servern trainiert und evaluiert werden. Für das Training stehen einerseits bereits vielfältige Trainingsdatensätze bereit, andererseits können aber auch mit Hilfe von vorhandenen Werkzeugen und eingespielten Abläufen ergänzende Trainingsdatensätze erstellt werden.

Im Bereich der luftgestützten Bildauswertung sind neuartige Sensoren für Wide Area Motion Imagery (WAMI) entwickelt worden, die eine weiträumige Überwachung von einigen Quadratkilometern ermöglichen, da sie über eine hohe Bodenabdeckung bei gleichzeitig hohem Detailgrad verfügen (Weiträumige Überwachung (WAMI-Analyse)). Am Fraunhofer IOSB werden Verfahren für die automatische Auswertung von WAMI-Daten entwickelt, die die Detektion und das Tracking von Personen und Fahrzeugen realisieren (Fahrzeugdetektion in Luftbildern). Wesentliche Schritte sind hierbei die Bewegungsdetektion und die Objektdetektion, die mit Deep-Learning-Verfahren realisiert werden.

Weiterhin werden für eingeführte luft- und bodengestützte optronische Sensoren Verfahren zur Objektdetektion und Fahrzeugklassifikation realisiert. Für seegestützte Sensoren werden Verfahren zur Schiffsdetektion und -erkennung auf CNN-Basis realisiert.

Ein weiterer Arbeitsbereich ist die Detektion, Wiedererkennung und Aktivitätserkennung von Personen. Dieser umfasst die Spannbreite der Anwendungsdomänen von der Luftbildauswertung bis zur Auswertung von Kameranetzwerken. Aufgabenstellungen sind:

Die Erkennung und Abwehr von illegalen Drohnen stellt eine wesentliche Herausforderung dar, da z. B. Flughäfen geschlossen werden müssen, wenn dort Drohnen auftauchen. Eine Erstdetektion kann mit verschiedenen Sensoren, wie Radar oder Funkdetektion erfolgen. Für die nachfolgende Unterscheidung der Drohnen von Täuschobjekten wie Vögeln, herumfliegenden Gegenständen etc. und zur weiteren Analyse setzt das Fraunhofer IOSB Videosensorik ein. Hierzu werden Detektions- und Tracking-Verfahren zur Drohnenverfolgung mit einem Spotter und Deep-Learning-Verfahren zur Unterscheidung von Clutter und Erkennung der Drohnen-Typen realisiert (UAV-Detektion und -Erkennung)

Die Erkennung von zeitlichen Veränderungen zwischen mehreren Überflügen mit Video-Sensorik stellt eine wesentliche Informationsverdichtung dar, da nur noch die veränderten Objekte betrachtet werden müssen. Ein Anwendungsbeispiel ist die Inspektion von Bau-Infrastruktur auf Veränderungen, wie Korrosionseffekte oder fehlende Teile. Durch Veränderung der Perspektive, Beleuchtungsbedingungen, irrelevanten Bewegungen wie z. B. der Vegetation, entstehen zwischen den Bildern der verschiedenen Überflüge viele Änderungen, die nicht weiter relevant sind. Daher stellt die semantische Klassifikation der Objekte mit Deep Learning Verfahren einen wesentlichen Schritt im Rahmen der Verfahren für die luftgestützte Change Detection dar, um relevante Änderungen zu erkennen. Entsprechende Verfahrensketten sind realisiert und befinden sich in Erprobung.

Ausbildung und Training des Bildauswerters dienen zur Sicherstellung der Handlungskompetenz und tragen zu einer effektiven und effizienten Nutzung von Erkennungs- und Bildauswertesystemen bei. Hierzu entwickeln wir intelligente, adaptive Lernsysteme unter Einbeziehung von Interaktiven AnimationenSerious Games und Gamification-Methoden.

In der mobilen Robotik werden Erkennungssysteme für die Umgebungserfassung benötigt. So können auch abseits der Straße im unstrukturierten Gelände befahrbare Pfade identifiziert und Hindernisse vermieden werden. Neben Lidar-Sensoren, welche eine sehr genaue 3D-Rekonstruktion der Umgebung liefern, ergänzen Kamerasysteme die Perzeptionssensorik. Der zusätzliche Einsatz von Kamerasystemen ermöglicht hier eine dichtere Tiefenschätzung sowie die Kolorierung der Lidar-Punktwolken und somit eine verbesserte Kartierung und Hinderniserkennung. Durch die KI-basierte Kombination aus zwei- und dreidimensionaler Bildinformation kann so eine exakte Erfassung der Umgebung zur Navigation sowie des Arbeitsraumes von mobilen Systemen gewährleistet werden.