Automatisierte Bildauswertung für Unbemannte Luftfahrzeuge (ABUL)

© Fraunhofer IOSB
© Fraunhofer IOSB

Aufgabenstellung

Die Vorteile von mit Videotechnik ausgestatteten Drohnen zu Erkundungs- und Aufklärungszwecken sowie bei Such- und Rettungsmissionen liegen auf der Hand. Die von den Drohnen aufgenommen Videodaten werden über verschiedene Datenanbindungstypen an die Bodenstationen gesendet, wo die angezeigten Videostreams nach neustem Stand der Technik von menschlichem Bedienpersonal ausgewertet werden. In diesem Zusammenhang hat das Fraunhofer IOSB das System ABUL entwickelt, das als unterstützendes Hilfsmittel im Auswertungsprozess und zur Entlastung des Bedienpersonals bei kritischen Missionen konzipiert wurde. Dabei stellt ABUL optimierte Echtzeitfunktionen für die Onlineaufklärung und taktische Erkundung sowie wertvolle Funktionalitäten für Offline-Erkundungsmissionen bereit. Für die Aufklärung und Überwachung im Sicherheitsbereich werden zunehmend unbemannte Systeme eingesetzt, deren Hauptsensorik aus Videosensoren besteht. Am Beispiel der Drohne Luna, die seit Jahren erfolgreich bei der Bundeswehr im Einsatz steht, ist eine generische Integrationsplattform realisiert worden, in die Verfahren der automatischen Bildauswertung integriert wurden. 
Hauptnutzen des Verfahrenseinsatzes ist die Entlastung der Auswertenden bei ihren mehrstündigen Beobachtungs- und Auswertungsaufgaben, wie es beispielsweise durch die integrierte Bildstabilisierung erreicht wird. Außerdem werden neue Produkte aus den Daten der Drohne gewonnen wie z.B. Bildmosaike, die eine verbesserte Weitergabe von Resultaten ermöglichen.


Aktuelle Mission

ABUL wurde von den deutschen ISAF-Truppen (International Security Assistance Force) in Afghanistan und von Truppen des KFOR-Kontingents (Kosovo Forces) erfolgreich getestet und kommt nun beim LUNA-Drohnensystem in Afghanistan und bei der Schweizer Luftwaffe zum Einsatz.
 

Datenanbindungsschnittstelle

ABUL kann flexibel an verschiedene Sensoren und Datenanbindungen angepasst werden. Das System wird seit mehreren Jahren erfolgreich bei der LUNA-Drohne eingesetzt. Diese Drohne kommt bei der Bundeswehr in Form der Modelle Smaragd von EMT und Condor von OHB sowie bei der Schweizer Luftwaffe in Form des Modells ADS 95 Ranger zum Einsatz. Zudem wird es zum Auswerten von drohnenbasierten SAR-Missionen und hyperspektralen Bildern verwendet. Dank seiner Modularität kann ABUL durch den Austausch oder die Anpassung des Datenimportmoduls mit beliebigen Datenanbindungen verbunden werden.

Visualisierungskonzept

Das Grundkonzept von ABUL umfasst ein duales Bildschirmsystem mit anpassbarer Benutzeroberfläche (GUI). Die GUI-Version passt sich automatisch an verschiedene Sensorsysteme an, z. B. an das in der LUNA-Drohne verbaute Sechs-Sensor-System. Auf dem ersten Bildschirm wird das Videofenster mit den Videostreams aller Sensoren angezeigt. Darüber hinaus stellt das Videofenster Steuerelemente für den Bediener bereit, die eine effiziente Navigation in diesen Streams ermöglicht. Weitere Steuerelemente werden für Funktionalitäten zur Bildverarbeitung und -auswertung in Echtzeit verwendet. Diese werden später beschrieben. Der zweite Bildschirm zeigt das Karten- oder Auswertungsfenster, das die Anzeige der Verarbeitungsergebnisse und die Steuerelemente für den Zugriff auf die Nachbearbeitungs- und Exportfunktionalitäten sowie die zugehörige externe Software beinhaltet.

Funktionen

© Fraunhofer IOSB
Änderungsdetektion
© Fraunhofer IOSB
Indikation von beweglichen Objekten (MTI)
© Fraunhofer IOSB
Georeferenziertes Bildmosaik

Zusätzlich zu der einfachen Videostream-Visualisierung, der Bildoptimierung und zu Ungleichmäßigkeitskorrekturen für Infrarotsensormaterial beinhaltet ABUL auch hocheffiziente Funktionalitäten zur Videoverarbeitung und -auswertung sowie intelligente Funktionen zur Behandlung von Videodaten und zum Videoexport. Dank seiner Modularität können beliebige zusätzliche Auswertungsalgorithmen integriert werden, mit ABUL beispielsweise ein Algorithmus zur Erkennung von Waldbränden in Infrarotbildern oder hyperspektralen Bildern.

Nachfolgend wird ein Teil der derzeit verfügbaren Videoverarbeitungsfunktionalitäten aufgelistet:

  • Echtzeitverbindungen mit zahlreichen Drohnen
  • Live-Bildstabilisierung, Erweiterung und Optimierung, Zoom und Drehung
  • Zusammenführung mehrerer aufeinander folgender Bilder zur Erhöhung der räumlichen Auflösung und Reduzierung der Störanfälligkeit (Superresolution)
  • Änderungsdetektion
  • Bildbasierte Indikation von beweglichen Objekten (MTI) und Verfolgung von interaktiv markierten Objekten
  • Generierung von Bildern mit Multiresolution aus Bildern von multifokalen Kameras
  • Generierung von Stereobildern
  • Bildzusammenführung in ein georeferenziertes Bildmosaik für eine bessere Übersicht
  • Georeferenzierung in Echtzeit von Flugrouten, Sensor-Footprint und Bildern sowie weiteren operativen Daten auf Referenzkarten
  • Videodatenbank zum Suchen nach Videos nach z. B. geografischen Regionen oder anderen Attributen wie Zeit- und Bodenauflösung
  • Export von Auswertungsprodukten, beispielsweise georeferenzierten Bildmosaiken, Stereomosaiken, Zoom-Mosaiken Bildern mit Superresolution und Multiresolution sowie kurzen Berichten in verschiedenen Office-Formaten.
  • Konformität der Schnittstellen mit CSD-Formaten (Coalition Shared Data) zur Gewährleistung der Kompatibilität.
© Fraunhofer IOSB
Georeferenzierung in Echtzeit
© Fraunhofer IOSB
Multiresolution
 

Publikationen/Downloads

Weitere Projekte der Abteilung VID

Sie wollen mehr Projekte und Produkte im Bereich »Videoauswertesysteme« kennenlernen? Dann besuchen Sie die Projektseite unserer Abteilung VID und informieren Sie sich.

 

 

Abteilung VID des Fraunhofer IOSB

Sie wollen mehr über unsere Themen im Bereich »Videoauswertesysteme« erfahren? Dann besuchen Sie die Seite unserer Abteilung VID und informieren Sie sich.