Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

ABUL - Automatisierte Bildauswertung für Unbemannte Luftfahrzeuge

ABUL - Automatisierte Bildauswertung für Unbemannte Luftfahrzeuge

Aufgabenstellung

Die Vorteile von mit Videotechnik ausgestatteten Drohnen zu Erkundungs- und Aufklärungszwecken sowie bei Such- und Rettungsmissionen liegen auf der Hand. Die von den Drohnen aufgenommen Videodaten werden über verschiedene Datenanbindungstypen an die Bodenstationen gesendet, wo die angezeigten Videostreams nach neustem Stand der Technik von menschlichem Bedienpersonal ausgewertet werden. In diesem Zusammenhang hat das Fraunhofer IOSB das System ABUL entwickelt, das als unterstützendes Hilfsmittel im Auswertungsprozess und zur Entlastung des Bedienpersonals bei kritischen Missionen konzipiert wurde. Dabei stellt ABUL optimierte Echtzeitfunktionen für die Onlineaufklärung und taktische Erkundung sowie wertvolle Funktionalitäten für Offline-Erkundungsmissionen bereit. Für die Aufklärung und Überwachung im Sicherheitsbereich werden zunehmend unbemannte Systeme eingesetzt, deren Hauptsensorik aus Videosensoren besteht. Am Beispiel der Drohne Luna, die seit Jahren erfolgreich bei der Bundeswehr im Einsatz steht, ist eine generische Integrationsplattform realisiert worden, in die Verfahren der automatischen Bildauswertung integriert wurden. 
Hauptnutzen des Verfahrenseinsatzes ist die Entlastung der Auswerter bei ihren mehrstündigen Beobachtungs- und Auswertungsaufgaben, wie es beispielsweise durch die integrierte Bildstabilisierung erreicht wird. Außerdem werden neue Produkte aus den Daten der Drohne gewonnen wie z.B. Bildmosaike, die eine verbesserte Weitergabe von Resultaten ermöglichen. 

 

 UAV LUNA during take-off (image by EMT)
 UAV LUNA beim Abheben (Bild von EMT)

 

Aktuelle Mission

ABUL wurde von den deutschen ISAF-Truppen (International Security Assistance Force) in Afghanistan und von Truppen des KFOR-Kontingents (Kosovo Forces) erfolgreich getestet und kommt nun beim LUNA-Drohnensystem in Afghanistan und bei der Schweizer Luftwaffe zum Einsatz.

 Ground control station with ABUL
 Bodenkontrollstation mit ABUL

 

Datenanbindungsschnittstelle

ABUL kann flexibel an verschiedene Sensoren und Datenanbindungen angepasst werden. Das System wird seit mehreren Jahren erfolgreich bei der LUNA-Drohne eingesetzt. Diese Drohne kommt bei der Bundeswehr in Form der Modelle Smaragd von EMT und Condor von OHB sowie bei der Schweizer Luftwaffe in Form des Modells ADS 95 Ranger zum Einsatz. Zudem wird es zum Auswerten von drohnenbasierten SAR-Missionen und hyperspektralen Bildern verwendet. Dank seiner Modularität kann ABUL durch den Austausch oder die Anpassung des Datenimportmoduls mit beliebigen Datenanbindungen verbunden werden.

Visualisierungskonzept

Das Grundkonzept von ABUL umfasst ein duales Bildschirmsystem mit anpassbarer Benutzeroberfläche (GUI). Die GUI-Version passt sich automatisch an verschiedene Sensorsysteme an, z. B. an das in der LUNA-Drohne verbaute Sechs-Sensor-System. Auf dem ersten Bildschirm wird das Videofenster mit den Videostreams aller Sensoren angezeigt. Darüber hinaus stellt das Videofenster Steuerelemente für den Bediener bereit, die eine effiziente Navigation in diesen Streams ermöglicht. Weitere Steuerelemente werden für Funktionalitäten zur Bildverarbeitung und -auswertung in Echtzeit verwendet. Diese werden später beschrieben. Der zweite Bildschirm zeigt das Karten- oder Auswertungsfenster, das die Anzeige der Verarbeitungsergebnisse und die Steuerelemente für den Zugriff auf die Nachbearbeitungs- und Exportfunktionalitäten sowie die zugehörige externe Software beinhaltet.

Funktionen

Zusätzlich zu der einfachen Videostream-Visualisierung, der Bildoptimierung und zu Ungleichmäßigkeitskorrekturen für Infrarotsensormaterial beinhaltet ABUL auch hocheffiziente Funktionalitäten zur Videoverarbeitung und -auswertung sowie intelligente Funktionen zur Behandlung von Videodaten und zum Videoexport. Dank seiner Modularität können beliebige zusätzliche Auswertungsalgorithmen integriert werden, mit ABUL beispielsweise ein Algorithmus zur Erkennung von Waldbränden in Infrarotbildern oder hyperspektralen Bildern. Nachfolgend wird ein Teil der derzeit verfügbaren Videoverarbeitungsfunktionalitäten aufgelistet:

  • Echtzeitverbindungen mit zahlreichen Drohnen
  • Live-Bildstabilisierung, Erweiterung und Optimierung, Zoom und Drehung
  • Zusammenführung mehrerer aufeinander folgender Bilder zur Erhöhung der räumlichen Auflösung und Reduzierung der Störanfälligkeit (Superresolution)
  • Änderungsdetektion
  • Bildbasierte Indikation von beweglichen Objekten (MTI) und Verfolgung von interaktiv markierten Objekten
  • Generierung von Bildern mit Multiresolution aus Bildern von multifokalen Kameras
  • Generierung von Stereobildern
  • Bildzusammenführung in ein georeferenziertes Bildmosaik für eine bessere Übersicht
  • Georeferenzierung in Echtzeit von Flugrouten, Sensor-Footprint und Bildern sowie weiteren operativen Daten auf Referenzkarten
  • Videodatenbank zum Suchen nach Videos nach z. B. geografischen Regionen oder anderen Attributen wie Zeit- und Bodenauflösung
  • Export von Auswertungsprodukten, beispielsweise georeferenzierten Bildmosaiken, Stereomosaiken, Zoom-Mosaiken Bildern mit Superresolution und Multiresolution sowie kurzen Berichten in verschiedenen Office-Formaten.
  • Konformität der Schnittstellen mit CSD-Formaten (Coalition Shared Data) zur Gewährleistung der Kompatibilität.

 

 Änderungsdetektion
  Indikation von beweglichen Objekten (MTI)
 Georeferenziertes Bildmosaik

     

 

 Multiresolution
Georeferenzierung in Echtzeit 
   

  

Gruppe Maschinensehen; High Performance Computing (HPC)