BLUEASSIST

Fraunhofer-Verbundprojekt: Konzept-Entwicklung eines innovativen UAS-Gesamtsystems zur zuverlässigen und kostengünstigen Datenerfassung im maritimen Bereich.

Im Rahmen des Projektes „BLUEASSIST“ wurde im Verbund mit den Industriepartnern Lange Research Aircraft  und M4COM ein Konzept für ein autonom fliegendes, hybrid-elektrisch angetriebenes und mit verschiedenster Sensorik als Nutzlast ausgestattetes Segelflugzeug entwickelt.

Auf Grund leistungsfähiger Brennstoffzellen und einer damit verbundenen Flugdauer von bis zu 40 Stunden würde sich ein solches Fernerkundungssystem u.a. zum Monitoring großflächig maritimer Einsatzgebiete eignen. Dazu zählen Überwachung der Schifffahrt, Detektion von Ölverschmutzungen, aber auch weitere meist hoheitliche Aufgaben wie bspw. Überwachung von Großschadenslagen wie Waldbrand und Hochwasser oder Grenzschutz. Durch die extrem lange Flugdauer in entlegenen Regionen werden besondere Anforderungen an die Datenerfassung, -verarbeitung, -auswertung und die Kommunikation mit dem UAV gestellt. Um das Fernerkundungssystem optimal zu nutzen und den Datentransfer nicht zu überlasten, wurde u.a. eine automatisierte Onboard-Verarbeitung und -Analyse der Daten konzipiert. Eine vollständige und detaillierte Auswertung der Daten wäre dann in der angegliederten Bodenstation durch leistungsfähigere und rechenintensivere Algorithmen möglich.

Die wesentlichen Tätigkeiten und Ziele des Verbundprojektes waren:

  • Vertiefter Austausch mit potentiellen Anwendern
  • Konzeption eines Gesamtsystems, bestehend aus UAV, darauf abgestimmter Nutzlast zur Datenerfassung und Übertragung und angegliederter Bodenstation
  • Entwicklung einer mit Brennstoffzellen gespeisten, hybrid-elektrischen Antares E2
  • Konzept für die Integration eines Multisensorsystems, einer Datenübertragungseinheit und einer Bodenkontrollstation
     

Beteiligung des Fraunhofer IOSB – Abteilung SZA

Multisensorielle Datenverarbeitung und –Auswertung (onboard + Bodenstation)

Weitverbreitete Kamerasysteme zur Überwachung aus der Luft bieten Firmen wie Trakka Systems  mit dem Modell TC-300 an. Durch den schwenkbaren und stabilisierten Aufbau mit integrierter Thermal- und HDTV-Kamera, ist mit durchgehendem Zoom eine ausreichend hohe Flexibilität gewährleistet. Um die Leistungsfähigkeit dieses Kamerasystems im Bereich der Schiffserkennung aus der Luft zu prüfen, wurde am Fraunhofer IOSB Künstliche Intelligenz (mit MS COCO vortrainierte Mask R-CNN Netzwerke) auf einen Videoausschnitt der Kamera angewendet. Mask R-CNN sind Instanz-Segmentierungsverfahren, bei denen eingehende Bilder durch verschiedene Netzwerke (FPN, RPN) verarbeitet, sowie Merkmale segmentiert und klassifiziert werden. Auf Grund der Modularität und der mehrphasigen Struktur lassen sich Mask R-CNN vergleichsweise leicht auf neue Szenarien trainieren.

Dabei beteiligte sich das Fraunhofer IOSB mit seiner Abteilung SZA an der:

  • Untersuchung von Methoden für automatisierte Daten(vor)auswertung, Filterung und Kompression onboard im Hinblick auf eine effiziente Datenübertragung
  • Entwicklung anwendungsspezifischer Auswerteverfahren und Konzeption der dafür notwendigen Hardware-Komponenten für die Bodenstation

Video: KI angewandt auf Trakka,
© Fraunhofer IOSB 

Ein vergleichbares Szenario ist die automatische Detektion von Personen. Dazu wurde das bereits beschriebene Framework der KI nicht auf Schiffe, sondern auf Personen trainiert. Eine Veränderung der Perspektive (nun terrestrisch) stellte dabei kein Problem dar.

Video: Personen Detektion, 
© Fraunhofer IOSB

Ebenso wurde auf KI in Form von Convolutional Neural Networks (CNN) bei der schritthaltenden Detektion von Fahrzeugen aus der Luft zurückgegriffen. Dabei besteht das Netz aus zwei Ästen: der Klassifikationszweig führt auf Grund seiner vier Pooling Schichten einerseits zu einer hohen Klassifikationsleistung, andererseits zu einer starken Reduktion der räumlichen Auflösung. Der Segmentierungszweig beinhaltet nur eine Pooling Schicht und kompensiert mit der entsprechend hochpräzisen Auflösung die Reduktion durch den Klassifikationszweig. Trotz der Verwendung von Grafikkarten-Programmierung muss dieser Algorithmus durch den enormen Rechenaufwand auf jedes fünfte Bild warten, um Schritt halten zu können. Auf Grund der großen Überlappung der einzelnen Bildbereiche ist dieses Verfahren trotzdem als echtzeitfähig zu bezeichnen. 

Video: Schritthaltende Fahrzeug Detektion,
© Fraunhofer IOSB


 

Finanziert wurde dieses Projekt durch die Forschungsinitiative mFUND (Modernitätsfond) des Bundesministeriums für Verkehr und digitale Infrastruktur BMVI und deren Ideen- und Förderaufruf „UAS und Flugtaxis“.

Weiterführende Informationen:

 

Abteilung Szenenanalyse

Sie wollen mehr über unsere Produkte im Bereich Szenenanalyse erfahren?