RecceMan^®: Interaktive Erkennungsassistenz für die bildbasierte Objekterkennung

Ausgangssituation

In vielen militärischen Bereichen müssen Informationen über Objekte und Infrastrukturen aus bildhaften Daten abgeleitet werden. Ein Bereich ist die Abbildende Aufklärung. Hier müssen militärisch relevante Informationen über ein Interessengebiet durch Aufnahme und Auswertung von Luft- und Satellitenbildern und insbesondere von Drohnenvideos gewonnen werden. Schlüsselaufgaben sind die Erkennung und Identifikation von Objekten, z.B. von Landfahrzeugen oder Schiffen, und die Analyse von Infrastrukturen, z.B. von Hafen- oder Industrieanlagen. Diese Aufgaben verlangen ein umfassendes Wissen über die auszuwertenden Objekte und deren Eigenschaften sowie den Aufbau und die Funktion von Infrastrukturen, weshalb sie von speziell dafür ausgebildeten Bildauswertern und -auswerterinnen durchgeführt werden.
Durch vermehrte Auslandseinsätze und die rasante Entwicklung immer neuer Systeme sehen sich die Streitkräfte mit einer wachsenden Vielfalt an Objekten und Infrastrukturen konfrontiert. Die entsprechende Qualifizierung jedes einzelnen Bildauswerters und jeder einzelnen Bildauswerterin für alle einsatzrelevanten Gegebenheiten ist unter diesen Umständen kaum zu gewährleisten.

Lösung

Um eine hohe Erkennungs- und Analysequalität auch ohne aufwändige Einarbeitungszeit zu gewährleisten, wurde am Fraunhofer IOSB die Erkennungsassistenz RecceMan® entwickelt. Diese interaktive Software unterstützt den Bildauswertenden bei der bildbasierten Erkennung und Identifikation von Objekten sowie bei der Analyse von Infrastrukturen.

Die Assistenz zur Erkennung und Identifikation von Objekten ermöglicht dem Bildauswertenden, das auszuwertende Objekt anhand dessen Erkennungsmerkmalen (charakteristische, optische Merkmale) zu beschreiben. Zu diesem Zweck sind in der RecceMan®-Datenbank sowohl die relevanten Objekte als auch die entsprechenden Erkennungsmerkmale hinterlegt und miteinander verknüpft. Die Aufgabe des Bildauswertenden ist es, die im auszuwertenden Material erkannten Merkmale im RecceMan® zu übernehmen. Nach jeder Übernahme eines Merkmals werden Objektliste und Merkmalbaum aktualisiert. Die weiterhin relevanten Objekte werden in der Objektliste nach oben sortiert und mit einer grünen Markierung versehen. Merkmale, die für die weitere Auswertung nicht mehr relevant sind, verlieren ihre blaue Farbe. So behält der Bildauswertende den Überblick darüber, welche Objekte und Merkmale für die weitere Auswertung noch in Frage kommen. Zusätzlich steht für jedes Objekt ein Steckbrief mit detaillierten Bildinformationen und textuellen Beschreibungen zur Verfügung. Ist ab einem gewissen Punkt im Auswertevorgang die Menge der in Frage kommenden Objekte überschaubar klein, können diese Objektbeschreibungen für eine abschließende Identifikation sehr hilfreich sein. Die Merkmale sind zusätzlich mit Piktogrammen versehen, die dazu beitragen sollen, die Bedeutung des jeweiligen Merkmals besser zu verstehen.

Bei der Analyse von Infrastrukturen steht meist die Frage im Mittelpunkt, welchem Zweck eine Infrastruktur im Ganzen dient, welchem Zweck ihre einzelnen Bestandteile dienen oder wie diese genutzt werden können. Bei Industrieanlagen, beispielsweise bei einer Aluminium erzeugenden oder biochemischen Industrieanlage, ist von zentralem Interesse, welche Produkte dort hergestellt werden können. RecceMan® bietet ein Nachschlagewerk, in dem für jede Infrastruktur eine Übersicht über die entsprechenden Infrastrukturtypen mit den dazugehörigen Infrastrukturobjekten zur Verfügung gestellt wird. Für jedes Infrastrukturobjekt und jeden Infrastrukturtyp existiert ein Steckbrief mit Abbildungen und Textbeschreibungen. Infrastrukturtypen und -objekte sind miteinander verknüpft – somit wird für jeden Infrastrukturtyp eine navigierbare Auflistung von darin vorkommenden Infrastrukturobjekten angeboten. In den Steckbriefen der Infrastrukturobjekte wird eine Liste der Infrastrukturtypen angezeigt, auf denen das ausgewählte Objekt vorkommen kann. Sowohl für die Analyse von Infrastrukturen als auch für die Objekterkennung- und identifikation können unterschiedliche Domänen wie beispielsweise Landfahrzeuge oder Industrieanlagen angelegt werden, um einen Überblick über den gesamten Datenbestand zu behalten.

Produkt RecceMan®

RecceMan® wurde im Auftrag des BAAINBw als Softwareprodukt realisiert und wird seit 2010 als operationelles System in der Bundeswehr eingesetzt. Die Software besteht aus den folgenden Komponenten:

• Erkennungskomponente zur bildbasierten Objekterkennung und Objektidentifikation sowie zur bildbasierten Analyse von Infrastrukturen
• Erkennungstraining zur Schulung der Auswerte- und Erkennungsfähigkeiten
• Editierwerkzeuge zum Einpflegen und Modifizieren von Referenzobjekten
• Administrationswerkzeug zum Verwalten, Archivieren und Verteilen des Datenbestands
• Komponenten als Java Desktop-Applikation für gängige Windows- und Linux-Betriebssysteme
• Die Erkennungskomponente und das Erkennungstraining werden zusätzlich als Netzwerklösung angeboten
• Auslieferung mit Beispiel-Datensatz