HS-Robustifizierung

Datengetriebene Aufbereitung hyperspektraler Fernerkundungsdaten

Vergleich der RGB-Darstellung der Hyperspektraldaten: links vor der NFN-Transformation und rechts danach. Hierbei ist zu sehen, dass der Einfluss atmosphärischer Effekte und Wolkenschatten reduziert wurde.
3D-Darstellung der spektralen Signaturen nach erfolgter NFN-Transformation. Die Klassen sind nun einfacher unterscheidbar.
3D-Darstellung der spektralen Signaturen mit eingefärbten Klassen

Merkmalstransfer zur Vereinfachung der Auswertung

Hyperspektraldaten sind durch ihre Informationsvielfalt ein wertvolles Werkzeug der Fernerkundung. Als passive Sensoren sind sie jedoch von Effekten wie Sonnenstand, Wolkenschatten und geometrieabhängigen Reflexionen der Landschaft betroffen. Das Fraunhofer IOSB beschäftigt sich intensiv mit der Unterdrückung dieser Effekte, um eine zuverlässigere und schnellere Auswertung zu ermöglichen.

Die hyperspektrale Fernerkundung ist ein leistungsfähiges Werkzeug, um komplexe Informationen über die Erdoberfläche abzuleiten. Anwendungen sind unter anderem Landbedeckungskartierung, Precision Farming und die Erkennung von Umweltverschmutzung. Ermöglicht wird dies durch die Aufzeichnung und Auswertung schmalbandiger Merkmale, die charakteristisch für einzelne Materialien sind. Externe Effekte führen jedoch zu Nichtlinearitäten in den Daten und erschweren die Datenanalyse. Zu diesen Effekten gehören Änderungen in der Beleuchtung, Schlag- und Halbschatten und Transmission / Mehrfachreflexionen von Objekten in der Szene sowie anisotrope Effekte an 3D-Objekten.

Schematische Darstellung unterschiedlicher Einflüsse auf die von der Sonne ausgestrahlte elektromagnetische Strahlung.
Schematische Darstellung der blickwinkelabhängigen Reflexion eines Materials. Das gemessene Signal ist eine Kombination aus spekularen (blau) und diffusen (orange) Reflexionseffekten.
Je nach Ausrichtung des Materials und Position des Sensors wird ein unterschiedliches Signal vom Sensor registriert.
Vergleich der Landbedeckungsklassifikation auf den Originaldaten und den Daten nach der NFN-Transformation.
Es fällt auf, dass gerade Hausdächer durch ihre zwei unterschiedlichen Orientierungen der Dachflächen in den Originaldaten zu Fehlklassifikationen neigen. Auch die in der Regel variablen Vegetationsspektren liefern nach der Transformation ein besseres Ergebnis.

Die Korrektur dieser Effekte ist für eine robuste Datenanalyse erforderlich. Insbesondere beim Vergleich mehrerer Datensätze ist eine einheitliche Darstellung erforderlich. Physikalische Modelle zur Korrektur atmosphärischer Einflüsse werden im Allgemeinen für die Vorverarbeitung von Hyperspektraldaten verwendet. Diese Modelle berücksichtigen jedoch keine lokalen Variationen, wie z. B. Schatten und Objektgeometrie. Daher wurden zusätzlich Ansätze aus den Themengebieten Manifold Alignment und Merkmalsübertragung untersucht, um mehrere Datensätze in ein einheitliches System zu überführen. Bisherige Untersuchungen zu diesen Themen konzentrieren sich hauptsächlich auf das Erlernen der zugrundeliegenden Geometrie der hochdimensionalen Daten und das Alignment mehrerer Datensätze, indem die minimale Diskrepanz ermittelt wird und die individuelle Datenstruktur erhalten bleibt. Normalerweise wird eine einheitliche Domäne mit sehr hoher Dimension gewählt, um das Alignment zu erleichtern. Durch die Transformation in einen anderen Wertebereich wird jedoch die physikalische Interpretierbarkeit verhindert. Außerdem ist die Inversion eines Datensatzes aus der gemeinsamen Domäne in die Domäne eines Zieldatensatzes nur unter bestimmten Voraussetzungen möglich. Beispielsweise muss gezeigt werden, dass ein Urbild der Abbildung für alle Datenpunkte existiert.

Unser Beitrag zur Problemlösung sind daher zwei Ansätze, die eine gemeinsame Darstellung ermöglichen. Die Nonlinear Feature Normalization (NFN) ist ein datengesteuerter Ansatz zur Abschwächung nichtlinearer Effekte in hyperspektralen Daten. Die NFN ist eine überwachte Methode und erfordert somit Trainingsdaten für jede Klasse in der Szene. Es wird eine neue Basis für die Datendarstellung definiert, die aus einer spektralen Referenzsignatur pro Klasse besteht. Die Trainingsdaten werden anschließend verwendet, um alle spektralen Signaturen individuell in Richtung der neuen Basis zu verschieben. Dies reduziert die Auswirkungen von Nichtlinearitäten signifikant, was durch den Vergleich von Klassifikationsergebnissen vor und nach der NFN-Transformation gezeigt wird.

Aus der NFN wird anschließend die Nonlinear Feature Normalization for Data Alignment (NFNalign) abgeleitet. Die NFNalign transformiert mehrere Datensätze zur gleichen Basis und wendet anschließend eine inverse Transformation an, um Datensätze aus der gemeinsamen Domäne in die Domäne eines anderen Datensatzes zu übertragen. Da die Dimensionalität der Daten während der Transformation nicht verändert wird, ist es möglich, die Invertierung analytisch durchzuführen. Die Funktionsweise von NFNalign wird demonstriert, indem hyperspektrale Radianzen in Reflexionsdaten umgewandelt werden. Hierdurch kann der Vorverarbeitungsschritt der Atmosphärenkorrektur ersetzt werden, Schatten und andere Nichtlinearitäten werden korrigiert und charakteristische Merkmale der spektralen Signaturen übertragen. Die Qualität des Alignment wird beurteilt, indem ein auf einem Referenzdatensatz trainiertes Klassifikationsmodell auf den Testdatensatz angewendet wird, nachdem dieser mit NFNalign in die Domäne der Referenz transformiert wurde.

RGB-Darstellung von drei Datensätzen des gleichen Gebiets als Mosaik, aufgenommen zu unterschiedlichen Tageszeiten und Witterungsbedingungen.
RGB-Darstellung von drei Datensätzen des gleichen Gebiets als Mosaik nach NFNalign. Helligkeitsunterschiede zwischen benachbarten Kacheln sind nicht mehr sichtbar.
Vergleich der markierten spektralen Signaturen vor und nach der Anwendung von NFNalign. Ziel ist der Angleich an die Referenz bei gleichzeitigem Erhalt der charakteristischen Merkmale.

Der Fokus liegt dabei auf folgenden Innovationsbereichen:

  • Die linearisierte Darstellung des Merkmalsraums mittels NFN ermöglicht eine robuste Auswertung der spektralen Signaturen mit gängigen Verfahren.
  • Die NFNalign ermöglicht eine Übertragung der Merkmale zwischen Datensätzen, die zu unterschiedlichen Zeiten und bei unterschiedlichen Bedingungen aufgenommen wurden
  • Vorteile dabei sind eine robustere Auswertung, schnellere Verfügbarkeit von Daten mit vergleichbarer Qualität und direkte Anwendbarkeit bereits vortrainierter Auswertemethoden.

Weiterführende Informationen

 

Abteilung Szenenanalyse

Sie wollen mehr über unsere Produkte im Bereich Szenenanalyse erfahren?