Benchmarking zur Fußgängererkennung bei jedem Wetter

Motivation

Automatisches Notbremssystem (AEB) für Fußgänger ist ein Eckpfeiler der Fahrzeugsicherheit, doch seine Zuverlässigkeit in der Praxis – insbesondere in Grenzfällen – hängt von einer Wahrnehmung ab, die auch außerhalb der trockenen, gut beleuchteten Bedingungen funktioniert, auf denen die heutigen Verbraucher- und behördlichen Testprotokolle (z. B. Euro NCAP AEB/VRU, NHTSA FMVSS Nr. 127) basieren. Regen, Nebel, Dunkelheit und verschmutzte Scheiben sind in den meisten standardisierten Tests ausdrücklich ausgeschlossen – doch genau unter diesen Bedingungen versagen Sensorsysteme am ehesten. Hersteller von Kameras, LiDAR, Radar und optischen Komponenten stehen daher vor einer anhaltenden Forschungslücke: Es gibt keine standardisierte Methode, um zu vergleichen, wie sich verschiedene Sensor-Modalitäten verhalten und in ihrer Leistung nachlassen, sobald Wetterbedingungen ins Spiel kommen.

Was das Fraunhofer IOSB bietet

Die Gruppe »Human-AI Interaction« des Fraunhofer IOSB entwickelt und betreibt End-to-End-Testmethoden, mit denen sich die Sensor- und Wahrnehmungsleistung unter widrigen Umgebungsbedingungen messen, vergleichen und reproduzieren lässt. In einem kürzlich durchgeführten industriellen F&E-Projekt haben wir einen systematischen, multimodalen Benchmark für vier ADAS-relevante Sensortechnologien – RGB-Kamera, Langwellen-Infrarot-Kamera (LWIR/Wärmebildkamera), LiDAR und Bildradar – zur Fußgängererkennung bei Regen, Nebel und Nachtbedingungen konzipiert und durchgeführt. Das Projekt kombinierte die Datenerfassung unter kontrollierten Umgebungsbedingungen, eine systematische Ground-Truth-Annotation und ein neuartiges Bewertungsframework, das physikalische Sensorgrenzen von der algorithmischen Detektorleistung trennt. Die Ergebnisse wurden in einem begutachteten Konferenzbeitrag (»All-Weather Pedestrian Perception for AEB across RGB, LWIR, LiDAR, and Radar«) veröffentlicht und veranschaulichen die Art von Dienstleistungen, die das Fraunhofer IOSB für Automobilhersteller, Tier-1-Zulieferer und Komponentenhersteller erbringen kann.

Diese Art von Projekt ist ein repräsentatives Beispiel dafür, was Kunden bei uns in Auftrag geben können: eine vollständig instrumentierte, unabhängige Testkampagne, die die Datenerfassung, Annotation und das quantitative Benchmarking einer oder mehrerer Erfassungsmodalitäten in einem definierten Einsatzbereich umfasst – ohne dass der Kunde eine eigene Testinfrastruktur oder Annotationskapazitäten aufbauen muss.

Unsere Methodik: Trennung von Physik und Algorithmen

Ein zentraler Beitrag unseres Ansatzes ist ein dreistufiges Bewertungsframework, das aufschlüsselt, warum ein Sensorsystem versagt – physikalischer Signalverlust versus algorithmische Schwäche –, sodass Verbesserungsmaßnahmen präzise ausgerichtet werden können: Dieses Framework ermöglicht es einem Kunden, sofort zu erkennen, ob eine Leistungslücke bei widrigen Wetterbedingungen durch die Physik des Sensors (z. B. Dämpfung, Rückstreuung, Verschmutzung der Scheibe) oder durch die Erkennungssoftware verursacht wird – und somit, wohin Investitionen gelenkt werden sollten.

• Sensorbereitschaft – eine Recall-Metrik auf physikalischer Ebene, die misst, ob ein Zielobjekt überhaupt im Rohsignal vorhanden ist, unabhängig von jeglichem Erkennungsalgorithmus.
• Detektorqualität – die Standard-»Average Precision« (AP) bei der Objekterkennung, berechnet ausschließlich für die Teilmenge der Zielobjekte, die für einen bestimmten Sensor physikalisch sichtbar sind, wodurch die reine algorithmische Leistung isoliert wird.
• Leistung auf Systemebene – eine durchgängige AP-Metrik, die die Detektorqualität anhand der Sensorverfügbarkeit skaliert und so einen einzigen, vergleichbaren Wert über grundlegend unterschiedliche Erfassungsmodalitäten hinweg liefert.

Testinfrastruktur und Datenerfassung

Testkampagnen werden in kontrollierten Umweltsimulationsanlagen durchgeführt, die in der Lage sind, reproduzierbaren Regen (variable Niederschlagsrate, bis zu und über 60 mm/h) und Nebel (verschiedene Dichte- und Sichtbarkeitsstufen) zu erzeugen, kombiniert mit Tages- und Nachtbeleuchtung, einschließlich standardisierter Abblendlichtbedingungen. Es wird ein geometrisches Zielraster verwendet, das aus Euro-NCAP-/NHTSA-Fußgängerszenarien abgeleitet wurde, wobei mehrere seitliche Positionen und Längsabstände systematisch abgetastet werden. Zu den Zielgruppen können zertifizierte Fußgängerdummys (Standard- und aktiv beheizte, zur Untersuchung des thermischen Kontrasts) sowie Testpersonen in heller und dunkler Kleidung (zur Untersuchung des optischen Kontrasts) gehören – alle nach einem lateinischen Quadrat-Design permutiert, um positions- und zeitliche Verzerrungen zu beseitigen.

Bei Bedarf können die Sensorgehäuse austauschbare optische Fenster und aktive Scheibenwischer-/Reinigungssysteme enthalten, wodurch die Auswirkungen von Fensterbenetzung, Verschmutzung und Reinigungsstrategie getrennt von der zugrunde liegenden Erkennungsfähigkeit des Sensors quantifiziert werden können – ein entscheidender Faktor für kamera- und wärmebildbasierte Systeme, die hinter der Fahrzeugverglasung integriert sind.

Datenannotation und Ground Truth

Alle aufgezeichneten Sensorströme – Bilder, Wärmebilder und Punktwolken – werden anhand von Zeitstempeln synchronisiert und pro Modalität manuell annotiert (2D-Begrenzungsrahmen für Kamera-/Wärmebilder, 3D-Begrenzungsrahmen für LiDAR- und Radar-Punktwolken). Ziele werden immer dann markiert, wenn sie im Rohsignal erkennbar sind, selbst dort, wo ein Erkennungsversagen zu erwarten ist, damit die Grenzen der Sensorik und die Grenzen des Detektors unabhängig voneinander bewertet werden können. Annotation und Datenverarbeitung erfolgen durchgehend unter Einhaltung der Datenschutzanforderungen (DSGVO).

Veranschaulichende Ergebnisse

Die folgenden Abbildungen veranschaulichen die Art der Ergebnisse, die ein solcher Benchmark liefert: entfernungsaufgelöste, durchgängige Systemleistungskurven pro Modalität und Bedingung sowie qualitative Erkennungsbeispiele, die sensorspezifische Fehlermodi sowohl für Ingenieure als auch für das Management greifbar machen.

Über alle getesteten Modalitäten hinweg haben wir festgestellt, dass keine einzelne Sensortechnologie für sich allein Allwetter-Zuverlässigkeit bietet: Jede Modalität weist charakteristische, quantifizierbare Stärken und Schwachstellen auf, die von Wetter, Beleuchtung, Zielkontrast und dem Zustand des optischen Fensters abhängen. Diese Kompromisse explizit und messbar zu machen, ist genau der Mehrwert, den ein solches Benchmark-Projekt für die Sensorauswahl, die Fusionsstrategie oder die Zulassungsplanung eines Kunden liefert.

Was Sie beim Fraunhofer IOSB in Auftrag geben können

Aufbauend auf diesem Projekt bieten wir Automobilherstellern, Tier-1-/Tier-2-Zulieferern sowie Sensor- oder Komponentenherstellern die folgenden Dienstleistungen an, entweder als Komplettpaket oder als einzelne Arbeitspakete: Alle Aufträge werden individuell festgelegt und können von einer kurzen Benchmark-Studie unter Verwendung eines bestehenden Datensatzes bis hin zu einer vollständigen Kampagne reichen, die Testdesign, Datenerfassung, Annotation, Auswertung und Berichterstellung umfasst.

• Erstellung maßgeschneiderter Datensätze – Konzeption und Durchführung von Datenerfassungskampagnen unter kontrollierten Umgebungsbedingungen (Regen, Nebel, Tag/Nacht, Zielkontrast) oder unter realistischen Bedingungen für Kamera-, Wärmebild-, LiDAR- und/oder Radarsensoren.
• Multimodale Ground-Truth-Annotation – 2D/3D-Bounding-Box- und andere Annotationsdienste mit definierter Qualitätssicherung, zugeschnitten auf Ihre Objektklassen und Anwendungsfälle, durchgeführt unter Einhaltung der Datenschutzbestimmungen.
• Unabhängiges Sensor- und Detektor-Benchmarking – Anwendung unseres AP-Frameworks für Sensorverfügbarkeit, Detektorqualität und Systemebene auf Ihre eigenen Sensoren, Detektoren oder Ihren fusionierten Wahrnehmungsstack.
• Testkampagnen bei widrigen Wetterbedingungen und bei Nacht – Zugang zu kontrollierten Regen- und Nebeltestanlagen sowie standardisierten Zielsätzen für reproduzierbare und wiederholbare Tests unter widrigen Bedingungen, die über die aktuellen regulatorischen Rahmenbedingungen hinausgehen.
• Bewertung von Fenstern, Verglasungen und Gehäusen – Quantifizierung der Auswirkungen von optischen Fenstern, Beschichtungen und Reinigungsstrategien (Scheibenwischer) auf die Leistung von Kamera- und Wärmesensoren bei Niederschlag.
• Beratung zu Testprotokollen und Methodik – Unterstützung bei der Definition interner Testspezifikationen, Argumentationen zur funktionalen Sicherheit oder Beiträgen für künftige Diskussionen im Rahmen von Typgenehmigungs- und Bewertungsprogrammen.
• Bewertung der Multisensor-Fusion – Bewertung komplementärer Sensorkombinationen anhand eines gemeinsamen, standardisierten Schlechtwetterprotokolls.

Ausblick

• Erweiterung kontrollierter Schlechtwettertests unter expliziter Berücksichtigung des Fensterzustands und des Zielkontrasts.
• Einbeziehung von Eigen- und Zielbewegung zur Bewertung der Radarleistung unter dynamischen Fahrbedingungen.
• Bewertung der Multisensorfusion im Rahmen desselben standardisierten Schlechtwetterprotokolls.
• Erweiterung des Testrahmens auf weitere Sichtbehinderungen wie Spritzwasser und Schnee.