KI-basierte Detektion, Klassifikation und Tracking von Drohnen

Relevanz der Drohnendetektion

Drohnen können vielseitig mit einem hohen Nutzpotential eingesetzt werden.

Allerdings können sie auch zur Ausspähung und Gefährdung von Sicherheitsbereiche und kritische Infrastruktur eingesetzt werden. Ihre Detektion, Erkennung, Analyse und Bekämpfung stellen somit wesentliche Voraussetzungen für den Schutz von kritischen Infrastrukturen und sonstiger Einrichtungen dar. Die Erforschung entsprechender Verfahren ist daher von höchster Bedeutung.

Der Schutz vor Einzeldrohnen und Drohnenschwärmen erfordert nicht nur ihre Detektion und Verfolgung, sondern auch Kenntnis über Art und Bedrohungspotenzial, Verhalten und Herkunft. Dies kann mit Hilfe von KI-Verfahren in Realzeit mit passiver Infrarot- und Videosensorik durchgeführt werden. Diese liefern dann im Verbund mit anderen Systemen einen wichtigen Beitrag für eine Situationsanalyse und Basis für eine Bekämpfung. Zum Fraunhofer IOSB-Hochenergielaser

Detektion und Tracking von Drohnen in visuell optischen Videodaten

Infrarot- und Videosensoren ermöglichen es, Bilder von anfliegenden Drohnen aufzunehmen und KI-Verfahren zur Bildanalyse darauf anzuwenden. So lassen sich die Objekte detektieren, verfolgen, analysieren und damit Art und Nutzung von Drohnen erkennen. Das IOSB forscht seit über zehn Jahren an solchen KI- Verfahren (speziell: Deep Learning-Verfahren) zur Bildanalyse und integriert sie in das Experimentalsystem zur Drohnenerfassungs- und Assistenzsystem MODEAS. 

(Abb. 1.) Die Aufgabenstellung knüpft damit direkt an andere Arbeiten des IOSB zu Echtzeitverfahren für die videobasierte luftgestützte Aufklärung an. Auch hier müssen visuell optische und Infrarot-Bilder (IR) von kleinen Objekten und deren Verhalten in variabler Umgebung und unter verschiedenen Lichtbedingungen analysiert werden (Abb. 2 und 3.)

Detektion von Drohnen mit IR-Sensorik

IR-Sensorik bietet gegenüber visuell-optischer Sensorik den Vorteil, dass auch Nachts eine Erfassung von Drohnen möglich ist. Die IR-Sensorik bietet aber gegenüber der visuell optischen Sensorik zusätzliche Herausforderungen. Im Infrarot-Bereich ist die Verfügbarkeit von Trainingsdaten noch stärker eingeschränkt. Daher werden vom IOSB spezielle Techniken des frugalen Lernens (Lernen mit wenigen Trainingsdaten) erforscht und eingesetzt, z.B. um die Trainingsdatensätze durch Variation von vorhandenen Daten anzureichern, IR-Verfahren mit Hilfe von adaptierten visuell-optischen Daten zu trainieren oder mit kleinen annotierten Trainingsdatensätzen zu lernen.

Klassifikation von Drohnentypen und Erkennung von Drohnennutzlasten

Auf den Videostrom werden weitere Deep Learning (KI)-Verfahren angewendet, die über die Unterscheidung zwischen den Klassen Drohne und Verwechslungsobjekt hinausgehende Informationen liefern.

Hierzu hat das IOSB Verfahren zur Unterscheidung verschiedener Klassen von Drohnen und insbesondere zur Detektion der Nutzlast realisiert. Dabei kann es sich z.B. um Videosensorik oder eine Funkausstattung handeln, aber auch um abwerfbare Objekte. (Abb. 5.)

MODEAS - Hierarchischer Analyseprozess von der Voreinweisung über die Detektion zur Verfolgung und Analyse

Für den Analyseprozess wird in MODEAS zunächst eine initiale Detektion der Drohnen durchgeführt. Eine Funkdetektion hat eine große Reichweite, ist aber nur für funkende Drohnen wirksam. In MODEAS wird eine auf Radar basierende Erstdetektion eingesetzt, die auch für autonome Drohnen, die keine Funksignale aussenden, wirksam ist. Radar hat zwar eine große Reichweite und kann auch Drohnenschwärme erfassen, ist aber typischerweise nicht in der Lage Drohnentypen und ihre Nutzlast zu erkennen. Auch eine visuell-optische Erfassung einer Drohne im Nahbereich wird als Erstdetektion in MODEAS eingesetzt.

Mit Hilfe einer solchen Voreinweisung wird eine Telekamera mit Videosensorik auf ein detektiertes potenzielles Ziel eingeschwenkt und dieses mit KI-Verfahren detektiert und verfolgt. Damit werden die genaue Richtungsinformation und Entfernung ermittelt, womit die Geokoordinaten der fliegenden Drohnen berechnet werden. Hierbei müssen nicht nur Einzeldrohnen, sondern auch Drohnenschwärme prozessiert werden können. (Abb. 6.)