GRIZZLY - Eventbasiertes Objekttracking

Kurzbeschreibung des Projekts

Sensorgestützte Sortiersysteme schleusen Objekte häufig mit Druckluft aus. Dafür muss sehr genau bekannt sein, wann welches Objekt welche Düse erreicht. Klassische Zeilenkameras erfassen ein Objekt jedoch meist nur einmal und liefern kaum Informationen über seine weitere Bewegung. GRIZZLY löst diese Herausforderung, indem Sortierobjekte nach ihrer Erkennung weiterverfolgt werden: Ihre Position wird bis kurz vor der Ausschleusung aktualisiert, statt nur aus einer Momentaufnahme vorhergesagt zu werden. Dafür nutzt das Projekt Event-Kameras, die nicht ganze Bilder aufnehmen, sondern nur Änderungen in der Szene registrieren. So lassen sich bewegte Objekte besonders schnell und mit sehr geringer Latenz tracken.

Projektziele

Ziel des Projekts ist es, die schnelle Bewegungserfassung eventbasierter Kameras mit der Klassifikation einer Zeilenkamera zu verbinden. Die Zeilenkamera erkennt und bewertet die Objekte im Materialstrom, während die Event-Kamera deren Flugbahnen mit sehr geringer Latenz weiterverfolgt. Der IOSB-Projektanteil umfasst den mechanischen Demonstrator, die Integration der Zeilenkamera, die Sensorfusion, die Kalibrierung zur Ventilreihe sowie die Sortierversuche. So soll die Druckluftausschleusung nicht mehr auf festen Bewegungsannahmen beruhen, sondern objektindividuell und präzise ausgelöst werden – auch bei heterogenen, leichten oder schwer sortierbaren Materialien.

Beitrag des Fraunhofer IOSB

Im Projekt entstand ein voll integrierter Labordemonstrator, der Zeilenkamera und Event-Kamera in Echtzeit fusioniert und die Ventilreihe gezielt ansteuert. In Versuchen mit sechs Materialklassen erreichte das eventbasierte Tracking eine effektive Latenz von 4 ms und beim engsten getesteten Aktivierungsfenster eine mittlere Ausschleusungsgenauigkeit von 98,2 %. Damit lag GRIZZLY deutlich über zeilenkamera- und framebasierten Referenzverfahren. Die Ergebnisse zeigen: Wenn Objektpositionen bis kurz vor der Düse zuverlässig bekannt sind, können Druckluftimpulse kürzer und gezielter eingesetzt werden – eine Grundlage für präzisere und ressourcenschonendere Sortieranlagen.

Im Fraunhofer SME Projekt HAWK wird das System weiterentwickelt, um anhand der Trajektorie der Objekte nach der Ausschleusung in Echtzeit bewerten zu können, ob Objekte korrekt abgelenkt wurden. Daraus soll mit Hilfe von selbstlernende Verfahren eine Objektspezifische Ansteuerung gelernt werden, die noch mehr Objekteigenschaften in Betracht zieht.

Lesen Sie dazu unsere Veröffentlichung, den Download finden Sie unten links auf der Website.

Tracking mit Event-Kamera

Die Objekte bewegen sich von links nach rechts, werden von der Zeilenkamera erfasst, von der Event-Kamera verfolgt bis zur präzisen Ansteuerung am Düsenarray

Aufbau des Versuchsystems

Aufbau des Sortiersystems. Die Pfeile zeigen die Bewegung des Schüttguts.

Problem von klassischen Sortiersystemen und Lösungsvorschlag

Klassische Sortiersysteme nutzen lediglich eine Zeilenkamera mit der Annahme, dass sich Objekte zwischen Erfassung und Ausschleusung genau mit der Bandgeschwindigkeit bewegen. Dies trifft bei vielen Objekten aber nicht zu (sehr leicht, oder rollen auf dem Band). Im Projekt Grizzly werden stattdessen alle Objekte permanent verfolgt, dadurch kann genauer sortiert werden. Außerdem kann auf ein Förderband verzichtet werden, wodurch die Systemkosten gesenkt werden.

Zu sortierende Objekte

Die für den Test gewählten Objekte können alle beispielsweise in der Nahrungsmittelproduktion in den Materialstrom gelangen. Dabei haben sie sehr unterschiedliche dynamische Eigenschaften.

Ergebnisse der Sortierversuche

Bei sehr kurzer Aktivierung der Druckluftdüsen kann teure Druckluft gespart werden und Objekte genau ausgeschleust werden. Durch unser Event-Basiertes Tracking mit minimaler Latenz erreichen wir trotzdem eine sehr hoher Treffgenauigkeit im Vergleich zu Frame-Basiertem Tracking und insbesondere reinen Zeilenbasierten Systemen.