Werkstudent*in / HiWi im Bereich Playing for Training Data

Das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB ist eines der größten Institute für angewandte Forschung auf dem Gebiet der Bildgewinnung und Bildauswertung in Europa. Die Abteilung Videoauswertesysteme (VID) beschäftigt sich mit der automatischen Auswertung von Signalen bewegter bildgebender Sensorik in komplexen, ggf. nichtkooperativen Szenarien. Diese Sensorik wird beispielsweise im Aufklärungs- und Überwachungsbereich als integrierte Komponente in fliegenden, weltraumgestützten oder mobilen landgestützten Plattformen verwendet. VID entwickelt und integriert hierfür Bildauswertealgorithmen für autonome oder interaktive Systeme.
 

Motivation  

In vielen Bereichen der Bildverarbeitung und des maschinellen Lernens, insbesondere im Bereich Deep Learning werden große, sauber annotierte Mengen von Bilddaten benötigt, um robuste Modelle zu trainieren. Das manuelle Sammeln und Annotieren solcher Daten-sätze ist oft mit erheblichem Aufwand verbunden. Eine zunehmend attraktivere Lösung ist die Erstellung von virtuellen Szenen am Computer, in denen Objekte (z.B. Fahrzeuge, Personen) positioniert und bewegt werden können. Beispielsweise können Bilddaten und die dazugehörige Ground Truth direkt aus Computerspielen extrahiert werden (z.B. Grand Theft Auto 5) [1].

 

Deine Aufgaben  

  • Einarbeitung in Programme zur Erstellung annotierter Trainingsdaten [1,2]
  • Erzeugung und aufbereitung von Daten für diverse Szenen/Szenarien
  • Optional (für Abschlussarbeiten): Trainieren und Evaluation von Deep Learning Verfahren auf den erstellten Daten

Deine Aufgabe ist es zunächst, Dich mit den Programmen [1,2], die zur Erstellung der Trainingsdaten verfügbar sind, vertraut zu machen und einen Überblick über die vorhandenen Möglichkeiten zur Modellierung virtueller Szenen zu erstellen. Bewertungskriterien sind dabei vor allem Bedienbarkeit, Vielfalt und Anzahl der verfügbaren Modelle. Anschließend soll in Absprache mit den Betreuern Bilddaten und die dazugehörige Ground Truth für diverse Szenen erstellt werden. Dies umfasst beispielsweise die Visualisierung von unterschiedlichen Personen und Fahrzeugtypen in diversen Umgebungen, sowie die Visualisierung von urbanen und ländlichen Regionen aus Luftperspektive. Im Rahmen einer Abschlussarbeit kann die Aufgabenstellung um eine detaillierte Analyse des Einflusses von simulierten Trainingsdaten auf Deep Learning basierte Verfahren erweitert werden.

 

Unsere Anforderungen

  • StudienfachInformatik, Mathematik, Elektrotechnik, Maschinenbau, Angewandte Physik, o.ä.
  • Ideal: Kenntnisse im Umgang mit GTA 5, sowie Editoren für Game Engines
  • Fähigkeit zum selbständigen Arbeiten
  • Bereitschaft, sich in neue Themengebiete einzuarbeiten und Freude am Einbringen eigener Ideen

[1] Playing for Data: Ground Truth from Computer Games

[2] Aerial Informatics and Robotics Platform
 

Haben wir dein Interesse geweckt?

Dann schicke uns eine Mail mit allen erforderlichen Bewerbungsunterlagen (Anschreiben, Lebenslauf, Zeugnisse).

Bei Fragen oder zum Einsenden der Bewerbung wende dich bitte an:

M.Sc. Lars Sommer, lars.sommer@iosb.fraunhofer.de, +49 721 6091-657

Dipl.-Inf. Arne Schumann, arne.schumann@iosb.fraunhofer.de, +49 721 6091 614