Abschlussarbeit oder Werkstudent*in / HiWi im Bereich Bildtransformation mit generativen neuronalen Netzen

Quelle: [1]

Das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB ist eines der größten Institute für angewandte Forschung auf dem Gebiet der Bildgewinnung und Bildauswertung in Europa. Die Abteilung Videoauswertesysteme (VID) beschäftigt sich mit der automatischen Auswertung von Signalen bewegter bildgebender Sensorik in komplexen, ggf. nicht-kooperativen Szenarien. Diese Sensorik wird beispielsweise im Aufklärungs- und Überwachungsbereich als integrierte Komponente in fliegenden, weltraumgestützten oder mobilen landgestützten Plattformen verwendet. VID entwickelt und integriert hierfür Bildauswertealgorithmen für autonome oder interaktive Systeme.  

Motivation 

Aktuelle KI-basierte Klassifikationsverfahren benötigen große Datenmengen für das Training. Die feingranulare Klassifikation von Fahrzeugen auf Überwachungsbildern ist bspw. ein Szenario, in dem jedoch nur eine begrenzte Anzahl an Daten verfügbar ist. Zwar gibt es im Internet eine große Anzahl an Bildern von Fahrzeugen. Allerdings unterscheiden sich diese hinsichtlich der Perspektive deutlich von Überwachungsbildern. Generative Modelle wie GANs ermöglichen die Anpassung von Bildern. Die Anpassung der Perspektive durch GANs hat sich allerdings als besonders schwierig erwiesen [2]. Das Ziel dieser Arbeit ist daher die Eignung von aktuellen generativen Verfahren wie GANs [2] oder NeRFs [3] zu untersuchen, um neue Trainingsbeispiele für feingranulare Klassifikation von Fahrzeugen zu generieren.

Aufgabenstellung

Im Rahmen dieser Arbeit soll der Stand der Technik im Bereich generativer Verfahren zur perspektivischen Transformation von Bildern aufbereitet sowie die vielversprechendsten Ansätze evaluiert werden. Aufbauend auf den generierten Bildern soll untersucht werden, ob diese als Trainingsbeispiele geeignet sind, um die Genauigkeit von feingranularen Klassifikationsverfahren zu erhöhen.

Voraussetzungen

  • Studienfach: Informatik, Mathematik, Elektrotechnik und Informationstechnik oder verwandte Studiengänge
  • Gutes Verständnis für die (theoretischen) Grundlagen von Deep Learning
  • Ideal: Erfahrung mit den Deep Learning Frameworks PyTorch, TensorFlow und/oder Keras
  • Fähigkeit zum selbstständigen Arbeiten
  • Bereitschaft sich in neue Themengebiete einzuarbeiten und Freude am Einbringen eigener Ideen

Bewerbungen bitte mit Lebenslauf und Notenauszug per Mail an Stefan Wolf.

Mit Ihrer Bewerbung stimmen Sie unserer Datenschutzerklärung zu. 

Literatur

[1] K. Lv, H. Sheng, Z. Xiong, W. Li and L. Zheng, »Pose-Based View Synthesis for Vehicles: A Perspective Aware Method«, in IEEE Transactions on Image Processing, vol. 29, pp. 5163-5174, 2020.

[2] Wayne Wu, Kaidi Cao, Cheng Li, Chen Qian, Chen Change Loy, »TransGaGa: Geometry-Aware Unsupervised Image-To-Image Translation«, in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[3] Mildenhall B., Srinivasan P.P., Tancik M., Barron J.T., Ramamoorthi R., Ng R., NeRF: »Representing Scenes as Neural Radiance Fields for View Synthesis«, in ECCV 2020.