Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Phantombildgenerierung

Gesichtsbilder sind vorteilhaft gegenüber anderen Arten von biometrischen Daten, z. B. Fingerabdruck und Iris, wegen der berührungsfreien Weise bei der Datensammlung und der Möglichkeit für die Fernaufnahme.

Heutzutage ist die Analyse der Gesichtsbilder aus Überwachungskameras zunehmend weit verbreitet im Rahmen von öffentlicher Sichert und Anti-Terrorismus. Allerdings ist die Qualität der aufgenommenen Gesichtsbilder meistens eingeschränkt. Neben Rauschen und Unschärfe ist vor allem die niedrige Auflösung einer der wichtigsten Störfaktoren für die vorhandenen Ansätze.

Gesichts-Super-Resolution

Um ein verpixeltes Bild wieder schärfer zu machen, wird oft die Technik „Super-Resolution“ eingesetzt. Im Vergleich zur Interpolation kann Super-Resolution die verlorenen Details aus externen Daten lernen und künstlich generieren, damit eine spürbare Bereicherung der Schärfe ermöglicht wird.

Im Falle der Gesichtsbilder existiert jedoch der spezifische Ansatz der Gesichts-Super-Resolution, der bei der Synthese des hoch aufgelösten Bildes die gemeinsame Struktur der Gesichter, z. B. Augen, Nase und Mund, zusammen mitberücksichtigt, indem höhere Vergrößerung und Schärfe als bei der generischen Super-Resolution erzielt werden können. Dadurch kann ein hoch aufgelöstes Fahndungsfoto aus einem einzelnen niedrig aufgelösten Kamerabild erzeugt werden, was in der Praxis sehr wichtig ist. Da es oft vorkommen kann, dass aufgrund von niedriger Qualität nur eine bis sehr wenige brauchbare Gesichtsaufnahmen aus der Überwachungskamera extrahieren werden können.

3D-Super-Resolution der Gesichtstextur

Die Registrierung der Eingangs- und Trainingsdaten spielt eine wesentliche Rolle bei der Gesichts-Super-Resolution. Aufgrund der beliebigen Kopfposen im Überwachungsszenario und komplexer Deformierung der Gesichtsstruktur ist es bei der konventionellen bildbasierten 2D-Methoden nur annähernd möglich, eine grobe Ausrichtung der Gesichter zu bekommen.

Daher forscht das Fraunhofer IOSB am 3D-Algorithmus, der gleichzeitig genaue Registrierung und scharfe Gesichtstextur ermitteln kann.

Im ersten Schritt werden auf das Eingangsbild Dutzende Merkmalspunkte auf dem Gesicht automatisch lokalisiert. Mithilfe solcher Punkte und eines adaptiven 3D-Gesichtsmodells [1] können dann sowohl die Gesichtsform als auch die Kopfpose des niedrig aufgelösten Gesichts bestimmt werden [2].

Auf diese Weise können anschließend die Trainingsdaten auf die Erscheinung der Zielperson angepasst werden, um genaue Registrierung und zuverlässige Super-Resolution der 3D-Gesichtstextur zu ermöglichen [3].

Das 3D-Kopfmodell wird zuerst in mehrere überlappende Regionen aufgeteilt. Danach wird für jeden Block eine optimale Kombination der Trainingstextur gefunden, die den niedrig aufgelösten Bilddaten entspricht. Nachdem die Rekonstruktion aller Regionen durchgeführt wird, entsteht dann gleichzeitig die gesamte Textur des 3D-Gesichts in hoher Auflösung.

Neben der besseren Qualität bei der Super-Resolution kann das 3D-Gesicht gedreht werden und 2D-Gesichtsbilder in beliebiger Pose generieren. D. h., das entwickelte Verfahren ist fähig, mit einem Klick ein hoch aufgelöstes frontales Phantombild zu synthetisieren, das sowohl für automatische Gesichtserkennung in Massendaten, als auch für die Öffentlichkeitsfahndung sehr hilfreich ist.

Die IOSB-Software für die Phantombildgenerierung mit dem beschriebenen Verfahren ist im Beispielbild angezeigt. Auf dem niedrig aufgelösten und stark verrauschten Eingangsbild werden zuerst die Gesichtslandmarken detektiert (oben links), die als Hilfspunkte für die 3D-Rekonstruktion dienen. Verglichen mit der Interpolation (unten in der Mitte) besitzen die Ausgaben des entwickelten Ansatzes in 2D- (unten rechts) und in 3D-Ansicht (unten links) deutlich mehr Details. Die Rotation des Gesichts, dargestellt unterhalb der 3D-Ansicht, ist auch mit dem 3D-Gesichtsmodell zu errechnen.

Abbildung 1 Die IOSB-Software für die Phantombildgenerierung. Quelle des Testbildes: http://www.express.de/image/23771848/max/600/450/6d9bc4cefb72b31e9d0bc6261f7c8836/tA/cemqinmwiaqfy6d.jpg

[1] Blanz, V.; Vetter, T.: »A Morphable Model for the Synthesis of 3D Faces«. In Proceedings of the International Conference on Computer Graphics and Interactive Techniques (SIGGRAPH), 1999.

[2] Qu, C.; Monari, E.; Schuchert, T; Beyerer, J.: »Adaptive Contour Fitting for Pose-Invariant 3D Face Shape Reconstruction«. In Proceedings of the British Machine Vision Conference (BMVC), 2015.

[3] Qu, C.; Herrmann, C.; Monari, E.; Schuchert, T; Beyerer, J.: »Robust 3D Patch-Based Face Hallucination«. In Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV), 2017.