FROG 2021: Ten Years of Magic Mirror: I and my Avatar

27.11.2021

Seit 2012 entwickeln wir das Augmented-Reality-System Magic Mirror auf der Grundlage der nativen API von Kinect V1 und V2. Es basiert auf der Metapher des magischen Spiegels, bei dem ein großer Bildschirm eine gespiegelte Kameraansicht mit überlagerten grafischen Elementen zeigt. In unserem Fall zeigt es ein anderes Gesicht der Person, das die Mimik zuverlässig in Echtzeit trackt, während die Augen und der Mund der Person für die Interaktion und zur Verbesserung der Immersion sichtbar bleiben; es ersetzt den Hintergrund durch Bilder, die verändert, stufenlos gezoomt und gezogen werden können, und ermöglicht die Aufnahme von Screenshots, die automatisch auf Fotokarten mit einem eindeutigen QR-Code ausgedruckt werden der mit dem digitalen Bild verknüpft ist. Die Steuerung des Systems erfolgt hauptsächlich über leicht erlernbare Handgesten, die den von Mobiltelefonen und Tablets bekannten Multitouch-Bildschirmgesten sehr ähnlich sind. Wir haben das System sowohl öffentlich als auch privat (u. a. auf den FROG-Konferenzen 2012, 2013 und 2014, allerdings ohne einen Vortrag zu halten) in einer Vielzahl von Umgebungen, Gesichtern und Hintergründen vorgeführt. In diesem Vortrag erläutern wir die Herausforderungen, die mit der Erstellung hochwertiger Gesichtsnetze und -texturen aus 2D-Bildern verbunden sind, und wie wir sie gelöst haben; wir beschreiben die verschiedenen Versionen des Systems, wie sie sich unterscheiden und ihre Grenzen; und wir demonstrieren die Nützlichkeit unseres Systems in verschiedenen Anwendungen, von der Personenzählung und -verfolgung bis hin zur Höhenmessung ohne Speicherung oder Verarbeitung persönlicher Daten.

Dieser Vortrag wurde auf der Online-Streaming-Konferenz Future and Reality of Gaming 2021 gehalten.