Wie 13.000 LEDs für realistische Telepräsenz sorgen

Es ist eine Vision aus vielen Sciencefiction-Filmen: Statt einfacher Videotelefonate unterhalten sich die Gesprächspartner als digitale Avatare - als säßen sie im selben Raum, obwohl sie in Wirklichkeit Tausende von Kilometern voneinander entfernt sind. Damit eine solche „Telepräsenz“ funktioniert, braucht es fotorealistische digitale Abbilder der Nutzer, die mit geringem Rechenaufwand und in Echtzeit erzeugt werden können. An der Grundlagenforschung für solche Anwendungen arbeiten Forscherinnen und Forscher am Max-Planck-Institut für Informatik in Saarbrücken.

Im Zuge dessen entsteht ein hochmodernes Computerlabor, dessen technische Ausstattung zu den besten der Welt gehören wird. Im Mittelpunkt des Forschungslabors mit dem Namen „Real Virtual Lab“ steht die hochpräzise Datenerfassung für die Grundlagenforschung in den Bereichen Computergrafik, Computer Vision und Künstliche Intelligenz. Im Endausbau soll es insgesamt 350 Quadratmeter Laborfläche umfassen.

Ein Kernelement des Labors ist die sogenannte „Lightstage“. Worum geht es dabei?

Bei der Lightstage handelt es sich um eine Vorrichtung, mit der verschiedene Lichtverhältnisse und Lichtszenen kontrolliert erzeugt und aufgezeichnet werden können. Die Saarbrücker Lightstage hat einen Durchmesser von 3,5 Metern, besteht aus rund 13.000 einzeln ansteuerbaren LEDs und verfügt über 40 hochauflösende 6k-Kameras in Kinoqualität. Die Max-Planck-Forscher werden diese Technik nutzen, um grundlegende Fragen der Rekonstruktion und Simulation von fotorealistischen digitalen Charakteren und Umgebungen zu untersuchen.

„Die Beleuchtung einer Szenerie beeinflusst stark, wie realistisch sie auf uns wirkt“, erklärt der promovierte Informatiker Marc Habermann, der das Real Virtual Lab leitet. „Die Lightstage gibt uns absolute Kontrolle darüber, wie wir Personen und Szenen ausleuchten und aufnehmen können. Das hilft uns wiederum dabei, die physikalischen Einzelheiten der Beleuchtung einer Szenerie möglichst umfassend zu durchdringen, um sie realitätsgetreu im digitalen Raum zu reproduzieren“, sagt Marc Habermann.

Durch die Arbeit mit der Lightstage könne man verstehen, wie sich verschiedene Oberflächen und Objekte in verschiedenen Beleuchtungssituationen verhalten und wie man Personen, Objekte und Szenen möglichst realitätsgetreu in neuen, vorher nicht aufgezeichneten Perspektiven und Beleuchtungen synthetisieren kann.

Besonders der Aspekt der Recheneffizienz ist für die Saarbrücker Forscher von Interesse. „Damit eine solche Technik akzeptiert und genutzt werden kann, muss sie so ausgereift sein, dass keine oder kaum Unterschiede zu einem realen Treffen bemerkbar sind. Zudem müsste es mit vertretbarem Rechenaufwand und am besten mit einer einfachen Webcam nutzbar sein. Davon sind wir noch weit entfernt“, sagt Christian Theobalt, Direktor am Max-Planck-Institut für Informatik.

Aber nicht nur die Telepräsenz, auch andere Anwendungen können von der Lightstage profitieren: „Je realistischer wir Umgebungen simulieren können, desto bessere Trainingsdaten können wir generieren, zum Beispiel für selbstfahrende Autos oder andere Bilderkennungsalgorithmen im industriellen Kontext“, sagt Laborleiter Marc Habermann. Auch für künftige Anwendungen im industrial Metaverse ist die Forschung von großer Bedeutung.