TVN zeigt XR+ Studio mit GhostFrame-Anwendung

VR-Technik

Hinter den Kulissen arbeitet die Echtzeit-VR-Technik. Bis zu drei Kameras erfassen das Geschehen im Studio. Zusammen mit den Tracking-Daten der jeweiligen Kameras wird dann der perspektivisch zum Blickwinkel der Kamera passende Hintergrund erzeugt und ins Sendesignal eingestanzt — in Echtzeit.

»Es handelt sich in der aktuellen Ausbaustufe um ein voll virtuelles Studio mit bis zu drei getrackten Kameraperspektiven«, fasst TVN-Projektleiter Julian Rössig zusammen. »Die Grafik-Engine kann in Echtzeit virtuelle Studiokulissen (VR) oder beispielsweise Datenintegrationen (XR) rechnen und abbilden. Wir können das Studio für szenische Produktionen, mit der LED-Wall, aber auch als klassische LED-Backdrop Produktion nutzen.«

Eben weil das Ganze in Echtzeit funktioniert, stehen nicht nur Aufzeichnungen, sondern auch Live-Sendungen zur Verfügung. Das TVN XR+ Studio kann etwa für Corporate-Streamings, Produktpräsentationen, Commercials, Studiomoderationen und szenische Produktionen verwendet werden.

Technische Voraussetzungen

Zu den Besonderheiten des XR+ Studios gehören die kurzen Setup-Zeiten: Innerhalb von nur 30 Minuten ist die Technik hochgefahren und kalibriert. Während der laufenden Produktion kann dann effizient in Echtzeit gearbeitet und es können mehrere unterschiedliche Sendesignale gleichzeitig erstellt werden.

Voraussetzung dafür ist das Zusammenspiel mehrerer Komponenten. Das gesamte System des XR+ Studios von TVN basiert darauf, dass Studiokameras mit Global Shutter und hoher Bildrate verwendet werden. Im konkreten Fall sind das Sony-Kameras des Typs HDC-5500. Diese Kameras können 4K-HDR-Bilder erzeugen, aber im Zusammenhang mit dem XR+ Studio ist eine andere Eigenschaft viel wichtiger: das Kameramodell HDC-5500 bietet hohe Bildraten (bis zu 8fach in HD-Auflösung). Im Studio werden die Kameras sozusagen im 4fach-Slomo-Modus betrieben — weshalb, wird weiter unten erklärt.

Zweiter Aspekt ist die LED-Wand: Die muss hohe Lichtleistung, hohe Auflösung und hohe Bildwiederholfrequenz bieten. Konkret besteht die LED-Wand bei TVN aus Panels des Herstellers ROE. Die verwendeten  Panels bieten eine Refresh-Rate von 7.680 Hz — und auch das ist wichtig für die GhostFrame-Anwendung.

Gestanzt wird im XR+ Studio mit einer Ultimatte-Chromakey-Lösung.

Als Virtual-Set-System nutzt TVN die Lösung InfinitySet des Herstellers Brainstorm, basierend auf Unreal-Engines. Hiermit werden also die Echtzeit-Hintergründe berechnet. Diverse Grafiksysteme können das InfinitySet mit Hintergründen beschicken: Cinema4D und Unreal stehen hier zur Wahl.

GhostFrame schließlich sorgt dafür, dass mehrere ineinander verschachtelte Signale auf der LED-Wand angezeigt werden. Dann kann man einerseits technisch dafür sorgen, dass auf der LED-Wand nur eines der Bildsignale für die Personen im Studio zu sehen ist, die Kamera sieht aber andererseits auf der LED-Wand alle Signale, auch die versteckten.

Das funktioniert, weil die Kamera mit einer Bildrate von 200 Hz aufnimmt, das ist eine höhere zeitliche Auflösung, als das menschliche Auge sie bietet. Dadurch kann man technisch aus dem Bilderstrom wieder alle von GhostFrame verschachtelten Signale einzeln sortieren und ausfiltern. Das passiert in der Regie.

Dort stehen also alle Bilder wieder zur Auswahl — und es kann gewählt werden, welches Hintergrundbild die LED-Wand im Studio zeigen soll und welche Sendesignal(e) verwendet werden sollen.

Mit diesem Setup kann die GhostFrame-Anwendung auf der LED-Wand also komplett andere Bildinhalte anzeigen, als sie dann im Sendesignal gezeigt werden.

Eine von vielen Möglichkeiten, das auszunutzen: Die Akteure vor der Kameras können redaktionell unterstützt werden, indem Hintergrundmaterial oder Zusatztexte eingeblendet werden, die das TV-Publikum aber nicht sieht. Im Sendesignal kann man stattdessen etwa Produktinformationen anzeigen.

Das eröffnet auch die Möglichkeit, in einem Take oder einer Übertragung mehrere unterschiedliche Sendesignale zu erzeugen: Man könnte also in einem Take etwa dafür sorgen, dass eingeblendete Grafiken in verschiedenen Sprachen beschriftet werden — und zwar live.

Eines der versteckten Signale auf der LED-Wand ist aber nicht als Bildhintergrund gedacht, sondern ist ein Muster aus Tracking-Markern. Die kleinen Tracking-Kameras, die unterhalb der Studio-Objektive montiert sind, werden dabei so synchronisiert, dass sie nur diese Marker sehen. Sobald die Studiokamera also in Richtung der vor der LED-Wand agierenden Personen gerichtet ist, stehen somit auch automatisch Tracking-Marker zur Verfügung. Das beschleunigt den Setup und sorgt für sehr präzise Tracking-Daten. GhostFrame eröffnet sozusagen »verstecktes Tracking«.

Seite 1: Grundlagen, Video 1
Seite 2: VR und GhostFrame, Video 2
Seite 3: Produktionen