TVN: Extended-Reality-Studio mit Zusatz-Features

Neues Produktionsmittel bei der TVN GRoup: XR+ Studio

»XR+ Studio« nennt TVN sein neuestes Produktionsmittel — und es kombiniert einen Greenscreen, eine große LED-Wand und weitere AR- und VR-Technologien, darunter auch GhostFrame. Insgesamt eröffnet das TVN XR+ Studio neue, zusätzliche Gestaltungsmöglichkeiten und letztlich noch beeindruckenderes, realistischeres Storytelling durch engere Verschmelzung und besseres  Interagieren zwischen realen Personen und virtuellen Objekten.

Julian Rössig, TVN.

»Es handelt sich in der aktuellen Ausbaustufe um ein voll virtuelles Studio mit bis zu drei getrackten Kameraperspektiven«, fasst TVN-Projektleiter Julian Rössig zusammen. »Die Grafik-Engine kann in Echtzeit virtuelle Studiokulissen (VR) oder beispielsweise Datenintegrationen (XR) rechnen und abbilden. Wir können das Studio für szenische Produktionen, mit der LED-Wall aber auch als klassische LED-Backdrop Produktion nutzen.«

Das XR+ Studio von TVN kombiniert mehrere neue Technologien aus den Bereichen VR und AR.

Da das Ganze in Echtzeit funktioniert, stehen damit nicht nur Aufzeichnungen, sondern auch Live-Sendungen zur Verfügung. Das TVN XR+ Studio kann etwa für Corporate-Streamings, Produktpräsentationen, Commercials, Studiomoderationen und szenische Produktionen verwendet werden.

Der Moderator im Studio sieht auf der LED-Wand ein anderes Bild als das von der Studiokamera erzeugte Bild und das Sendebild.

Der Clou dabei: Durch die GhostFrame-Technologie können auf der LED-Wand komplett andere Bildinhalte angezeigt werden als im Sendesignal. Die Akteure vor der Kameras können somit redaktionell unterstützt werden, indem Hintergrundmaterial oder Zusatztexte eingeblendet werden, die das TV-Publikum nicht sieht. Im Sendesignal kann man stattdessen etwa Produktinformationen anzeigen. Wie das technisch funktioniert, können Sie hier nachlesen.

Nur vier Studios in Deutschland bieten derzeit Extended Reality, nur das TVN XR+ Studio ist auch mit GhostFrame ausgestattet und dafür zertifiziert. Mit GhostFrame eröffnet sich eine neue Methode für das Tracking der Kameras, sozusagen »verstecktes Tracking«, das sich innerhalb von nur 30 Minuten einrichten lässt.

Produktionen im TVN XR+ Studio 

Bei bisherigen Produktionen im Studio konnten bereits verschiedene Anwendungsszenarien umgesetzt werden. So bewegten sich Protagonisten im Realset nur im Green, mit der LED-Wall als Backdrop. Durch Live-Grafik-Rendering wurden dabei virtuelle Set Extensions realisiert, also am linken und rechten Bildrand ergänzt und mit der LED-Wall synchronisiert. Für die Zuschauenden schienen sich die Personen in einem Würfel aus LED-Walls zu befinden. Bei eingespielten Hintergrundbildern auf der LED-Wall wurden Overlay-Grafiken in Echtzeit eingespielt – ohne weitere Postproduktion. Bei einem rein virtuellen Set wurden die Hintergründe in Echtzeit Grafik gerendert und während des Livestreams individuell angepasst. AR-Grafiken, beispielsweise Diagramme, wurden als Live-Daten-Integration im Programmbild eingespielt.

Der Protagonist steht vor der LED-Wall, die in diesem Fall parallel bis zu sechs unterschiedliche Inhalte gleichzeitig erzeugt.

Aktuell bestehen folgende Möglichkeiten: Der Protagonist steht vor der LED-Wall, die in diesem Fall parallel bis zu sechs unterschiedliche Inhalte gleichzeitig erzeugt. Fünf davon werden mit GhostFrame erzeugt: GhostFrame Chroma fügt zum Standard Video-Feed in Echtzeit einen vollständigen Chromakey-Subframe hinzu – dies erlaubt vielfältige Postproduktions-Möglichkeiten. GhostTrack fügt der LED-Wand ein verstecktes Muster hinzu – dies ermöglicht ein integriertes Kamera-Tracking ohne physische Tracking-Marker. GhostFrame MultiSource fügt der Content-Quelle bis zu drei verschiedene versteckte Video-Feeds hinzu, die teilweise oder komplett von jeder Kamera erfasst werden können. Dieses patentierte Verfahren macht es möglich, mehrere volldynamische Bilder während eines Produktions-Frames auf einem LED-Bildschirm zu zeigen. Eine oder mehrere Kameras können nun diese Bildsätze erfassen und visualisieren. Das menschliche Auge sieht jeweils nur einen der Inhalte.

Grafische Erläuterung zum Funktionsprinzip. © Nonkonform

Mit Kameras des Typs HDC-5500 von Sony kann GhostFrame genutzt werden, weil sie einen Global Shutter bietet und perfekt synchronisierbar ist.

Die GhostFrame Anwendung bietet außerdem die Möglichkeit, innerhalb eines Produktions-Frames der Kamera mehrere Bilder abzubilden und anzuzeigen. Um nicht wie bisher eine Kamera pro Inhalt einsetzen zu müssen, setzt TVN im neuen Studio die Systemkameras HDC-5500 von Sony ein. Sie verfügen nicht nur über erstklassige UHD/HD/HDR-Bildqualität (2/3-4K-CMOS-Sensor mit Global-Shutter-Technologie), sondern sie bieten die besondere Möglichkeit, alle angezeigten Bildinhalte mit einer einzigen Kamera aufzuzeichnen. Zudem erlaubt der Global-Shutter eine exakte Anpassung der Bildabtastung der Signale auf der GhostFrame LED Wall.

Prozessor des Bildmischers XVS-G1 von Sony.

Für Live-Produktionen im XR+ Studio nutzt TVN den neuen Bildmischer XVS-G1 von Sony. »TVN steht weltweit für herausragende Qualität und stetige Innovation. Deshalb freuen wir uns natürlich ganz besonders über das Vertrauen in unseren neuen XVS-G1 Bildmischer«, so Andreas Berghaus, Produkt-Spezialist Live-Produktion von Sony.

Andreas Berghaus, Sony.

»Das System bietet neben garantierter Signalqualität und minimalen Durchlaufzeiten Neuerungen wie zum Beispiel zusätzliche Clip-Player oder die Möglichkeit, BRC-Kamera-Positionen direkt über das Panel aufzurufen. Zudem bietet der Prozessor ein in diesem Segment einzigartiges Potenzial der Signalverarbeitung für Ein- und Ausgänge – mit diversen Wandler- und Synchronisations-Funktionen – inklusive integrierter SDR/HDR-Format-Konverter. All diese Funktionen optimieren die Produktionsabläufe im Studio und geben TVN die notwendige Flexibilität, um dynamisch und sehr schnell auf alle Produktionsanforderungen reagieren zu können.«

TVN und die Appario Global Solutions AG (AGS)  betreiben in einer strategischen Kooperation das XR+ Studio in Hannover und bauen zudem einen Vertrieb von Dienstleistungen rund um die GhostFrame-Anwendung in Europa auf. GhostFrame basiert auf der VCM-Technology AGS AG, die das »Verstecken« von Inhalten in der LED ermöglicht (Meldung).

Die Partner nutzen das TVN XR+ Studio neben Kundenproduktionen für Tests und Zertifizierungen von Herstellern sowie Trainings anderer Broadcast-Dienstleister.