ThruView: Stargate kombiniert live virtuelle und reale Sets

Sam Nicholson ist der Gründer der Stargate Studios, prämierter VFX-Schöpfer und Mitglied der American Society of Cinematographers. Und er hat sozusagen die nächste Stufe des Greenscreens entwickelt.

Nicholson nutzte Echtzeit-Compositings bereits Anfang des neuen Jahrtausends, als es in der Produktionsbranche aufgrund der Terroranschläge am 11. September 2001 zum Stillstand kam. »Es war plötzlich nicht mehr möglich, zum Filmen an den jeweiligen Drehort zu reisen«, erzählt Nicholson. »Es stellte sich daher die Frage, ob es möglich wäre, ‚Emergency Room‘ weiterhin am Schauplatz Chicago, ‚CSI‘ und ‚Ugly Betty‘ in New York und ‚Grey’s Anatomy‘ in Seattle spielen zu lassen, ohne dafür L. A. verlassen zu müssen.«

Durch cleveres Produktionsdesign, umfangreiche Plate-Shootings und den Einsatz von Greenscreens am Set gelang es Nicholsons Team, alle von der Firma betreuten Sendungen in virtuelle Produktionen umzuwandeln. »Das war die Geburtsstunde unseres ‚Stargate Virtual Backlots‘, wofür wir 360-Grad-Aufnahmen von allen möglichen Städten weltweit in Hochauflösung einfingen«, so Nicholson. Mit über 300.000 Clips ist Stargate Studios Sammlung virtueller Studiogelände die mittlerweile größte Set- und Set-Erweiterungsbibliothek der Welt.

Doch um eine perfekte Lösung handelte es sich bei dieser Technik nicht: Der Einsatz von Greenscreens am Set war unter anderem deshalb nicht optimal, da Regisseure und Schauspieler ihre Kreativität vor dem eintönigen Hintergrund nicht recht entfalten konnten. Auch DoPs empfanden es als Herausforderung, die Beleuchtung an einen Hintergrund anzupassen, den sie gar nicht vor Augen hatten. Hinzu kamen noch der zeitliche Mehraufwand und die zusätzlichen Kosten für das Szenen-Compositing in der Postproduktion.

Nicholson war sich sicher, dass es einen besseren Weg geben musste. Er fragte sich, ob es möglich wäre, bereits am Set fertige Bilder zu generieren.

Und so brachte Nicholsons Team seine bis dahin gewonnenen Erkenntnisse in seine nächste Produktion mit ein, HBOs neue Serie »Run«. In der Serie reisen die Figuren mit dem Zug durch die USA. In Wirklichkeit wurde das kanadische Toronto für die Produktion aber nie verlassen.

»In der Vorproduktion stellte sich heraus, dass wir mit mehreren Blackmagic Design DeckLink 8K Pro Karten zehn 8K-Streams gleichzeitig an eine Epic Unreal Spiel-Engine schicken konnten, um die Footage auf 40 4K-Monitoren an einem 45 m langen Eisenbahnset in Echtzeit abzuspielen.«

Mithilfe eines hausintern entwickelten Tracking- und Beleuchtungs-Tools entstanden fotorealistische, sich an den Zugfenstern vorbei bewegende Bilder mit animierter und zur Plate passender Beleuchtung, die in Echtzeit auf den Shot abgestimmt wurden. Auf jedem der 40 Monitore am Set wurde also das jeweils passende Bild live beim Dreh eingesetzt. Die Schauspieler und die Kamera sahen am Set das reale Bild, statt nur Greenscreen-Flächen. »Wir produzierten die gesamte Serie mit diesem System, das wir mittlerweile ‚ThruView‘ getauft haben.«

ThruView basiert auf einer Mischung aus proprietären und frei verkäuflichen, neuen Technologien, die sich immer mehr zu robusten und betriebssicheren Tools mausern. »Wir bei Stargate haben ein drahtloses Kameratracking sowie ein RGBW-DMX-Beleuchtungssystem mit Pixelzuordnung entwickelt. Technologien wie die 8K-Image-Capturing sind jetzt mit Blackmagic Designs 8K-Playback-Karten und DaVinci Resolve Studio für Onset-Farbkorrekturen kompatibel«, erklärte Nicholson.

Erschwingliche 4K-Bildschirme, immer feinkörnigere, modulare LED-Panels, Nvidias beschleunigte GPU-Grafik-Prozessoren und der Unreal 4 Game-Engine von Epic in Kombination mit Blackmagic Design Produkten haben ThruView für Stargate überhaupt erst möglich gemacht. »Die Herausforderung bestand darin, diese ganzen unterschiedlichen Technologien verlässlich und dauerhaft miteinander zu verknüpfen, um dem Druck der Live-Action bei Mehrkameradrehs standzuhalten.

»Das ThruView-Team von Stargate hatte am ‚Run‘-Set drei DaVinci Resolve Studio Systeme gleichzeitig im Einsatz«, so Nicholson. »Für die Koordination aller unserer Playback-Inhalte am Set haben wir uns auf mehrere DaVinci Resolve Stationen verlassen. Resolves Echtzeit-Farbkorrektur, Schnitt-Tools und Fusion VFX waren für die Bearbeitung dieser Masse an hochauflösender Footage in einer so rasanten Live-Action-Umgebung unabdingbar.«

Doch neben Resolve und den DeckLink 8K Pro Karten besteht der Backbone von ThruView aus diversen weiteren Blackmagic-Produkten. Dazu zählen mehrere Smart VideoHub 12G Kreuzschienen, DaVinci Resolve Micro Panels, eine UltraStudio 4K Extreme, ein Teranex AV Normwandler, eine Vielzahl an Micro und Mini Converters sowie ein Atem Constellation 8K, der bei der Verarbeitung der hochauflösenden Bilder eine zentrale Rolle spielte.

»Die Echtzeitproduktion von virtuellen Umgebungen, bei der fotografische und computergenerierte Inhalte miteinander kombiniert werden, entwickelt sich durch stets schneller werdende Prozessoren, größer werdende Speicher sowie billiger und haltbarer werdende LED-Bildschirme zur neuen Norm«, sagte Nicholson.

»Virtuelle Produktionen bieten eine praktische Lösung für die Probleme, vor die wir uns zurzeit gestellt sehen. Es ist viel einfacher, den Drehort an den Produktionsort zu verlegen, als eine gesamte Produktion an einen Drehort. Dennoch sollte man sich bewusst sein, dass virtuelle Produktionen nicht für jede Art von Projekt geeignet sind. Dafür bedarf es einer sorgfältigen Vorproduktion, in der kreative Inhalte geschaffen und die jeweiligen Technologien, die letztendlich beim Dreh zum Einsatz kommen, getestet werden.«

Nicholson ist überzeugt, dass sich die Branche immer weiter in Richtung virtuelle Produktionen bewegt. Und ThruView ist bereit, sich der Herausforderung zu stellen. »Ich habe das Gefühl, dass unser System in den nächsten Jahren rund 50 % aller Greenscreen-Drehs weltweit ersetzen wird. Unser System ist ideal, weil es funktioniert und weil es — dank Blackmagic Designs Produkten – zu einem angemessenen Preis angeboten werden kann. So gut Hardware auch sein mag, sie ist nicht gut genug, wenn man sie sich nicht leisten kann.«