»KI ist wie Benzin«

Edd Dawson-Taylor.

In Deutschland hat Virtual Production erst beeindruckt und dann gebremst, weil Fachleute fehlten. Wie nehmen Sie die Entwicklung gerade wahr?

Edd Dawson-Taylor: Das ist ein großes Thema. Virtual Production war anfangs ein Oberbegriff für vieles: Previs, Postvis, hybride Drehs wie bei »The Jungle Book« mit Simulcam. Dann kamen die LED-Wände, und plötzlich glaubten alle, man müsse immer LED verwenden. Also sind viele wieder zum Greenscreen zurückgekehrt, den sie ohnehin schon nutzten. Dazu kamen Dinge, mit denen niemand gerechnet hatte: die Streiks, Corona. Und dann kam KI.

Beim MTH in Potsdam hatte film-tv-video.de die Gelegenheit …

KI ist heute das, worauf alle zeigen, wenn es um den großen Umbruch geht. Tatsächlich haben aber eher diese Makrofaktoren den Wandel angetrieben. Trotzdem halte ich KI inzwischen für die größte Disruption, weil sie mit allem Digitalen so gut umgehen kann. In meiner Demo auf der Virtual Production Bühne lief heute ein mit KI gebautes Set. Es kam überraschend nah an einen von Hand modellierten Hintergrund. Das Ganze musste noch etwas nachgebessert werden, aber es mit Hilfe von KI auf 90 Prozent zu bringen, war extrem effizient. Die Leute generieren KI-Plates für die LED-Wand, nutzen KI-Elemente im Compositing, arbeiten klassisch oder drehen praktisch. Es gibt jede Spielart.

Ist KI für Virtual Production also eher Beschleuniger als Bremse?

Edd Dawson-Taylor: Eine potenzielle Kundin hat mir da mal widersprochen, und das war ein spannender Moment. Ihre These war, dass KI alles Traditionelle komplett verdrängen wird. Ich hielt das nicht für realistisch, und wir sind nicht zusammengekommen.

… mit Edd Dawson-Taylor zu sprechen.

Ich sehe aber nichts schwarzweiß. Ich glaube, dass KI vieles umwälzen wird. Und ich glaube gleichzeitig, dass sie die traditionellen Methoden stärken wird. Das sehe ich bereits: KI baut ein Set, auf dem man anschließend dreht. Sie generiert es nicht live, aber sie hat es überhaupt erst gebaut. Diese Methode wird extrem gut werden, fotorealistisch und editierbar, ohne dass man alles manuell erstellen muss. Wir sehen, wie KI direkt vom Text zum Film führt. Wir sehen aber auch, wie sie 3D stärkt.

Sie beschreiben KI gern als Energiequelle. Wie meinen Sie das?

Edd Dawson-Taylor: Für mich ist KI wie Benzin. Als hätten wir eine neue Energieform entdeckt, so wie die Kernkraft. Man kann mir entgegenhalten, dass KI keine echte Energie ist, und mir ist klar, dass irgendjemand dafür bezahlt und Strom hineinfließen muss. Aber sie setzt Produktivität frei. Benzin und Kernkraft sind beide umstritten, beide machen Menschen wütend, und beide leisten Außergewöhnliches, in die eine wie in die andere Richtung.

Virtual Production war anders und hat Dinge verändert, aber nicht umfassend. Virtual Production war ein massiver Hype, ist in der Realität angekommen und wächst jetzt wieder, aber nachhaltiger und langsamer. KI ist eine ganz andere Sache: Sie begeistert Menschen und macht sie wütend, manchmal sogar dieselbe Person. Es ist die größte digitale Disruption, die ich in meinem Leben erlebt habe.

Gerade in den USA wächst der Widerstand gegen neue Rechenzentren. Braucht es einen bewussteren Umgang mit KI?

Edd Dawson-Taylor: KI zeigt vor allem, wie versiert derjenige ist, der sie bedient. Ein richtig guter Operator holt wilde und verrückte Dinge aus ihr heraus. Wer den Kontext oder die Ideen nicht hat, produziert Mittelmaß und glaubt, das liege an der KI. Das ist aber nicht so. KI ist ein Verstärker. Geld, Benzin, Kernenergie: All das verstärkt nur, wer wir ohnehin sind. Deshalb hatte ich erst Angst und bin jetzt offen gestanden begeistert. Ich sehe darin das Potenzial für ein Maß an Kreativität, das wir noch nie gesehen haben.

Gleichzeitig bin ich mir bewusst, dass KI Schattenseiten hat. Sie wird Arbeitsplätze verändern, und sie belastet die Umwelt. Wir haben wieder etwas sehr Mächtiges gefunden, das gesteuert und vielleicht auch reguliert werden muss. Und wir sind noch nicht so weit, es zu steuern, genau wie damals bei der Kernkraft. Es geht nur schneller als beim Benzin und schneller als bei der Kernkraft. Und es werden dieselben Debatten geführt: Wir sollten aufhören, wir sollten regulieren, wir sollten es zurücknehmen. Aber die Welt als Ganzes hat Atomkraft noch nicht zurück in die Kiste gepackt.

Was ist für Virtual Production gerade am spannendsten?

Edd Dawson-Taylor: Ganz allgemein: KI-Content-Generierung. 360-Grad-Plates, 2,5D-Plates, Splats oder modellierte und ausgeleuchtete 3D-Umgebungen lassen sich alle mit KI erstellen oder anpassen. So entstehen Dinge, die vorher nicht möglich waren, oder sie entstehen schneller. Die Dreh- und Angelpunkte sind für mich Qualität und Produktivität. Wer die richtige Qualität effizienter liefert, gewinnt.

Beim MTH in Potsdam hielt Edd Dawson-Taylor…

Konkret sind Gaussian Splats wohl das spannendste Feld. Sie liefern ziemlich einfach Fotorealismus und lösen viele Probleme handgebauter CG. Dazu kommen generative 2D- und 2,5D-Hintergründe. In den Händen eines guten Artists, der sie mit traditionellen Techniken kombiniert, entsteht damit Großartiges. Das Pantheon aus meiner Demo habe ich in Blender modelliert, selbst ausgeleuchtet und die Statuen durch KI-generierte aus Tripo ersetzt. Das ging sehr schnell. Anders hätte ich das nie geschafft.

Wie funktionieren Gaussian Splats, einfach erklärt?

Edd Dawson-Taylor: Ich stelle sie mir wie ein dreidimensionales Foto vor. Die Pixel sind unscharf und existieren lückenhaft und unvollkommen im Raum. So entstehen sehr effiziente, fotografische 3D-Welten, in denen man sich bewegen kann. Bei filigranen Strukturen wie Bäumen, an denen Photogrammetrie scheitert, sind Splats deutlich besser. Sie sind nachsichtig genug, um überzeugend auszusehen. Außerdem ändern sich Licht und Farbe mit dem Blickwinkel. Die physikalische Erklärung dreht sich um Einfalls- und Ausfallswinkel, einfacher gesagt: Die Reflexionen wandern mit, wenn man sich bewegt. Man bekommt also viel mehr fotografisches 3D mit weniger Aufwand.

… einen sehr gut besuchten Virtual Production Workshop.

Wann setzen sich Splats in der Breite durch?

Edd Dawson-Taylor: Sie werden längst überall eingesetzt. Die Qualität ist gut, wenn sauber gescannt wird. Wenn das Ergebnis enttäuscht, liegt es meist am Scan. Schwierig bleiben Relighting und das Verändern einzelner Elemente. Da fließt gerade viel Forschung hinein, und zwar ins Licht, nicht in die Struktur.

Auf dem Panel heute Morgen hieß es: Handwerk plus KI ist der Weg. Was raten Sie dem Nachwuchs?

Edd Dawson-Taylor: Ich sehe Leute, die derzeit Schwierigkeiten haben, einen Arbeitsplatz zu finden (der Arbeitsmarkt ist hart). Und ich sehe auch Neueinsteiger, die nur Prompts beherrschen und ebenfalls keine Jobs finden. Es hängt auch vom Bereich ab. Im Dokumentarfilm ist KI oft der falsche Ansatz, also sollte man KI dort auch nicht einsetzen. Es geht um das richtige Werkzeug für die richtige Aufgabe.

In meinem Job habe ich gelernt, dass Menschen oft sehr schwarzweiß denken: Entweder man macht ab sofort alles so, oder man fasst es nie an. Dabei ist kaum etwas im Leben so. Fast alles baut auf etwas auf, das es vorher schon gab. KI ist nicht neu, ich habe sie 1998 studiert. Damals konnten sie nur Promovierte nutzen, und auch die nicht besonders gut. Heute kann sie jeder nutzen.

Selten war es für Einsteiger und Erfahrene gleichzeitig so schwer, sich zu orientieren. Die Erfahrenen haben allerdings einen Vorteil, auch wenn das Marketing etwas anderes suggeriert: Sie wissen, wo die Messlatte liegt. Qualität und Produktivität hängen immer vom Werkzeug und vom Operator ab. Wer die Messlatte nicht kennt, erreicht sie kaum. Dafür fällt Erfahrenen die Veränderung schwerer. Neueinsteigern fehlt das Handwerk, aber sie haben weniger Vorbehalte. Wobei sich auch manche Junge sträuben, weil sie glauben, wir zerstörten ihre Zukunft. Dafür habe ich Verständnis.

Auch bei einem der Panels war er vertreten.

In Folge 100 unseres CG Pro-Podcasts gab mir Alvy Ray Smith zwei Ratschläge, die ich ständig wiederhole: Geh dorthin, wo etwas passiert, und bring dich ein. Er war gemeinsam mit Ed Catmull Mitentwickler des Alpha-Kanals, wurde jedoch von Xerox PARC entlassen, weil er Farbpixel wollte und es den Verantwortlichen dort an Weitsicht mangelte. Er flog an den einzigen anderen Ort, an dem es damals einen Framebuffer gab, und dank dieses Mutes entstanden schon bald die ersten Vollfarbpixel und der Alpha-Kanal. Stellt euch eine Welt ohne diese Dinge vor! Er sprach aber auch davon, wie viel Unruhe diese Innovation auf ihrem Weg verursacht hat. Ich bin mir der Herausforderungen in Bezug auf Umwelt und Beschäftigung bewusst und mache mir darüber Sorgen. Ich würde den Menschen auch raten, stets sowohl sich selbst als auch die Welt zu hinterfragen. Sucht nach den wahren Gründen, warum ihr etwas nutzen oder vermeiden wollt. Ist es reine Sorge, oder steckt auch Angst vor Veränderungen dahinter? Tief im Inneren will eigentlich niemand wirklich Veränderungen. Wir sind biologisch darauf ausgelegt, uns dagegen zu wehren, aber sie sind auch unvermeidlich. Ich glaube, wir müssen uns engagieren und dorthin gehen, wo etwas passiert. Seid mutiger und flexibler und findet Wege, zum Wohlergehen aller Menschen beizutragen. Es wird chaotisch werden, aber es kann auch Spaß machen.