HandsOn: DaVinci KI-Funktionen

Hintergrundbearbeitung mit der Depth Map

Im nächsten Beispiel habe ich einen Interviewpartner vor einem Fenster sitzen.

Depth Map before.

Draußen ist es viel zu hell, das soll reduziert werden. Dazu gibt es mehrere Möglichkeiten, unter anderem die AI Magic Mask und die Depth Map. Ich habe mich für letztere entschieden, weil die Person im Bild sich bewegt, die Kamera aber nicht. Eine Maske müsste ich entweder vor dem Schnitt richtig lange oder nach dem Schnitt immer wieder einzeln tracken lassen. Die Tiefeninformation der Depth Map bleibt aber nahezu gleich. Somit spare ich mir mit dieser Variante einiges an Arbeit.
Ich ziehe also den Effekt Depth Map in einen neuen Node. Je nach Szene macht es Sinn, diesen Node relativ an den Anfang des Nodetrees zu setzen. Keys, in denen Helligkeit verändert wird, setze ich auch oft als Parallel Node zum Helligkeits-Node.

Depth Map After.

Die Kanten der Depth Map müssen für den Vordergrund jetzt scharf sein, um die Person gut zu maskieren. Man würde sonst Ränder um Kopf und Arme sehen, weil die Belichtung beider Ebenen dann sehr unterschiedlich ist. Generell gilt hier: Klappt der Key trotz aller Anstrengungen nicht, kann man die Änderungen an der Helligkeit so weit zurückfahren, bis man keine Kanten mehr sieht. In meinem Fall wollte ich die Wand unter dem Fenster noch etwas dunkler machen, darum habe ich die Tiefenebene bis über diese laufen lassen.

Ansonsten könnte man sich nur auf die Fenster konzentrieren und zusätzlich zur Depth Map um diese noch ein Window Key (hier passt der Name ganz gut) setzen.

AI Mask Rohbild.

AI Magic Mask 2

Natürlich kam es beim Interview, wie es kommen muss, und irgendwann haben sich Unbeteiligte draußen vor das Fenster gesetzt. In zwei Szenen waren sie zu sehen, in einer hat die Interviewperson ihre Hand vor das Fenster gehalten. So die Ausgangslage. Vorausschauend wurde vom Stativ gedreht, was die Bearbeitung um einiges vereinfachte.

Im ersten Schritt habe ich eine Stelle im Video ohne die Menschen im Hintergrund gesucht und diese über das Interview gelegt. Im Color Tab kann man eine einfache Maske (Power Window) über das Fenster ziehen und mit Rechtsklick / Add Alpha Output einen Alpha-Ausgang hinzufügen. Mit diesem relativ einfachen Schritt sind die Personen vor dem Fenster nun Geschichte.

Die neue AI Magic Mask kam an der Stelle zum Einsatz, bei der die Interviewperson ihren Arm vor das Fenster hebt.

Magic Mask Panel.

Klassisch sieht das Setup dazu so aus: Unten in der Timeline liegt der originale Clip. Darüber der Clip mit dem ersetzten Fensterausschnitt. Und ganz darüber kommt eine Kopie des ersten Clips, in der wir nur den Arm auskeyen, damit er über dem ersetzten Fenster liegt.

Im Color Tab wählt man die AI Magic Mask an. Will man evtl. aus Performancegründen auf die alte Magic Mask zurückgreifen, lässt sich dies über das Drei-Punkte-Menü und »Legacy Object Mask« machen.

Um zu sehen, was eigentlich ausgeschnitten wird, wählt man »Toggle Mask Overlay« an und erhält ein rotes Overlay. Alternativ kann man auch hier wieder die normale Highlighting-Funktion nutzen.

Screenshot Magic Mask.

Früher mussten Striche über den Bereich gezogen werden, den man keyen wollte. Seit Einführung der neuen Magic Mask setzt man jetzt Punkte. Die KI erkennt dabei, um was es sich handelt. So lässt sich z.B. ein Punkt auf die Hand einer Person legen, und nur diese wird ausgewählt. Mit ein paar weiteren Klicks kann man dann die ganze Person auswählen. 

Magic Mask Tools zum Refinen.

Durch den Minus Picker werden falsch erkannte Bereiche abgewählt. Außerdem lassen sich vor oder auch nach dem Tracking mit dem Pinsel Bereiche auf Frameebene entfernen oder hinzufügen. Diese Art der Retusche muss man dann, wie gesagt, für jeden Frame einzeln anwenden. Besonders bei kurzzeitigen Trackingfehlern oder Rauschen/Flickern ist das sehr nützlich.

Die wichtigste Einstellung ist der Punkt Quality. Hier ändert man die Qualität von »Entwurfsmodus« in »Benutzbares Ergebnis« – also immer auf »Better« stellen.

Magic Mask »Faster«.

Magic Mask »Better«.

Nach dem Umstellen der Qualität auf »Better« habe ich den Smart-Refine-Wert rechts daneben auf null gestellt, um dessen Eingreifen zu verhindern.

Ich habe so den Arm der Person mit drei Punkten ausgewählt.

Manchmal kommt es damit zu Flackern an den Kanten – hier muss man ganz individuell gucken, was zur jeweiligen Einstellung passt. Darunter befinden sich die klassischen Maskierungstools.

Mit Clean White und Black säubere ich den Key noch etwas, außerdem stelle ich Denoising und Blur ein. Danach kann man die Maske tracken. Hierbei lässt sich Zeit sparen, wenn die Highlight-Funktion aktiviert ist. Das geht auch wunderbar bei Power-Windows. Dadurch wird anscheinend nicht das ganze Bild analysiert, sondern nur der ausgewählte Bereich.

Nach dem Tracking gehe ich das Video Frame für Frame durch – je nach Szenario extrem ins Bild gezoomt, um mögliche Fehler und Flackern zu erkennen. Je separierter der Key ist, desto genauer sollte in diesem Schritt hingeschaut werden. In meinem Fall musste ich mit dem Pinsel an einigen Stellen nachhelfen.

Der Testautor Sas Kaykha.

Überlegt man sich aber, mit welchem Aufwand man Personen noch vor einigen Jahren freistellen musste, ist dies eine wohlgefällige Arbeit. Ist das Ergebnis zufriedenstellend, sollte der Node Cache aktiviert werden, um die Änderungen vorzurendern.

Die Magic Mask ist sehr anfällig für spätere Veränderungen in der Cut- oder Edit-Page. Daher sollte man die Szenen entweder nach dem Erstellen der Maske möglichst in Ruhe lassen, »Render in Place« nutzen oder sich damit abfinden, die Maske eventuell neu tracken zu lassen.

Blackmagic bewirbt die Magic Mask 2 damit, dass sie auch bei gering aufgelösten Videos funktioniere. Dennoch empfiehlt es sich, vor der Magic Mask und der Depth Map eine Rauschreduzierung anzuwenden.

So sieht das Bild nach Magic Mask und angepasstem Hintergrund aus.

Auch hier gibt es etwas Neues, und zwar die AI Ultra NR im Spatial Tab. Dieses Denoising soll die Details erhalten und automatisch den passenden Wert für die Entrauschung einstellen. Gut für ein schnelles Entrauschen – allerdings fährt man mit manueller Anwendung von Temporal und Spatial Rauschreduzierung oft besser, gerade bei geringer aufgelösten Videos wie etwa von Drohnen oder Actioncams.

(Hier geht’s zum Artikel »Entrauschen«)

Fazit

Die AI-Tools in DaVinci sind eine super Hilfe und beschleunigen den Workflow ungemein. Nichtsdestotrotz muss man sie vernünftig anleiten, optimieren und vor allem kontrollieren. Hersteller von professionellen Schnittprogrammen implementieren KI meist nur, wenn diese ausgereift ist und brauchbare Ergebnisse liefert. Vielleicht warten wir deshalb noch auf die KI-Seterweiterung in DaVinci – ein weiteres KI-Tool, das Sinn ergeben würde.

Für Interessierte: Aus diesem Projekt stammen die Beispiele:

Seite 1: Einleitung
Seite 2: Cinematic Haze
Seite 3: Depth Map, AI Magic Mask 2