Adobe Premiere: AI Object Mask

Mit wenigen Klicks Objekte präzise maskieren und tracken – das verspricht die neue AI Object Mask in der Betaversion von Premiere Pro. Das Tool nutzt ein komplett neues KI-Modell, das speziell für schnelles Arbeiten in Premiere entwickelt wurde und sich deutlich vom Roto Brush in After Effects unterscheidet.

Die Anwendungsmöglichkeiten sind vielfältig: Selektive Farbkorrekturen lassen sich in Sekunden umsetzen, Gesichter können schnell unkenntlich gemacht werden, und auch der bei TV-Sendern beliebte Effekt, Titel teilweise hinter Personen oder Gebäuden zu platzieren, ist nun direkt in Premiere realisierbar – ohne den Umweg über After Effects.

Das Objektmasken-Werkzeug

In der Werkzeugleiste erscheint bei den normalen Maskierungswerkzeugen das neue Objektmasken-Werkzeug. Ist der Clip ausgewählt, genügt ein einfacher Klick auf ein Objekt, um es zu maskieren.

Dabei werden besonders Menschen, Tiere und bekannte Motive automatisch erkannt. Funktioniert die automatische Erkennung nicht, zieht man einfach eine Linie um das gewünschte Objekt, und die KI erkennt es.

So lässt sich etwa auch die Maske eines per Klick ausgewählten Objektes erweitern. Weiterhin kann man in einer Object Mask mehrere Elemente auswählen und maskieren.

Wie immer gilt beim automatischen Maskieren, dass man einen repräsentativen Startframe möglichst in der Mitte des Clips nehmen sollte, auf dem das Objekt gut zu sehen ist. Im Tracker Abschnitt kann man die Maske dann nach vorne und hinten tracken lassen. Viel Auswahl, um die Maske dann zu verfeinern, hat man nicht. Es stehen lediglich eine weiche Kante, Ausbreitung und Deckkraft / Überblendmodus zur Verfügung.

An dieser Stelle möchte ich die Object Mask in Premiere auch nochmals von der in After Effects abgrenzen. AI Object Mask von Premiere ist für schnelles Arbeiten gedacht – für Personen, die After Effects nicht nutzen, aber dennoch bestimmte Teile einer Aufnahme maskieren und dann korrigieren möchten. Mit After Effects kann man hingegen deutlich mehr in die Tiefe gehen. 

Arbeitsbeispiele für Masken

Was das Tracking der Maske in Premiere betrifft, gibt es jetzt die Möglichkeit, einzelne Frames direkt zu bearbeiten. Hat die KI also z.B. einen Finger mal in einem Frame nicht erkannt, kann man diesen einfach hinzufügen. Diese Änderung wird dann im Keyframe gespeichert. So kann man Bild für Bild die Maske verbessern falls nötig. Natürlich lässt sich das Ganze auch nochmals für den gesamten Clip tracken. Per ALT Taste bei Windows und Klicken bzw. Maskieren lassen sich Teile der Auswahl subtrahieren.

Ist alles getrackt, kann man die Maske jetzt z.B. in »Deckkraft« ziehen, um diese für den maskierten Bereich zu verändern. Praktisch läuft es bei zusätzlichen Effekten. Wenn diese in den Effekt-Tab gezogen werden, liegt die Maske automatisch darauf. So lässt sich relativ schnell etwa eine Person maskieren und per Lumetri aufhellen. Per Copy and Paste kann man die Maske dann jedem weiteren Effekt hinzufügen. Bei meinen Tests auf einem I9 Rechner mit RTX 5080 und 128GB RAM lag die durchschnittliche Geschwindigkeit des Trackings bei 18 fps. Übrigens erstellt Premiere einen neuen Ordner für die Masken – dieser sollte immer im Projektordner bleiben, damit die Verknüpfung nicht getrennt wird.

Praxis

Im ersten Test habe ich eine Frau maskieren lassen. In dem 10-sekündigen Clip geht eine Frau auf die Kamera zu und streicht sich mit ihrer Hand durch die Haare.

Durch Hovern über die Frau wurde diese sofort erkannt und per Klick markiert. Obwohl der Unterarm im Startframe nicht im Bild war, wurde er inklusive Hand später im Clip erkannt und getrackt. Das ganze Tracking hat 17 Sekunden gedauert.

Um die Qualität besser beurteilen zu können, habe ich den beliebten Titel-Effekt angewendet. Die Person befindet sich hierbei teilweise vor dem Titel. Besonders bei Haaren kann man dann gut sehen, wie detailreich die Maskierung ist. In der Praxis funktioniert das so:

Per Object Mask wird die Person wie bereits beschrieben maskiert. Diesen Clip dupliziert man jetzt und legt ihn zwei Spuren weiter nach oben – zwischen ihn und den originalen Clip kommt dann der Titel. Legt man die Maske beim oberen Video dann auf die Deckkraft, wird die Person ausgeschnitten und liegt über dem Titel. 

Was mir hier direkt aufgefallen ist – das Tracking bleibt beim Duplizieren des Clips erhalten. Workflowmäßig lässt sich dieser Effekt in wenigen Minuten realisieren.

Weicht man die Kanten der Maske etwas auf und lässt den Titel hinter klaren Strukturen, kommt man in den meisten Fällen wahrscheinlich damit durch. Anders sieht es bei einzelnen Haaren aus, hier ist die Maske relativ grob.

Im nächsten Schritt habe ich die Frau maskiert, die Auswahl umgekehrt und auf den Hintergrund eine Farbkorrektur angewendet. Durch die relativ grobe Maske waren natürlich deutliche Ränder zu sehen. Dem lässt sich aber entgegenwirken, indem man die Maskendeckkraft reduziert, um harmonischere Übergänge zu schaffen.

Bei 30% Deckkraft war das Ergebnis dann akzeptabel – in meinem Fall. Ich bin da natürlich sehr aggressiv mit der Farbe herangegangen. Normalerweise grenzt sich eine schwächere Farbkorrektur nicht so stark vom maskierten Inhalt ab.

Auf den Screenshots sieht man die Änderungen mit einer Maske von 0%, 30% und 100% (von links nach rechts).

Die ganzen Object-Mask-Operationen sollten übrigens stets auf Rec-Material angewendet werden, welches im besten Fall noch entrauscht und etwas geschärft ist – dann arbeitet die KI am besten. Als gutes Beispiel dient hier das Gebäude hinter dem Kran. Im LOG Format wurde das Haus gar nicht erst erkannt, in Rec.709 wurde es dann sogar hinter dem Kran maskiert.

Es gibt also diverse Szenarien, in der die neue AI Object Mask eine gute Hilfe darstellt. Oft ist es besser, wenn man einfach selbst einen Kreis um das gewünschte Objekt zieht anstatt die Auswahl der KI zu überlassen. So kann man auch kleinere Objekte miteinbeziehen, oder etwa den Sockel eines Turmes, der vorher nicht erkannt wurde.

Auch beim Auswählen des Führerhauses vom Kran habe ich einfach grob einen Kreis um dieses gezogen und es wurde erkannt. Bei automatischer Auswahl kam die KI durch die ganzen Streben etwas durcheinander und zeigte eine wilde Maskierung. Hinsichtlich der Playback Performance konnte ich keinerlei Einbußen auch bei mehreren Masken feststellen.

Fazit

Object Mask ist sehr hilfreich, wenn man beispielsweise schnell mal ein Gesicht blurren oder ein Nummernschild entfernen möchte.

Die eigentliche Superkraft dieses neuen Tools liegt aber in der selektiven Farbkorrektur. Buchstäblich sekundenschnell lassen sich Personen freistellen und in Helligkeit und Farbe optimieren oder vom Hintergrund separieren. Und ja – wenn man dann unbedingt möchte – lassen sich natürlich auch Titel schnell hinter Objekte verschieben. Verlässt das neue Tool die Beta Phase und wird noch ein bisschen optimiert, entfaltet es wahrscheinlich seine volle Power.