Adobe trainiert Firefly

KI sorgt dafür, dass die Jahreszeit auf dem gedrehten Material …

Das Software-Unternehmen sieht seine kommenden Firefly-Produkte als »die nächste große Evolutionsstufe der KI-gesteuerten Kreativität und Produktivität«. Ein erstes Modell beinhaltet die Bilderzeugung und Texteffekte. Es soll Inhalte generieren, die für die kommerzielle Nutzung rechtlich sicher sind. Trainiert wurde es bislang mit Bildern aus dem Adobe Stock, offen lizenzierten Inhalten und Public Domain-Inhalten, deren Urheberrecht abgelaufen ist. Erste Konzepte für die Integration in Illustrator und andere Programme wurden vorgestellt.

… den Vorgaben des Drehbuchs entspricht. Unabhängig vom Wetter am Set.

Adobe setzt dabei auf »eine natürliche Konversation zwischen Kreativen und Computer«: Eigene Worte und einfache Gesten sollen mit den Workflows professioneller Kreativanwendungen kombiniert werden, um einen neuen kreativen Workflow zu ermöglichen.

In den letzten Jahren hatte Adobe sein Sensei-Framework für künstliche Intelligenz und maschinelles Lernen voran getrieben und hunderte KI-gestützte Funktionen bereitgestellt. Daraus entstanden Tools wie Auto Reframe und Remix für Premiere Pro und die inhaltsbasierte Füllung für After Effects, die das Arbeiten an Videos beschleunigen.

Paul Saccone von Adobe erklärt kurz, was Firefly ist und wie Adobe diese KI betrachtet.

 

Aktuell erforscht Adobe verschiedene Ansätzen:

• Text zu Farbverbesserungen: Farben, Tageszeiten oder sogar Jahreszeiten – und damit die Stimmung – können in Videos geändert werden. Einfache Text-zu-Video-Eingaben á la »diese Szene soll warm und aufregend wirken« sollen dafür sorgen, dass »der Zeitaufwand zwischen Idee und finalem Produkt fast verschwindet«.
• Erweiterte Musik- und Soundeffekte: Mittels Textanweisungen werden benutzerdefinierte lizenzfreie Klänge und Musik passend zur Stimmung einer Szene erzeugt – als temporäre oder endgültige Tracks.
• Schriftarten, Texteffekte, Grafiken und Logos: In wenigen Minuten können, ausgehend von Präferenzen der Nutzer, mithilfe einfacher Formulierungen Untertitel, Logos und Titelkarten mit benutzerdefinierten Animationen erstellt werden.
• Skript- und B-Roll-Funktionen: Firefly beschleunigt Vorproduktion, Produktion und Post. Aus KI-Analysen von Drehbuchtexten werden automatisch Storyboards und Vorvisualisierungen erstellt und B-Roll-Clips für Roh- oder Endschnitte zu empfohlen.
• Creative Guide-Funktionen: Mit Hilfe von personalisierten mit generativen KI-gestützten Anleitungen werden das Erlernen neuer Fähigkeiten unterstützt und die Prozesse von der ersten Vision bis zur Erstellung und Bearbeitung beschleunigt.

Im Laufe dieses Jahres will Adobe neue generative KI-Funktionen für Video, Audio, Animation und Grafikanimation einführen. Bis dahin kann man sich für die Beta-Version von Firefly anmelden und an der Diskussion auf Discord teilnehmen.