Schnell zum eigenen Musikvideo – mit KI?

Ein Musikvideo hilft dir, deine Musik auf YouTube und den sozialen Netzwerken zu verbreiten und eine größere Zielgruppe zu erreichen. Es gibt viele unterschiedliche Wege, um an ein eigenes Musikvideo zu kommen. Wenn es schnell und günstig sein soll oder ein besonderer Look gewünscht ist, können dir KI-Tools helfen. Welche es gibt und wie du diese einsetzt, erfährst du in diesem Beitrag. Interessierst du dich auch für Musikvideoproduktion im Allgemeinen, empfehlen wir dir den Blogartikel „So erstellst du ein eigenes Musikvideo für dich oder deine Band“.

So funktionieren KI-Tools​

Zum Generieren von Bildern und Videos werden generative KI-Modelle genutzt – beispielsweise Seedance, Kling oder Veo. Diese wurden mit Milliarden von Paaren aus Texten und Bildern oder Texten und Videos trainiert und haben so – ähnlich wie ein Kleinkind – gelernt, Gemeinsamkeiten bei Objekten zu erkennen und abstrakt zu speichern. Wenn uns beispielsweise ein Hund auf der Straße entgegenkommt, können wir ihn als Hund klassifizieren, ohne speziell diesen Hund schon gesehen zu haben. Wir wissen einfach aus unserer Erfahrung, dass ein Tier dieser Form und Proportion ein Hund sein muss. Ein ähnliches „Wissen“ sammelt die KI im sogenannten latenten Raum.

Die KI muss nicht alle Bilder speichern, mit denen sie trainiert wurde, sondern sammelt nur abstrakte Informationen, die sie miteinander verknüpfen kann. Das reduziert die Menge zu speichernder Daten enorm und ermöglicht es, aus Kombinationen neue Bilder und Videos zu generieren.

Die eigentliche Bild-Erstellung beginnt mit zufälligem Rauschen. Im Training der KI wurden vorhandene Bilder Schritt für Schritt mit Rauschen überlagert, bis nichts mehr zu erkennen war. Die KI hat dabei gelernt, diesen Prozess umzukehren und aus verrauschten Bildern wieder klare zu rekonstruieren. Diese Tools nennt man daher Diffusionsmodelle. Gesteuert wird diese Entrauschung durch deinen Prompt – also den Text, den du als Anweisung eingibst. Die KI verknüpft ihn mit den abstrakten Informationen aus ihrem latenten Raum und lenkt die Entrauschung so in Richtung eines Bildes, das zu deiner Beschreibung passt. Weil aus demselben Rauschen und demselben Prompt je nach Startwert (dem sogenannten Seed) ein anderes Bild entsteht, bekommst du bei jedem Durchgang ein neues Ergebnis. Bei Videos läuft der Prozess nicht für ein einzelnes Bild ab, sondern für eine ganze Bildfolge, die zeitlich zusammenpassen muss.

Ausgestattet mit einem Grundverständnis für generative KI schauen wir uns jetzt die Möglichkeiten an, die uns die verschiedenen KI-Tools in der Musikvideo-Produktion bieten können.

Diese Möglichkeiten bieten generative KI-Tools​

KI-generiertes Footage ermöglicht es dir, Bilder zu zeigen, die real nur mit hohem Aufwand zu produzieren wären. Fantasievolle Landschaften, aufwendige Animationen oder schaurige Monster, all das kannst du jetzt innerhalb weniger Minuten erstellen und in deine Musikvideos integrieren.

Es gibt verschiedene Möglichkeiten, KI-Tools für das eigene Musikvideo zu nutzen:

Text-to-video:

Hierbei handelt es sich um den typischen Weg, generative KI zu nutzen. Du gibst einen Textprompt ein, der beschreibt, was gezeigt werden soll – und die KI generiert daraus einen Videoclip. Diese Clips kannst du dann nutzen, um eine Geschichte zu erzählen oder dein Musikvideo mit passenden Bildern zu hinterlegen.

Image-to-video:

Ausgangspunkt dieser Variante ist nicht allein ein Text-Prompt, sondern auch ein Startbild. Das Startbild entspricht dann genau dem ersten Bild (also Frame) des Videos – und die KI generiert alle folgenden Frames gemäß deinem Prompt. Das Startbild kann natürlich auch KI-generiert sein. Diese Variante liefert ähnliche Ergebnisse wie die Variante „text-to-video“, ermöglicht dir jedoch mehr Kontrolle über die Szene.

Fantasy:

Prompt:

Seedance 2.5, 1080p

STIL — ARRI Alexa 35, anamorphotisch 2,39:1, entspricht 65 mm, starker Kontrast, volumetrischer Dunst, Wärme der „goldenen Stunde“, Filmkorn.

BESETZUNG — Drache: gewaltig, mit tiefroten Schuppen und dunkelroten Flügelmembranen, gehörnter Kopf, bernsteinfarbene Augen, Flügelspannweite 60 Fuß, natürliche Schuppen, keine Verzierungen.

ZUSAMMENFASSUNG — Ein Drache schwebt in der Abenddämmerung über eine mittelalterliche Burg; die Kamera folgt seiner Flugbahn, während er in Richtung eines entfernten Waldes abdreht und einen Feuerstrom über die Bäume entfesselt — episches Fantasy-Spektakel, realistische Größenverhältnisse, keine Zeitlupe.

Beginn mit einer weiten Luftaufnahme zur Einstimmung, 65-mm-Anamorphot, fest aufgestellt hoch über der Burg – der Drache tritt von rechts ins Bild, schlägt mit den Flügeln in gleichmäßigem Rhythmus und fliegt auf die Kamera zu.

Schnitt zu einer Nahaufnahme von Kopf und Brust des Drachen aus der Frontalperspektive, mit schwankender Handkamera; die Augen verengen sich, das Maul öffnet sich, ein orangefarbenes Leuchten baut sich in der Kehle auf.

Schnitt zu einer weiten, feststehenden Luftaufnahme über dem Wald – der Drache speit einen gewaltigen Feuerstrahl nach unten, die Flammen breiten sich wie eine rollende Welle über die Baumkronen aus, Rauch quillt nach oben, Glut sprüht in alle Richtungen.

Startbild:

Reale Szene:

Prompt:

Seedance 2.5, 1080p

STIL — ARRI Alexa 35, die Wärme der „goldenen Stunde“, weiche Körnung, natürlicher Kontrast, volumetrischer Dunst durch Straßenlaternen.

BESETZUNG — Tänzer 1: Mann, Ende 20, kurzes dunkles Haar, offener, fröhlicher Gesichtsausdruck. KLEIDUNG: lockeres weißes Leinenhemd, am Kragen aufgeknöpft, ausgewaschene Jeans, braune Lederstiefel, silberne Armbanduhr. Tänzer 2: Frau, Ende 20, schulterlanges blondes Haar in lockeren Wellen. KLEIDUNG: fließendes cremefarbenes Sommerkleid, nackte Füße.

ZUSAMMENFASSUNG — Zwei Tänzer bewegen sich gemeinsam in der Dämmerung auf einer Kopfsteinpflasterstraße, die Kamera gleitet neben ihnen her und fängt die fließende Paarchoreografie ein – spontan und warm, menschliche Verbundenheit durch Bewegung.

DREHORTE — schmale italienische Kopfsteinpflasterstraße, warme bernsteinfarbene Straßenlaternen, die gerade zu leuchten beginnen, Steinhäuser mit verwitterten Fassaden, Licht der goldenen Stunde, das tief über die Steine streicht, leichter Dunst in der Luft, leerer, stiller Abend.

Beginn mit einer Totale der beiden Tänzer mitten auf der Straße, 35 mm, ihr Kleid weht im Wind, seine Hand an ihrer Taille. Schnitt zu einer Halbtotale über seine Schulter, während sie einen Schritt zurücktritt und ihren Arm ausstreckt, 50 mm, flache Schärfentiefe, ihr Gesicht von den letzten direkten Sonnenstrahlen beleuchtet, seine Silhouette scharf im Vordergrund. Schnitt zu einer Nahaufnahme aus niedriger Perspektive ihrer Füße auf dem Kopfsteinpflaster, 25 mm, ihre nackten Zehen und seine Stiefel bewegen sich synchron, die Steine unter ihnen sind strukturiert und uneben. Schnitt zu einer Weitwinkelaufnahme im Profil, 50 mm, die Kamera gleitet nach rechts, während sie sich einander zuwenden, im Gegenlicht einer Straßenlaterne, volumetrischer Dunst leuchtet zwischen ihnen, Verweilen in der Stille.

Startbild:

Audio-to-video:

Mit speziellen KI-Tools kannst du Szenen oder sogar ganze Videos auf Grundlage deines Songs generieren. Dabei beschreibst du selbst den gewünschten Inhalt oder lässt die KI deine Lyrics interpretieren. Auch der Rhythmus deiner Musik kann übernommen werden.

In nachfolgendem Beispiel wurde neural frames genutzt. Das Tool hat die Lyrics interpretiert und einen Charakter als Sänger generiert. In das Drehbuch kann vor der Video-Generierung natürlich noch eingegriffen werden. Nicht jede Szene muss den Sänger der Kamera zugewandt zeigen – stattdessen können passende Bilder generiert werden, die beispielsweise eine Geschichte zeigen. Bei Songs mit mehreren Sänger:innen können mehrere Charaktere dargestellt werden:

Video-to-video / Transformation:

Auch eine Transformation gedrehter Szenen mittels KI ist möglich, um den Stil dieser Aufnahmen zu verändern. Dabei werden beispielsweise die gefilmten Personen übernommen, aber der Hintergrund ändert sich. Auch ist beispielsweise eine Veränderung von Kleidung/Kostümen oder des Video-Stils möglich (Comic-Look, Mittelalter, Farb-Looks, Wetter und Licht …).

Diesen Effekt haben sich auch die Musiker der Band apropos gewünscht, für die wir in den HOFA-Studios mehrere Musikvideos produziert haben. Schau dir in diesem Musikvideo das Gitarrensolo an – hier werden echte Studio-Aufnahmen und KI-generierte Szenen miteinander verbunden:

Jetzt kennst du die typischen Wege, um KI in deinen Musikvideo-Projekten einzusetzen. Natürlich kannst du alle diese Varianten der Einbindung von KI in deinen Projekten miteinander kombinieren. Sobald du dich für einen Weg entschieden hast, machst du dich an die Umsetzung. Mehr dazu im nächsten Abschnitt.

Die wichtigsten Schritte auf dem Weg zum KI-Musikvideo

Es gibt nicht DEN einen Weg zum KI-Musikvideo, sondern viele verschiedene Möglichkeiten, generative künstliche Intelligenz in die eigenen Projekte einzubinden. Nachfolgend beantworten wir die wichtigsten Fragen und du bekommst einige Ideen und Tipps, wie du generative KI für dich nutzen kannst.

Welche Tools/Programme brauche ich?

KI-Bilder und Videos werden üblicherweise auf darauf spezialisierten Plattformen erstellt – das sind oft Websites, die per Abo-Modell genutzt werden können.

Es gibt Plattformen, die speziell für das Erstellen von KI-Musikvideos ausgelegt sind, wie beispielsweise BeatViz, OpenArt oder Neural Frames. Diese ermöglichen einen Upload der Audio-Datei und generieren ein Drehbuch sowie passende Video-Szenen. So kommst du auf schnellem Weg zu einem vollständigen Video und kannst dabei Einfluss auf das Drehbuch und die Visualisierung nehmen. Diese Plattformen eignen sich für vollständig KI-generierte Videos.

Daneben gibt es Plattformen, die nicht speziell für Musikvideos ausgelegt sind, sondern zweckunabhängig das Erstellen von KI-Videos ermöglichen. Diese bieten oft mehr Möglichkeiten und eine höhere Qualität der einzelnen Szenen. Allerdings müssen die einzelnen KI-Szenen dann noch nachträglich mit dem Audio-File zu einem Musikvideo zusammengebaut werden. Runway oder Artlist sind dafür bekannte Vertreter.

Insbesondere, wenn einzelne Szenen generiert und sogar noch mit selbst gefilmtem Footage gemischt werden sollen, benötigst du noch ein klassisches Videoschnitt-Programm wie DaVinci Resolve (umfangreiche Freeware!), FinalCut oder Adobe Premiere Pro.

Was kosten KI-generierte Musikvideos?

Bei fast allen Plattformen kostet das Erstellen von KI-generierten Inhalten Credits. Das ist die Währung, mit der auf den Plattformen für einzelne Aufgaben bezahlt wird.

Credits erhältst du im Rahmen von Abonnements, die zwischen 10 € und 100 € pro Monat liegen können. Bei einem Abo ist die Credit-Menge meist trotzdem begrenzt und lädt sich erst nach einiger Zeit wieder auf. Daneben gibt es sogenannte „Pay-as-you-go“-Modelle, die es ermöglichen, Credits einmalig zu kaufen und bei Verbrauch erneut aufzuladen. Es lohnt sich, die verschiedenen Zahlungsmodelle zu vergleichen und nach Sonderangeboten Ausschau zu halten.

Wie viel nun ein Video kostet, hängt in der Regel mit der Qualität des eingesetzten Modells, der Video-Länge und der Auflösung zusammen. Bei optimaler Qualität (neuestes Modell, hohe Auflösung) kann eine Sekunde KI-Video aber durchaus 30 bis 40 Cent kosten. Ältere Modelle und geringere Auflösungen sind dagegen häufig bedeutend günstiger. Bedenke auch, dass du pro Szene oft mehrere Versuche benötigst, bis sie deinen Vorstellungen entspricht.

Rechenbeispiel: Bei einer Song-Länge von 3 min 30 Sekunden (bzw. 210 Sekunden) und im Durchschnitt zwei Versuchen pro Szene kosten die Credits für ein KI-generiertes Musikvideo zwischen 25 € (günstige Modelle) und 150 € (teure Modelle).

Lip-Sync und Instrumente

Viele klassische Musikvideos beinhalten lippensynchrone Aufnahmen der Vocals und ebenfalls synchron gespielte Instrumente. In diesem Bereich stößt die KI oft noch an ihre Grenzen. Während lippensynchrone Mundbewegung bei manchen Plattformen und neuen Modellen generierbar ist, ist es aktuell kaum möglich, dass eine KI einen Instrumentalisten erstellt, der realistisch die richtigen Töne im richtigen Rhythmus zur Musik spielt. Hier kann man sich auf verschiedene Weise behelfen:

• Du lässt dir einen Sänger oder eine Sängerin mit passender Lippenbewegung generieren und verzichtest auf die Darstellung weiterer Instrumente.
• Du zeigst Instrumente aus großer Entfernung, damit die Details einer Bewegung oder die korrekten Tasten/Griffe/Schläge nicht erkennbar sind.
• Du generierst verschiedene Varianten und suchst die am besten passende aus. Schnelle Schnitte, kurze Clips und einzelne Akkorde/Griffe sind hier von Vorteil.
• Du verschiebst und „stretchst“ die Szenen so, dass einzelne Schläge oder Griffe im Takt erfolgen.
• Du setzt darauf, dass der Zuschauer Spiel- oder Timing-Fehler nicht erkennt … 😉

Verschiedene dieser Techniken wurden beispielhaft in diesem kurzen Clip eingesetzt:

Alternativ ist es wie oben beschrieben auch möglich, einen Musiker / eine Musikerin zu filmen und dieses Footage als Grundlage für die KI-generierten Szenen zu nehmen (video-to-video). Dies stellt zwar einen höheren Aufwand dar, liefert aber auch die besten Ergebnisse.

Weitere Tipps & Tricks

Starte mit Bildern: Bilder zu generieren ist wesentlich schneller und günstiger als ganze Video-Szenen. Starte also wie in der klassischen Videoproduktion mit Bildern. Diese kannst du dann beispielsweise mit einem Song in eine Video-Timeline in deinem Schnittprogramm legen und so ein Drehbuch für dein Musikvideo erstellen. Wenn du damit fertig bist, nimmst du die Bilder als Grundlage für die Video-Generierung (image-to-video).
Nachteil dabei: Bei Filmen entwickelt sich normalerweise eine Szene über die Dauer. Nimmst du jetzt ein Bild als Start-Frame, zeigt dieses allerdings oft den Höhepunkt der Szene. (Beispiel: Eine Person, die durch ein Bild läuft, ist weder im Start- noch im End-Frame sichtbar). Um dieses Problem zu umgehen, hast du zwei Möglichkeiten. Du kannst entweder ein Video-Generierungstool verwenden, das eine Verlängerung der Szene zulässt, sodass du vor dem Startbild weitere Sekunden hinzufügst. Oder du nutzt das Bild nicht als Start-Frame, sondern als Referenz für die Szene. Dann hält sich die KI an die Stilistik, ist aber freier in der Bild-Generierung.

Nimm dir Zeit für präzise Prompts: Dieser Tipp gilt generell für den Einsatz von KI. Je besser der Prompt und das Ausgangsmaterial, desto besser das Ergebnis. Gib dem Algorithmus also am besten möglichst viele Hintergrund-Informationen wie Alter, Aussehen und Stimmung des Protagonisten oder den gewünschten Stil des Bildes. Übrigens ist eine Chat-KI wie ChatGPT oder Claude sehr gut darin, dir beim Schreiben von Prompts zu helfen.

Nutze den Zufall: KI arbeitet in einem hohen Maß mit Zufall. Die gleichen noch so detailliert beschriebenen Prompts ergeben oft sehr unterschiedliche Ergebnisse und der Einfluss einer Veränderung des Inputs auf eine Veränderung des Outputs lässt sich nur schwer vorhersagen. Lebe daher am besten mit unterschiedlichen Ergebnissen und lerne, die fehlende Kontrolle zu einem Teil des kreativen Prozesses zu machen. Denn manchmal überraschen die Ergebnisse auch positiv und bereichern dein Werk mit ganz neuen Ideen.

Beschäftige dich mit Musikvideo-Produktion und nutze die KI als Werkzeug: Wenn du Spaß am Produzieren von Musikvideos hast und in diesem Gebiet mehr dazulernen möchtest, dann beschäftige dich am besten grundlegend mit der Thematik. Lerne, wie Kameras funktionieren, wie Licht zu setzen ist, wie Drehbücher und gute Storylines funktionieren und wie du Videos schneidest und nachbearbeitest. Und dann nutze die vielen Möglichkeiten, die KI-Tools bieten, um deine Videos kreativ zu ergänzen.

Ethische und rechtliche Aspekte

Der Einsatz von KI hat einige ethische und rechtliche Aspekte, die du bedenken solltest:

Ethische Aspekte:
Das Trainieren und Nutzen von KI-Modellen erfordert hohe Rechenleistung und damit viel Energie, Wasser und Ressourcen. Neben den finanziellen Aspekten ist ein sparsamer Einsatz von KI also auch aus Gründen der Nachhaltigkeit sinnvoll.
Viele KI-Modelle wurden außerdem mit Musik, Bildern und Videos trainiert, die aus dem Internet gesammelt wurden – oft ohne explizite Zustimmung der Urheber.
Beachte außerdem, dass KI-Systeme aus Daten lernen, die gesellschaftliche Vorurteile widerspiegeln können. Das kann zu diskriminierenden oder unerwünscht stereotypen Ergebnissen führen.

Rechtliche Aspekte:
Mache dich mit der geltenden Rechtslage und den Richtlinien beispielsweise von Plattformen wie Instagram, YouTube oder TikTok vertraut, wenn du KI-generierte Inhalte veröffentlichst. Je nach Realitätsnähe der generierten Inhalte kann es beispielsweise nötig sein, den Einsatz von KI kenntlich zu machen.

Einwilligung der dargestellten Personen vor dem Upload:
Wenn du eigenes Material bei KI-Plattformen zur Verarbeitung hochlädst, sollten alle gezeigten Personen ihr Einverständnis erklärt haben. Schließlich können die Plattformen das hochgeladene Material temporär speichern oder zu Trainingszwecken verwenden.

Mehr über Musikvideo-Produktion lernen

Du interessierst dich dafür, wie du für dich oder deine Band mit einfachen Mitteln ein Musikvideo erstellst?

Am HOFA-College gibt es einen kompletten Fernkurs über Musikvideo-Produktion.
Du lernst darin alle wichtigen Grundlagen der Musikvideo-Produktion – von der Auswahl des Equipments und der Konzeption eines Musikvideos über die Dreharbeiten bis zum fertigen Schnitt. Am Ende des Kurses kannst du uns dein eigenes Musikvideo zur Analyse einreichen oder von uns gedrehtes Footage schneiden.
Dieser Kurs ist auch im ultimativen Tontechnik-Fernkurs HOFA AUDIO DIPLOMA vollständig enthalten.