Musikvideo mit KI erstellen: Making-of von Siamo WOSA

Ein eigener Rocksong, eine Sängerin, die es nicht gibt, ein ausverkauftes Stadion und ein fertig geschnittenes Video im Hochformat: alles innerhalb weniger Tage, ohne Studio, ohne Kamera, ohne Filmteam. Genau das haben wir mit «Siamo WOSA» gemacht. In diesem Beitrag zeigen wir dir Schritt für Schritt, wie du ein Musikvideo mit KI erstellen kannst: vom Songtext über die Musik und die Performance-Videos bis zum programmierten Schnitt mit Remotion. Kein Marketing-Blabla, sondern der echte Ablauf inklusive der Stellen, an denen es gehakt hat. Und am Ende kannst du dir das Resultat direkt ansehen.

Warum wir überhaupt ein Musikvideo mit KI erstellen wollten

Wir entwickeln bei WOSA seit vielen Jahren Websites, Applikationen und digitale Lösungen. Seit einiger Zeit kommen immer mehr Projekte mit künstlicher Intelligenz dazu: Chatbots, Automatisierungen, Bild- und Videogenerierung für Kunden. Irgendwann stellt sich die Frage, wie weit man diese Werkzeuge treiben kann, wenn man sie alle miteinander kombiniert. Ein Musikvideo ist dafür der perfekte Härtetest: Es braucht Text, Musik, Bild, Bewegung, Lippensynchronität, Schnitt und Branding. Wenn eines davon nicht sitzt, merkt es jeder sofort.

Gleichzeitig ist es ein ehrliches Schaufenster. Was du im Video siehst, ist exakt das, was wir heute auch für Kundenprojekte einsetzen: Produktvideos, Erklärfilme, Social-Media-Clips oder animierte Präsentationen. Nur dass es diesmal um uns selbst geht.

Schritt 1: Der Songtext

Den Text haben wir mit Claude geschrieben, auf Italienisch, weil ein Rocksong über eine Agentur mit italienischen Wurzeln einfach so klingen muss. Der Titel «Siamo WOSA» (Wir sind WOSA) war schnell gesetzt. Wichtig war uns, dass der Text nicht nach Werbeprospekt klingt, sondern eine Geschichte erzählt: der Monitor, der nachts nie schläft, Ideen in der Schublade, geschlossene Türen und der Entschluss, trotzdem weiterzumachen.

Der Song ist klassisch aufgebaut: zwei Strophen, Pre-Chorus, Refrain, Bridge und ein finaler Refrain. Diese Struktur haben wir bewusst als Marker im Text belassen ([Strofa 1], [Ritornello], [Bridge] und so weiter), weil die Musik-KI im nächsten Schritt daraus die Songstruktur ableitet. Tipp: Schreib die Marker in eckigen Klammern direkt in den Text. So bekommst du deutlich kontrollierbarere Ergebnisse als mit einem reinen Fliesstext.

Schritt 2: Die Musik mit Suno

Die Musik stammt aus Suno, aktuell in Version 5.5. Wir haben nicht einfach einen Prompt eingegeben und den ersten Treffer genommen. Der Weg war iterativ: Zuerst entstand eine Basisversion des Songs, die wir mehrfach überarbeitet haben, bis Melodie, Tempo und Aufbau stimmten. Diese Version haben wir dann als Grundlage für den Cover-Modus verwendet. Dabei bleibt die Melodie, das Tempo und die Songstruktur erhalten, während sich Stil und Stimme neu bestimmen lassen.

Unsere Style-Beschreibung lautete sinngemäss: anthemischer Refrain, energische Drums, Stadion-Rock, leidenschaftliche Performance, eingängige Melodien, dynamisches Arrangement, emotionale Strophen, episches Finale, italienische Lyrics. Dazu die Anweisung, Melodie, Tempo und Instrumentierung des Originals zu bewahren. Die Stimme haben wir auf weiblich gestellt, die Regler «Weirdness» auf 17 Prozent und «Style Influence» auf 74 Prozent. Das Ergebnis: knapp vier Minuten Rock, die tatsächlich nach Radio klingen.

Was wir gelernt haben: Der Cover-Modus ist Gold wert, wenn du einen Song schon gut findest, aber die Stimme oder den Stil ändern willst. Er spart dir dutzende Neugenerierungen, bei denen jedes Mal auch die Melodie wieder anders ausfällt.

Schritt 3: Die Sängerin mit ChatGPT Image

Unsere Frontfrau existiert nicht, denn sie entstand mit der Bildgenerierung von ChatGPT. Wir haben mehrere Varianten erzeugt: eine seitliche Nahaufnahme am Mikrofon, eine Ganzkörperansicht auf der Bühne, jeweils mit Lederjacke, Mikrofonständer, Bühnennebel und rotem Licht. Das Entscheidende war die Konsistenz: Dieselbe Person, dieselbe Kleidung, dieselbe Bühne in allen Bildern, sonst zerfällt das Video später in einzelne Schnipsel.

Ebenfalls per Bild-KI entstand das Stadion: eine Aufnahme aus der Sicht der Sängerin in ein volles Rund mit Handylichtern, Lichtkegeln und grossen Videowänden. Auf diesen Videowänden und an der Bühnenrückwand ist das WOSA-Logo integriert. Das war der aufwendigste Teil der Bilderzeugung, denn Bild-KIs neigen dazu, Logos zu verformen oder Buchstaben zu erfinden. Wir haben das Logo als Referenzbild mitgegeben und im Prompt ausdrücklich verlangt, Design und Typografie exakt zu erhalten. Mehrere Durchläufe waren nötig, bis das «W» sauber stand.

Schritt 4: Die Performance mit Hedra

Jetzt musste die Sängerin singen. Dafür haben wir Hedra im Avatar-Modus verwendet. Du gibst ein Startbild und eine Audiodatei hinein, und die KI animiert Gesicht, Lippen, Kopf und Oberkörper passend zur Tonspur. Wir haben das zweimal gemacht, einmal mit der Frontansicht (Format 9:16) und einmal mit der seitlichen Ansicht (Format 3:4), jeweils mit dem kompletten Song von rund vier Minuten. So entstanden zwei synchrone Kameraperspektiven, die exakt dieselbe Tonspur enthalten.

Der Prompt war bewusst zurückhaltend formuliert: Singen direkt in die Kamera mit Rockstar-Energie und natürlicher Lippensynchronität, selbstbewusste Mimik, dezente Kopf- und Oberkörperbewegung, gelegentlich leicht zum Mikrofon lehnen, Mikrofon und Körperposition konstant halten, keine übertriebenen Bewegungen, keine Verzerrungen an Gesicht, Händen oder Mikrofon.

Das ist die wichtigste Lektion aus diesem Schritt: Beschreib nicht, was die Figur alles tun soll, sondern was sie nicht tun soll. Sobald du wilde Bewegungen oder Herumlaufen verlangst, beginnt die KI, die menschliche Anatomie als unverbindliche Empfehlung zu behandeln. Gesicht, Kopf, Oberkörper und Gesang reichen für eine glaubwürdige Performance völlig aus.

Schritt 5: Stadion-Aufnahmen für die Zwischenschnitte

Ein Musikvideo lebt vom Wechsel. Deshalb haben wir aus dem Stadionbild vier kurze Videoclips von jeweils rund 15 Sekunden erzeugt (Bild-zu-Video mit Kling 3 und Minimax). Auch hier war der Prompt streng: Ich-Perspektive der Sängerin am Bühnenrand, keine Hände, kein Mikrofon, keine Bühne im Bild, Kamera fast statisch und niemals nach hinten oder nach unten bewegen. Der Effekt soll entstehen, weil Zehntausende Menschen, Licht, Nebel und die Videowände leben, nicht weil die Kamera durchs Stadion fliegt. Die Logos auf den Videowänden mussten dabei stabil bleiben, was mit einem klaren Negativ-Prompt («no deformed WOSA logo, no changing text») gut funktioniert hat.

Schritt 6: Der Schnitt mit Remotion

Hier wird es für uns als Entwickler spannend. Statt das Material in ein klassisches Schnittprogramm zu laden, haben wir das Video mit Remotion gebaut. Remotion ist ein Framework, mit dem du Videos in React programmierst: Jeder Frame ist eine gerenderte Webseite, Animationen sind Funktionen der aktuellen Framenummer, und das fertige Video wird per Kommandozeile gerendert. Für uns hat das entscheidende Vorteile: Der Schnitt ist reproduzierbar, versionierbar und lässt sich mit einem Befehl neu erzeugen, wenn sich ein Detail ändert.

Die Umsetzung haben wir an einen KI-Coding-Agenten delegiert. Er bekam einen ausführlichen Auftrag mit allen Vorgaben: Composition im Format 1080 mal 1920 bei 25 fps, Tonspur ausschliesslich aus dem Front-Video und lückenlos von Frame 0 bis zum Ende, Seitenansicht und B-Roll stumm, Wechsel zwischen Front- und Seitenansicht alle 4 bis 10 Sekunden im Verhältnis von etwa 60 zu 40, dazu 8 bis 12 kurze Stadion-Einblendungen von 1,5 bis 3 Sekunden, nie zwei direkt hintereinander, harte Schnitte zwischen den Kamerawinkeln, weiche Blenden bei der B-Roll und ein leichter Ken-Burns-Zoom auf den Stadionclips.

Die Schnittliste als einzige Wahrheit

Das Herzstück ist eine Datei, in der die komplette Schnittliste als Daten liegt. Keine Zahlen im Layout-Code, sondern eine Liste von Segmenten mit Kamerawinkel und Dauer, und eine zweite Liste mit den Stadion-Einblendungen. Vereinfacht sieht das so aus:

export const MAIN_SEGMENTS = [
  { angle: "front", seconds: 8 },
  { angle: "side",  seconds: 4 },
  { angle: "front", seconds: 8 },
  { angle: "side",  seconds: 4.5 },
  // ... insgesamt 39 Segmente bis zum Ende des Songs
];

export const BROLL_CUTS = [
  { leadsInto: 4,  seconds: 2,   clip: "stadion2", trimBeforeSeconds: 0 },
  { leadsInto: 7,  seconds: 2.5, clip: "stadion3", trimBeforeSeconds: 2 },
  { leadsInto: 10, seconds: 1.5, clip: "stadion4", trimBeforeSeconds: 4 },
  // ... insgesamt 11 Einblendungen
];

Was passiert hier? Jedes Element in MAIN_SEGMENTS beschreibt eine Einstellung: welcher Kamerawinkel und wie lange. Die Segmente laufen lückenlos hintereinander, das letzte wird automatisch bis zum Ende der Tonspur verlängert. Bei den Stadion-Einblendungen gibt «leadsInto» an, an welchem Kamerawechsel der Clip endet. So landet jede Einblendung exakt auf einem Schnitt, was den Rhythmus deutlich musikalischer macht. «trimBeforeSeconds» legt fest, ab welcher Sekunde des 15-Sekunden-Clips gespielt wird, damit jeder Stadionclip mehrfach verwendet werden kann, ohne dass es auffällt.

Eine Funktion rechnet daraus die Framenummern aus, gerundet aus der kumulierten Zeit, damit sich über vier Minuten keine Drift aufbaut. Eingebaut ist auch ein Schutz: Liegen zwei Stadionclips weniger als eine Sekunde auseinander, bricht der Build mit einer Fehlermeldung ab. Solche Prüfungen sind der Grund, warum wir Videos gern programmieren statt klicken.

Multicam ohne Asynchronität

Front- und Seitenansicht laufen auf derselben Zeitbasis. Bei jedem Schnitt wird der Clip genau an der absoluten Position gestartet, die auch der Ton hat. Die Tonspur selbst kommt nur aus dem Front-Video und läuft unabhängig vom Bild durch. Die Stadionclips liegen als eigene Ebene darüber und werden per Opacity ein- und ausgeblendet. Darunter läuft das Hauptvideo einfach weiter. Das klingt banal, verhindert aber die häufigste Fehlerquelle bei Musikvideos: Lippen, die ein paar Frames neben dem Ton liegen.

Das Outro

Nach dem Song blendet das Video über 20 Frames zu Weiss und zeigt ein sechssekündiges Outro: das WOSA-Logo mit einer Spring-Animation eingeblendet, darunter gestaffelt Ort, Telefonnummer und wosa.ch, in den Farben der Website. In der ersten Version stand der Firmenname doppelt drin, einmal im Logo und einmal als Text. Das haben wir bereinigt und dem Logo den Vorrang gegeben. Auch das ist typisch für die Arbeit mit KI-Agenten: Der erste Wurf ist meist zu 90 Prozent richtig, die letzten 10 Prozent brauchen ein menschliches Auge.

Was schiefgelaufen ist

Ehrlicherweise lief nicht alles glatt. Der Coding-Agent hatte den Render-Befehl zwar sauber dokumentiert, den eigentlichen Render aber nicht gestartet. Nach einer Nacht Wartezeit war schlicht keine Datei da. Der Render selbst dauerte am Ende rund fünf Minuten. Die Lehre daraus: Formuliere bei Agenten das gewünschte Endergebnis explizit («die fertige MP4-Datei liegt unter diesem Pfad») und nicht nur den Weg dorthin. Ein zweiter Stolperstein war die Logo-Datei, die mit 346 Pixel Breite für ein Outro in Full-HD zu klein war und leicht weich wirkte. Eine SVG-Version löst das.

Das Resultat

Hier ist das fertige Video. Ton einschalten lohnt sich.

Sieh dir diesen Beitrag auf Instagram an

Ein Beitrag geteilt von WOSA Intermedia GmbH (@wosaintermedia)

Technische Daten: 1080 mal 1920 Pixel, 25 fps, H.264 mit AAC-Ton, 245 Sekunden (239 Sekunden Song plus 6 Sekunden Outro), 39 Kamerawechsel, 11 Stadion-Einblendungen.

Was das für dein Unternehmen bedeutet

Ein Musikvideo ist ein Extrembeispiel. Aber die einzelnen Bausteine sind exakt dieselben, die wir für Kundenprojekte einsetzen:

• Produkt- und Erklärvideos: Eine KI-Sprecherin stellt dein Angebot vor, mit Bewegtbild, Untertiteln und deinem Branding, in mehreren Sprachen.
• Social-Media-Clips in Serie: Weil der Schnitt programmiert ist, entstehen aus einer Vorlage dutzende Varianten mit anderen Texten, Farben oder Produkten, ohne dass jemand von Hand schneidet.
• Datengetriebene Videos: Remotion kann Zahlen aus deiner Datenbank direkt ins Video einbauen, etwa animierte Quartalszahlen, Kundenreports oder personalisierte Videos pro Empfänger.
• Bild- und Videogenerierung mit konsistenter Marke: Wir wissen inzwischen, wie Logos, Farben und Figuren über viele Generierungen hinweg stabil bleiben.

Was du dafür brauchst, ist keine Filmproduktion, sondern jemanden, der die Werkzeuge kombinieren kann und weiss, wo die Fallstricke liegen. Schau dir unsere Leistungen an oder melde dich direkt bei uns, wenn du eine Idee hast, die du gern in Bewegung sehen würdest.

Häufige Fragen

Wie lange dauert es, ein Musikvideo mit KI zu erstellen?

Für «Siamo WOSA» haben wir verteilt über mehrere Tage gearbeitet, mit vielen Iterationen bei Song und Bildern. Der reine Render des Videos dauert rund fünf Minuten. Ein kürzerer Social-Media-Clip mit vorhandenem Material ist in wenigen Stunden möglich.

Darf man KI-generierte Musik und Videos geschäftlich nutzen?

Das hängt vom Tarif des jeweiligen Anbieters ab. Bei Suno, Hedra und den Bild-Tools erlauben die bezahlten Pläne die kommerzielle Nutzung. Prüf die Lizenzbedingungen vor der Veröffentlichung und kennzeichne KI-Inhalte transparent, wie wir es im Outro und in der Beschreibung getan haben.

Warum Remotion statt eines Schnittprogramms?

Weil der Schnitt damit reproduzierbar und automatisierbar wird. Änderst du eine Zahl in der Schnittliste, ist das neue Video einen Befehl später fertig. Für einmalige Projekte ist ein Schnittprogramm schneller, für Serien und datengetriebene Videos ist Code klar überlegen.