Ein eigener digitaler Avatar klingt zunächst nach Hightech für große Plattenfirmen. Motion Capture, 3D-Modelle, riesige LED-Wände und virtuelle Konzerte – all das kann schnell in die Millionen gehen. Aber muss man wirklich so viel Geld ausgeben? Nein.

Wer als unabhängiger Musiker oder Creator experimentieren möchte, kann sich inzwischen mit überschaubarem Aufwand eine eigene digitale Bühnenfigur bauen. Sie muss dabei nicht täuschend echt aussehen. Im Gegenteil: Ein bewusst stilisierter Avatar kann sogar interessanter sein.

Für unser Experiment verfolgen wir deshalb ein einfaches Ziel: Ein Musiker steht real auf der Bühne – und sein digitaler Avatar wird gleichzeitig Teil der Show. Das Ganze soll mit einem normalen Rechner, einer Kamera und möglichst viel kostenloser Software funktionieren.

1. Zuerst die wichtigste Entscheidung: Was soll der Avatar überhaupt machen?

Bevor man sich in 3D-Software verliert, sollte man das Konzept festlegen. Für einen ersten Versuch reichen drei Möglichkeiten:

Variante A: Der Avatar als Bühnen-Visual

Der Avatar erscheint hinter dem Musiker auf einem Bildschirm oder Projektor. Er muss nicht live reagieren. Die Animation kann vorher produziert werden.

Schwierigkeitsgrad: ★☆☆☆☆

Kosten: praktisch 0–100 €

Das ist der einfachste Einstieg.

Variante B: Der Avatar reagiert live

Hier wird es interessanter. Der Musiker spielt beispielsweise Gitarre oder singt – und der Avatar bewegt Kopf, Gesicht und Körper synchron mit. Dafür benötigt man eine Form von Motion Capture.

Schwierigkeitsgrad: ★★★☆☆

Kosten: etwa 0–300 € für einen ersten Versuch.

Variante C: Zwei Künstler auf einer Bühne

Das wäre die spannendste Variante: Der echte Musiker steht auf der Bühne, während sein digitales Alter Ego gleichzeitig als zweiter Performer erscheint.

Zum Beispiel: 

Echter Musiker: Gitarre und Gesang

Avatar: virtuelle zweite Stimme, Tänzer, Alter Ego oder digitale Bandfigur

Hier entsteht erstmals wirklich eine eigene Showidee.

2. Der einfachste Start: Einen Avatar bauen

Für den ersten Versuch braucht man nicht zwingend einen eigenen 3D-Charakter von Grund auf. Es gibt inzwischen verschiedene Wege:

• einen bestehenden 3D-Avatar anpassen,

• einen Charakter aus einer Avatar-Plattform verwenden,

• einen eigenen Charakter in einer 3D-Software erstellen,

• oder mit KI zunächst nur das visuelle Design entwickeln.

Für einen kleinen Creator würde ich mit einem stilisierten Charakter anfangen. Warum?

Weil ein fotorealistischer Avatar extrem viel Arbeit verursacht. Schon kleine Fehler bei Augen, Händen, Mund oder Bewegungen können ihn unnatürlich wirken lassen. Ein Comic-, Anime- oder bewusst futuristischer Stil verzeiht dagegen deutlich mehr.

3. KI für das Character Design nutzen

Hier kann generative Bild-KI helfen. Man kann zunächst verschiedene Entwürfe erzeugen:

„Futuristischer elektronischer Musiker, schwarzer Mantel, neonblaue Elemente, stilisierter 3D-Charakter, Ganzkörperansicht, neutraler Hintergrund“

Aus mehreren Entwürfen lässt sich anschließend eine Figur auswählen.

Wichtig: Das Bild ist noch kein animierbarer Avatar.

Es ist zunächst nur das visuelle Konzept. Danach muss daraus ein 3D-Modell werden.

4. Vom Bild zum 3D-Avatar

Hier beginnt der technische Teil. Ein einfacher Workflow kann beispielsweise so aussehen:

Bild/Konzept

↓

3D-Modell

↓

Rigging

↓

Motion Capture

↓

Animation

↓

Live-Visual oder Video

Für einen ersten Versuch kann man auf bestehende Avatar- und 3D-Tools zurückgreifen, anstatt den Charakter selbst zu modellieren. Eine kostenlose oder günstige 3D-Software wie Blender ist dabei besonders interessant. Blender ist Open Source und kann praktisch alles übernehmen, was man für einen solchen Prototyp benötigt: Modellierung, Animation, Rendering und Compositing.

Der Nachteil: Blender hat eine steile Lernkurve.

Für ein erstes Projekt sollte man deshalb nicht versuchen, gleichzeitig 3D-Modellierung, Rigging und Animation zu lernen.

5. Jetzt kommt Motion Capture

Hier wird aus dem Avatar eine Figur. Motion Capture bedeutet vereinfacht: Eine Kamera beobachtet deine Bewegungen und übersetzt sie in Bewegungen des digitalen Charakters.

Für einfache Experimente kann dafür bereits eine normale Kamera beziehungsweise Smartphone-Kamera ausreichen. Der Creator bewegt sich vor der Kamera.

Die Software erkennt beispielsweise:

• Kopfbewegung

• Arme

• Beine

• Körperhaltung

• teilweise Hände

• Gesichtsausdruck

Diese Daten werden anschließend auf den Avatar übertragen. Das Ergebnis: Du bewegst dich – dein digitaler Charakter bewegt sich ebenfalls.

6. Gesicht und Stimme

Besonders spannend wird es beim Gesicht. Ein Avatar mit einem starren Gesicht wirkt sehr schnell wie eine Computerspielfigur. Schon einfache Gesichtserfassung kann deshalb einen großen Unterschied machen. Für einen Sänger könnte beispielsweise die Mundbewegung anhand des Gesangs synchronisiert werden. Dabei muss man allerdings zwischen zwei Dingen unterscheiden:

Lip-Sync

Der Avatar bewegt seinen Mund passend zum Gesang.

Voice Clone

Der Avatar besitzt eine künstlich erzeugte Stimme.

Für unser kleines Experiment brauchen wir Letzteres zunächst überhaupt nicht. Wenn der echte Musiker live singt, kann der Avatar einfach die Bewegungen übernehmen. Das ist außerdem rechtlich und kreativ wesentlich unkomplizierter.

7. Der Trick für kleine Budgets: Nicht alles live machen

Hier kann man enorm viel Geld sparen. Man muss nicht versuchen, eine komplette digitale Live-Show in Echtzeit zu berechnen. Stattdessen kann man einen Song beispielsweise vorher produzieren und den Avatar für diesen Song animieren. Beim Konzert läuft dann:

Live-Musiker + vorbereitete Avatar-Animation + Live-Licht + Projektion

Das Publikum erlebt trotzdem eine hybride Show. Technisch ist das wesentlich einfacher. Und wenn die Animation gut gemacht ist, muss das Publikum nicht einmal wissen, welche Teile in Echtzeit entstehen.

8. Die günstigste Bühne: ein Projektor

Eine riesige LED-Wand ist für einen Indie-Creator natürlich unrealistisch. Ein Projektor reicht für erste Tests vollkommen. Der Avatar kann beispielsweise auf eine Leinwand hinter dem Musiker projiziert werden. 

Noch interessanter: Man kann den Hintergrund so gestalten, dass der Avatar scheinbar direkt mit dem Musiker interagiert.

Beispielsweise:

Der echte Musiker steht links.

Der Avatar erscheint rechts.

Dann drehen sich beide zueinander.

Der Musiker spielt eine Gitarrenphrase.

Der Avatar reagiert darauf.

Anschließend wechseln Licht und Kamera.

Plötzlich wirkt das Ganze wie eine kleine Show – obwohl die Technik relativ simpel ist.

9. Was kostet das?

Für einen ersten Prototyp kann das Budget überraschend klein sein.

Setup für 0–100 €

• vorhandener PC oder Laptop

• Smartphone/Webcam

• kostenlose 3D-/Animationssoftware

• kostenlose oder bereits vorhandene KI-Tools

• vorhandener Fernseher oder Monitor

Ziel: Avatar-Video produzieren.

Setup für 100–500 €

Zusätzlich:

• bessere Webcam oder Kamera

• einfacher Projektor

• eventuell bessere Beleuchtung

• kostenpflichtige Avatar-/Motion-Capture-Software

• eventuell ein fertiges 3D-Modell

Ziel: kleine hybride Performance.

Setup für 500–1.000 €

Hier kann man bereits ernsthafter experimentieren:

• leistungsfähiger Rechner

• gutes Tracking

• Projektor oder größere Display-Lösung

• Licht

• MIDI-/Audio-Steuerung

• mehrere Kameras beziehungsweise Sensoren

Ziel: kleine Live-Show.

10. Noch cooler: Der Avatar reagiert auf die Musik

Hier wird es richtig interessant. Der Avatar muss nicht ausschließlich auf deine Körperbewegungen reagieren. Man kann auch Musikdaten verwenden.

Zum Beispiel:

Kickdrum → Lichtblitz

Bass → Avatar-Bewegung

Snare → Partikeleffekt

Gesang → Gesicht/Mund

MIDI-Note → Animation

Damit wird aus dem Avatar ein Teil des musikalischen Arrangements. Ein elektronischer Musiker könnte beispielsweise einen Drop programmieren, bei dem der Avatar gleichzeitig seine Bewegungen verändert und die virtuelle Umgebung explodiert.

Das ist mit klassischen Musikvideos kaum vergleichbar.

11. Der kleine Creator sollte nicht versuchen, Hollywood zu kopieren

Das ist wahrscheinlich der wichtigste Tipp. Der Fehler wäre: „Ich brauche einen fotorealistischen digitalen Menschen.“

Besser: „Ich brauche eine starke visuelle Figur.“

Ein eigener Stil kann sogar zum Markenzeichen werden.

Vielleicht sieht der Avatar aus wie:

• ein Roboter

• eine digitale Version des Musikers

• eine Comicfigur

• eine futuristische Maske

• ein komplett neues Alter Ego

Je stärker der Stil, desto weniger muss man versuchen, die Realität perfekt zu imitieren.

12. Unser erstes Mini-Projekt

Wenn wir das selbst als kibeat-Experiment umsetzen wollten, würde ich es bewusst klein halten.

Projekt: „Mein erster KI-Avatar“

Schritt 1

Einen Song auswählen.

Schritt 2

Eine digitale Figur entwerfen.

Schritt 3

Die Figur als 3D-Avatar umsetzen.

Schritt 4

Eine kurze Motion-Capture-Sequenz aufnehmen.

Schritt 5

Avatar und Musik synchronisieren.

Schritt 6

Die Animation auf einen Fernseher oder Projektor bringen.

Schritt 7

Den echten Musiker davorstellen.

Schritt 8

Das Ergebnis filmen.

Dann haben wir innerhalb eines überschaubaren Budgets einen echten Proof of Concept. Und genau das wäre journalistisch interessant: Nicht behaupten, dass die Technologie funktioniert – zeigen, was tatsächlich möglich ist.

13. Und was kommt danach?

Wenn der erste Versuch funktioniert, kann man das Projekt Schritt für Schritt erweitern. Aus einem Avatar-Video wird eine Performance. Aus der Performance wird eine kleine Show. Und daraus könnte irgendwann ein komplettes Format entstehen: Real Artist + Digital Alter Ego

Der Musiker muss dabei nicht verschwinden. Im Gegenteil. Das Interessante entsteht gerade aus der Kombination:

Mensch + Maschine

Live + virtuell

echte Musik + digitale Performance

Das ist wahrscheinlich auch der Punkt, an dem sich die Entwicklung bei großen Produktionen wie Unit1 mit den Möglichkeiten unabhängiger Creator überschneidet. 

Der kleine Creator braucht keine 20 Millionen Dollar.

Er braucht zunächst eine gute Idee, einen Song, einen Rechner und die Bereitschaft, ein bisschen zu experimentieren.

Teil 2 folgt in Kürze!