Lip-Sync animiert den Mund des Sprechers neu, damit er zum gedubten Audio passt — aber es funktioniert nicht bei jeder Aufnahme, und seine Grenzen zu kennen spart dir Guthaben und Frust. Dieser Artikel zeigt, wo Lip-Sync an seine Grenzen stößt und was du dagegen tun kannst.

Wo Lip-Sync an seine Grenzen stößt

Lip-Sync setzt voraus, dass die AI ein Gesicht deutlich auf dem Bildschirm sieht. In diesen Situationen liefert es schwache Ergebnisse:

Unzureichendes Filmmaterial des Gesichts: Das Video enthält weniger als mindestens 10 Sekunden kontinuierlicher, klarer Gesichtsaufnahmen, was die AI daran hindert, die Lippenbewegungen ordnungsgemäß zu analysieren und zu animieren.
Der Sprecher schaut nicht in die Kamera (Profilaufnahmen, schnelle Wegdrehungen). Das Gesichts-Tracking kann den Mund verlieren.
Das Gesicht ist klein im Bild (Weitwinkelaufnahmen, Gruppenszenen, Gruppenfotos). Das Detail ist zu gering für realistische Mundbewegungen.
Der Mund ist teilweise verdeckt — nah gehaltene Mikrofone, Hände vor dem Gesicht, Kapuzenpullover, Masken, dichte Bärte.
Sehr schnelle Schnitte oder rasche Kopfbewegungen. Das Modell hat zwischen den Frames weniger Zeit zum Neu-Animieren.

Was Dubly automatisch macht

Du musst nichts markieren. Die Pipeline:

Erkennt Gesichter pro Segment. Segmente ohne sichtbares Gesicht werden unverändert durchgeleitet — Lip-Sync wird nur dort angewendet, wo ein Gesicht auf dem Bildschirm ist.
Normalisiert das Video auf H.264 MP4 mit bis zu 1920 px Breite und 30 FPS vor dem Lip-Syncing, sodass leichte Encoding-Eigenheiten in der Quelle die Pipeline nicht unterbrechen.
Wiederholt Fehler pro Segment bis zu fünfmal, bevor dieses Segment als fehlgeschlagen markiert wird. Andere Segmente laufen unabhängig weiter.

Was du tun kannst

Bevor du Lip-Sync ausführst:

Enger auf das Gesicht des Sprechers zuschneiden, wenn es klein im Bild ist — eine engere Komposition gibt dem Modell mehr zum Verarbeiten.
Nicht sprechendes B-Roll herausschneiden — wenn dein Video lange Abschnitte hat, in denen niemand auf der Kamera spricht, fügt Lip-Sync dort ohnehin keinen Mehrwert hinzu.
Starke Gesichtsverdeckungen oder extreme Winkel nach Möglichkeit vermeiden.

Wenn Lip-Sync vollständig fehlschlägt

Wenn Lip-Sync auf der Dub-Seite den Status „Fehlgeschlagen" erzeugt, ist die häufigste Ursache kein erkanntes Gesicht im gesamten Video. Animation, Motion Graphics, Produktvideos ohne Präsentator oder reines Voice-over-Material können nicht lip-gesynct werden.

Hinweis zu den Kosten

Lip-Sync wird separat vom Dubbing zu 1 Guthaben pro Minute pro Subdub abgerechnet. Wenn eine Aufnahme eindeutig nicht von Lip-Sync profitiert (Weitwinkelaufnahmen, kein Sprecher auf der Kamera), spart das Überspringen von Lip-Sync für diese Sprache den entsprechenden Guthaben-Aufwand — siehe Wann Lip-Sync aktivieren für den Entscheidungsrahmen.

Immer noch Probleme?

Wenn dein Quellvideo die Qualitätsanforderungen oben erfüllt — deutlicher Mund, guter Bildausschnitt, stabile Beleuchtung, konstante Bildrate — und du immer noch Probleme hast oder dein Lip-Sync vollständig fehlgeschlagen ist, frag Dubby im Chat (unten rechts) und nenn dabei: