Mit einem sauberen Quellvideo liefert Dubly.AI's Lip-Sync von Anfang an natürliche Ergebnisse. Fast jedes Artefakt, das du siehst, lässt sich auf einige spezifische extreme Bedingungen im Filmmaterial zurückführen — ein größtenteils bedeckter Mund, sehr steile Kamerawinkel oder ein Gesicht, das zu klein im Bild ist. Hier erfährst du, wie du sie erkennst und was du dagegen tun kannst.
Wann Lip-Sync gut funktioniert
Bei den meisten Quellvideos sieht Lip-Sync ohne zusätzliche Einrichtung natürlich aus. Du bekommst das beste Ergebnis, wenn:
Der Mund des Sprechers durchgehend deutlich sichtbar ist
Das Gesicht 10–40 % des Bildausschnitts füllt
Die Beleuchtung des Gesichts stabil und gleichmäßig ist (keine harten Schatten auf dem Mund)
Das Filmmaterial eine hohe Auflösung bei einer konstanten Bildrate hat (25 oder 30 fps)
Ausreichend hochwertiges Filmmaterial für mindestens 10 s vorhanden ist
Wenn dein Video diese Bedingungen erfüllt und du trotzdem Artefakte siehst, springe zum letzten Abschnitt, um den Support zu kontaktieren.
Sonderfälle, die Artefakte verursachen
Die meisten Artefakte entstehen durch eine Handvoll extremer Situationen in der Quelle. Überprüfe, ob eine der folgenden Situationen auf die betroffenen Segmente zutrifft:
Mund ist größtenteils verdeckt. Eine Hand, ein Mikrofon, Haare oder ein anderes Objekt, das mitten im Satz den Mund kreuzt, unterbricht das Lip-Tracking. Selbst kurze Verdeckungen können dieses Segment stören.
Extreme Kamerawinkel. Reine Profilaufnahmen oder steile Auf-/Untenwinkel geben dem Modell zu wenig vom Mund zum Verarbeiten. Leichte Schrägwinkel sind in Ordnung — nur die Extreme verursachen Probleme.
Gesicht zu klein im Bild. Wenn das Gesicht weniger als ~10 % des Bildausschnitts einnimmt, sehen die Lippen oft verwischt oder „plastisch" aus. Das Modell benötigt genug Pixel um den Mund, um scharfe Bewegungen zu erzeugen.
Sprecher dreht sich von der Kamera weg. Sobald der Mund nicht sichtbar ist, kann das Modell ihn nicht tracken. Kurze Drehungen sind in Ordnung — längere Momente außerhalb der Kamera verursachen Artefakte an den Übergängen.
Variable Bildrate oder niedrige Auflösung. Variable Bildrate (VFR) verursacht Timing-Abweichungen, und niedrig aufgelöstes Filmmaterial verursacht flackernde Zähne oder instabile Lippen. Vor dem erneuten Hochladen zu CFR 25 oder 30 fps H.264 mit hoher Bitrate neu encodieren.
Harte Schatten auf dem Mund. Starke Schatten von Oberlicht oder hartem Sonnenlicht können das Modell verwirren, wo die Lippen tatsächlich sind.
Was du dagegen tun kannst
Wenn nur bestimmte Segmente betroffen sind: Schneide deine Quelle neu, um die Problemaufnahmen zu entfernen oder zu verkürzen. Das Lip-Sync-Ergebnis aus einer saubereren Version desselben Inhalts wird merklich besser sein.
Wenn dein Quellmaterial nicht verbessert werden kann: Deaktiviere Lip-Sync für dieses Video. Für Inhalte, bei denen der Sprecher die meiste Zeit außerhalb der Kamera ist oder der Mund selten sichtbar ist, sieht das gedubte Audio über den Originallippen oft natürlicher aus als ein erzwungener Lip-Sync.
Wenn du einen neuen Dreh planst: Die meisten Probleme lassen sich an der Quelle vermeiden.
Immer noch Artefakte?
Wenn dein Quellvideo die Qualitätsanforderungen oben erfüllt — deutlicher Mund, guter Bildausschnitt, stabile Beleuchtung, konstante Bildrate — und du immer noch Artefakte bekommst, frag Dubby im Chat (unten rechts) und nenn dabei:
Dem Dub-Link
Einem Zeitstempel des Problemsegments
Einer kurzen Beschreibung des Artefakts (nicht synchron, verwischte Lippen, eingefrorenes Gesicht usw.)
Das hilft uns zu untersuchen, ob es etwas ist, das wir auf unserer Seite anpassen müssen.