So entsteht der Lip-Sync-Score
1.000 Videos, identisches Ausgangsmaterial, alle Anbieter — und echte Zuschauer entscheiden blind, wer gewinnt.
Videos aus einem festen, versionierten Testkorpus
- 1.000
unabhängige Bewerter pro Video
- 5
Einzelurteile pro Testrunde
- 5.000
Nur das Lip-Sync-Modell ist anders
Jedes Video wird durch jeden Anbieter geschickt — mit exakt demselben Input. Alles vor und nach dem Lip-Sync-Schritt bleibt konstant, das Ergebnis kann sich also nur an einer einzigen Stelle unterscheiden.
Was der Korpus abdeckt
Unterschiedliche Sprachen
Unterschiedliche Auflösungen
Unterschiedliche Gesichtsgrößen im Bild
Unterschiedliche Lichtsituationen
Unterschiedliche Aufnahmequalität
Bleibt gleich
Quellvideo
Übersetzte Tonspur
Stimme
Timing
Die einzige Variable
Das Lip-Sync-Modell — eines pro Anbieter
Eine Frage, 5.000-mal gestellt
Pro Video werden alle Ergebnisse nebeneinander gezeigt — ohne Anbieternamen, in zufälliger Reihenfolge. Fünf unabhängige Personen bewerten jedes Video.
- D
- A
- E
- B
- C
Sind zwei Ergebnisse wirklich nicht zu unterscheiden, darf „kein erkennbarer Unterschied“ gewählt werden. Beide bekommen dann den Punkt.
5 Bewerter pro Video
5.000 Urteile pro Runde
Was ein Score von 78 bedeutet
Der Score ist der Prozentsatz aller Urteile, in denen ein Anbieter als Bester gewählt wurde.
Die Skala
- 100
In jedem einzelnen der 5.000 Urteile als Bester gewählt
- 80
In 4 von 5 Urteilen vorn
- 50
In der Hälfte der Urteile vorn
- 20
Zufallsniveau bei fünf Anbietern — kein messbarer Vorteil
- 0
Nie als Bester gewählt
Rechenbeispiel
Anbieter A wird in 3.900 von 5.000 Urteilen als Bester genannt. Score: 78. Direkt lesbar: 78 % der Zuschauer halten dieses Ergebnis für das beste im Feld.
Die Scores addieren sich nicht auf 100
Jeder Anbieter wird einzeln gemessen. Sind zwei Anbieter durchgehend gleich gut, können beide 90 erreichen.
Genau auf rund ±3 Punkte
Bei 5.000 Urteilen liegt die statistische Unsicherheit bei rund drei Punkten. Unterschiede von weniger als drei Punkten werden als Gleichstand ausgewiesen, nicht als Rangfolge.
Warum das Feld dicht beieinander liegt
Ein niedriger Score ist bei diesem Verfahren möglich: Bei fünf Anbietern liegt das Zufallsniveau rechnerisch bei 20. Dass alle getesteten Anbieter deutlich darüber landen, ist selbst ein Ergebnis — der Markt ist eng geworden. Die relevanten Unterschiede zeigen sich nicht mehr im Durchschnitt, sondern in den schwierigen Fällen. Deshalb werden zwei weitere Werte ausgewiesen.
Unentschieden-Quote
In wie viel Prozent der Videos die Testgruppe überhaupt keinen Unterschied sah.
Score nach Schwierigkeitsgrad
Getrennt ausgewiesen für einfache Aufnahmen — frontal, Studio — und schwierige: Seitenprofil, Bewegung, schlechtes Licht, kleines Gesicht im Bild.
Was der Test sagen kann — und was nicht
Alle Ergebnisse werden blind bewertet. Die Testgruppe kennt weder Anbieternamen noch Auftraggeber.
Getestet werden benannte Modellversionen zu einem benannten Datum. Lip-Sync-Modelle ändern sich schnell, ein Score ist eine Momentaufnahme dieses Datums.
Der Test wird von einem Marktteilnehmer beauftragt und von einer externen Agentur durchgeführt. Genau deshalb sind Testkorpus, Bewertungsprotokoll und Rohdaten dokumentiert und auf Anfrage bei unserem Team einsehbar.
Die Ergebnisse gelten für diesen Korpus. Anderes Material kann zu anderen Rangfolgen führen.
Demo buchenDirektes Ergebnis