BATS - Speech2Speech

Auch verfügbar in:

English

Sprache in jede Sprache? Nein – in Englisch: Transkribieren, übersetzen, neu sprechen

Speech2Speech verwandelt gesprochene Sprache in einer beliebigen von Whisper unterstützten Sprache in englische Synchronstimme: Der Assistent-basierte Eintrag transkribiert das Audio mit Whisper (Modell large-v2) und übersetzt den Text dabei direkt ins Englische – danach spricht die AI-Stimmen-Engine Kokoro (Nvidia-GPU) den Text in einer wählbaren US- oder UK-Englisch-Stimme. Aus einem fremdsprachigen Interview oder Voice-Over wird so ein englischsprachiger Audio-Clip mit demselben Timing.

So richten Sie den Menüpunkt ein

„Speech2Speech“ wird über den Assistenten „Add function...“ angelegt (Rechtsklick im BIN → Add function... → Speech2Speech - Create English Voice). Die Fragen des Assistenten:

  1. Stimme („Please select the voice. English only.“): Heart (amerikanisch, weiblich), Michael (amerikanisch, männlich), Lily (britisch, weiblich) oder George (britisch, männlich).
  2. Max. Stretch (0–50 %, Standard 10 %): Sprechrate, um die Sätze in die Original-Zeitfenster zu bringen; empfohlen unter 15 %, 0 % = aus.
  3. Ergebnis ins BIN? („this preset will use the trimmed version of the selected file“) – Ja → zusätzlich unter __BAT Server\Speech registrieren.
  4. Platzierung (BIN oder Timeline) und Name (Vorschlag: „Translate by <Stimme>“), dann [Preview '.bat0' file] / [Add menu entry].

So nutzen Sie es

  1. Rechtsklick auf einen Audio-Clip (oder einen Clip mit Audio) → Untermenü Generate Speech → Ihr Speech2Speech-Eintrag (z. B. „Translate by Heart“).
  2. BAT Server extrahiert das Audio des IN/OUT-Bereichs (16 kHz Mono), transkribiert + übersetzt es per Whisper-Faster (large-v2) zu einer englischen SRT …
  3. … und lässt Kokoro die SRT in der gewählten Stimme sprechen. Die WAV-Datei wird als Audio-Clip im BIN registriert (zusätzlich unter __BAT Server\Speech, falls im Assistenten gewählt) – Zeitstempel inklusive, passend zur Frame-Rate des Clips.

Wichtige Hinweise

  • Ergebnis immer Englisch: Quelle darf in jeder Whisper-gestützten Sprache sein (Sprache wird automatisch erkannt) – die Ausgabestimme ist US- oder UK-Englisch.
  • Timing wie im Original: Die Sätze des Klartexts erben die Zeitfenster der Original-Sprache; die Stretch-Grenze begrenzt, wie stark die Sprechrate angepasst wird.
  • Vorkonfiguriert dabei: BAT Server liefert zusätzlich das System-Preset „Translate to English“ (Whisper → Kokoro, Stimme Heart) für Audio-Clips im BIN – der Assistent dient hier eigenen Stimmen, Namen und Platzierungen.
  • Nvidia-GPU: Kokoro läuft auf der Nvidia-GPU; ohne passende GPU ist der Eintrag nicht sinnvoll nutzbar.

Preset verwalten

Per Assistent angelegte Einträge sind Nutzer-Presets: Die .bat0-Datei liegt je nach Wahl unter C:\ProgramData\EdiusPowerTools\BAT-server\bat_files\BIN\ bzw. …\bat_files\timeline\ und kann frei bearbeitet, umbenannt oder gelöscht werden (Löschen entfernt den Kontextmenü-Eintrag). Stimme und Stretch-Wert sind in der .bat0 eingebrannt – Änderungen wirken ab der nächsten Ausführung.