Anleitung für deiteris' optimiertes W-Okada RealTime Voice Changer Client (Fork)


Letztes Update am 24. August 2024: Neue Version b2309

Original englische Anleitung: https://rentry.co/ForkVoiceChangerGuide



Informationen


Wie gut ist diese Version?


Beste Wahl für AMD-GPU-Nutzer

Dieser Fork ist viel besser für AMD GPUs im Vergleich zum ursprünglichen w-okada. Beim Original erfordert es das Konvertieren von Modellen zu Onnx-Modellen, was nervig ist. Die Originale Version benötigt mehr CPU- und GPU-Ressourcen, hat mehr Verzögerung und andere kleine Unannehmlichkeiten/Bugs.

Beispiel: AMD RX 6650 XT hat eine niedrigste Latenz von 298 ms Chunk auf dem ursprünglichen w-okada. Auf diesem Fork beträgt die niedrigste Latenz etwa 60 - 80 ms Chunk.

Besser für NVIDIA als w-okada

Dieser Fork ist besser für NVIDIA-Nutzer, die normalerweise die vorgefertigte w-okada-Version verwenden, da diese Version hier GPU-beschleunigtes Extra verwendet, im Gegensatz zum Original, das CPU verwendet.

Bei den RTX-GPUs sind die Verzögerungsleistungsunterschiede minimal, aber die Qualitätsleistung ist hier besser. Bei älteren Karten wie GTX oder MX schneidet dieser Fork in allen Aspekten besser ab.

Beispiel: NVIDIA RTX 3070 erreicht auf vorgefertigtem w-okada eine Chunk-Latenz von 170 - 213 ms. Auf manuell eingerichteter Umgebung von w-okada erreicht es 42 ms Chunk-Latenz. Auf diesem Fork kann es je nach zusätzlicher Einstellung vom Extra eine Latenz von 30 - 48 ms Chunk erreichen.


  • Weniger Verzögerung für alle Hardware im Vergleich zum ursprünglichen vorgefertigten w-okada
  • Bessere Sprachmodellqualität (original ist bugged)
  • Keine Onnx-Probleme für AMD/Intel/CPU-Nutzer
  • Häufige, benutzerfreundliche Updates

Unterstützte Betriebssysteme

  • Windows 10 oder neuer
  • macOS 12 Monterey oder neuer. Mit Apple Silicon oder Intel CPU.
  • Linux (nicht in dieser Anleitung erklärt, da keine Nachfrage besteht. Man kann die benötigten Dateien von GitHub herunterladen und bei Bedarf im AI Hub Discord Server um Hilfe bitten, der Entwickler hilft da regelmäßigt: https://github.com/deiteris/voice-changer/releases)

Systemanforderungen


RAM: Mindestens 6 GB.

Festplattenspeicher: Mindestens 6 GB freier Speicherplatz. Für schnelles Laden von Modellen wird eine SSD empfohlen.


Hardware-Anforderungen


Für CPU-Konvertierung

Minimum:
Intel Core i5-4690K oder AMD FX-6300.

Empfohlen:
Intel Core i5-10400F oder AMD Ryzen 5 1600X.

CPU-Konvertierung wird nicht empfohlen

Wenn du gleichzeitig Spiele spielen möchtest, verwende keine CPU-Konvertierung. Dein PC geht an seine Grenzen und die Verzögerung ist groß. Wenn du einen leistungsstärkeren CPU hast, kann man es zum Laufen bringen, aber diejenigen, die leistungsstarke CPUs haben, haben höchstwahrscheinlich auch leistungsstarke GPUs, daher lieber die GPU verwenden, wenn möglich.

Für GPU-Konvertierung

Minimum:

  • Eine integrierte Grafikkarte: AMD Radeon Vega 7 (mit AMD Ryzen 5 5600G) oder neuer; mit 2 GB VRAM (im FP32-Modus), ~1 GB VRAM (im FP16-Modus, falls unterstützt).
  • Eine dedizierte Grafikkarte: Nvidia GeForce GTX 900 Serie oder neuer, oder AMD Radeon RX 400 Serie oder neuer, oder Intel Arc A300 Serie oder neuer.

Empfohlen:

  • Eine dedizierte Grafikkarte Nvidia GeForce RTX 20 Serie oder neuer, oder AMD Radeon RX 5000 Serie oder neuer, oder Intel Arc A500 Serie oder neuer.

Für ein realistisches Erlebnis solltest du eine dedizierte Grafikkarte von NVIDIA RTX, AMD Radeon RX oder Intel Arc verwenden.

Integrierte Grafikkarten, wie Radeon Vega, insbesondere in Laptops, werden bereits verwendet, um dein Monitorbild anzuzeigen, sodass sie in diesem Sinne "belastet" sind und bei zusätzlicher Verwendung des Voice Changers höhere Verzögerungen aufweisen, insbesondere beim Versuch, ein Spiel auszuführen.


Download


Welche Version soll ich runterladen?

Du downloadest basierend auf deiner GPU. Du weißt nicht welche GPU du hast? Öffne Task Manager > Leistung Tab und check nach GPU0 und GPU1. Prioritisiere die NVIDIA falls eine vorhande ist, sonst benutze die andere.

Alt Tag

Download NVIDIA


NVIDIA

Neueste Version vom 24. August 2024: cuda-b2309 (hier klicken zum Herunterladen)

Nach dem Download die MMVCServerSIO.exe ausführen.

Wenn du eine GTX 700-Karte oder darunter hast, verwende stattdessen die AMD/Intel-Version.


Download AMD, INTEL und CPU


AMD & INTEL ARC / CPU

Neueste Version vom 24. August 2024: dml-b2309 (hier klicken zum Herunterladen)

Nach dem Download die MMVCServerSIO.exe ausführen.

Intel UHD Graphics funktionieren aktuell NICHT.


Download Mac


Apple Silicon (Apple M1, etc.) Nutzer

Neueste Version vom 24. August 2024: arm-b2309 (hier klicken zum Herunterladen)

Apple Intel-Nutzer

Neueste Version vom 24. August 2024: macos-amd-b2309 (hier klicken zum Herunterladen)


Online-Alternative [Colab/Kaggle]


Dieser Abschnitt ist noch nicht fertig

Du kannst dem AI Hub Discord Server beitreten und im #help-w-okada-Kanal um Hilfe bitten.

Colab Link

https://colab.research.google.com/github/deiteris/voice-changer/blob/master-custom/Colab_RealtimeVoiceChanger.ipynb
alle benötigten Zellen nacheinander ausführen, und ein kostenloses Ngrok-Konto erstellen. Nachdem du den "server ngrok" gestartet hast, wird eine URL erstellt - diesen öffnen, und dort befindet sich der Voice Changer.

Kaggle Link

https://www.kaggle.com/code/suneku/voice-changer-public
Es enthält ein grobes Tutorial, benötigt die Verifizierung einer Handynummer und dauert länger einzurichten, aber sobald du es hast, lohnt es sich. Auf Kaggle sollte es eine Option geben, von Colab zu importieren, was der schnellste Weg wäre, es einzurichten.


Virtual Audio Cable


Virtual Audio Cable ist erforderlich, um den Voice Changer auf Discord & in Spielen zu verwenden

Windows Virtual Audio Cable

VAC (Virtual-Audio-Cable by Muzychenko)

  • Führe die setup64 aus, nicht 64a, nachdem du die Zip-Datei in einen neuen Ordner extrahiert hast.
  • Nach der Installation des Virtual Cables ändert es dein Standardsystem-Audio. Klicke auf Ja/Yes, wenn es fragt, ob du die Audioeinstellungen öffnen möchtest (oder wenn du das Fenster bereits geschlossen haben, drücke WIN+R, gebe "mmsys.cpl" ein) und ändere deine Aufnahme- und Wiedergabe-Geräte zurück auf dein normales Mikrofon und deine normalen Kopfhörer. Stelle sicher, dass dies auch für das Kommunikationsgerät geändert wird (rechte Maustaste auf dein normales Mikrofon oder Kopfhörer -> als Standard-Kommunikationsgerät festlegen).

Öffnen


Öffnen NVIDIA


Sicherstellen, dass 7zip oder WinRAR installiert ist

  • Rechtsklick auf die zip Datei.
    • mit 7-Zip: 7-Zip > Entpacken nach "voice-changer-windows-nvidia-bxxx"
      alt tag
    • mit WinRAR: Entpacken nach "voice-changer-windows-nvidia-bxxx"
      alt tag
  • Entpackten Ordner öffnen: (voice-changer-windows-nvidia-bxxx) > MMVCServerSIO.
  • MMVCServerSIO.exe starten.

Wenn sich am Ende der Konsole nichts öffnet, dann öffne einen Browser mit dieser URL: http://127.0.0.1:18888/. Das ist eine lokale URL, läuft im WebUI.


Öffnen AMD, Intel und CPU


Sicherstellen, dass 7zip oder WinRAR installiert ist

  • Rechtsklick auf die zip Datei.
    • mit 7-Zip: 7-Zip > Entpacken nach "voice-changer-windows-amd64-dml
      alt tag
    • mit WinRAR: Entpacken nach "voice-changer-windows-amd64-dml
      alt tag
  • Entpackten Ordner öffnen: (voice-changer-windows-amd64-dml) > MMVCServerSIO.
  • MMVCServerSIO.exe starten.

Wenn sich am Ende der Konsole nichts öffnet, dann öffne einen Browser mit dieser URL: http://127.0.0.1:18888/. Das ist eine lokale URL, läuft im WebUI.


Öffnen auf Mac


  • Doppelklick auf die voice-changer-macos-arm64-cpu.tar.gz Datei. Voice Changer Dateien entpacken sich und der MMVCServerSIO Ordner taucht anschließend auf.
  • Öffne den entpackten MMVCServerSIO Ordner.
  • Doppelklick auf MMVCServerSIO um den Voice Changer zu starten.

Apple Quarantäne kann den Start des Voice Changers verhindern

Man erhält hierfür keine Popup-Benachrichtigung. Wenn der voice changer sich also nicht öffnet oder die Meldung „Pytorch ist beschädigt“ erscheint, gehe wie gefolgt vor:

  1. Öffne ein Terminal
  2. Führe den folgenden Befehl aus: xattr -dr com.apple.quarantine <Pfad zum extrahierten MMVCServerSIO-Ordner>
    Wenn der voice changer beispielsweise auf dem Desktop extrahiert wurde, kann der Befehl folgendermaßen aussehen:
    xattr -dr com.apple.quarantine ~/Desktop/MMVCServerSIO

3 . Öffnen nun den extrahierten MMVCServerSIO-Ordner und führe MMVCServerSIO aus, um den voice changer zu starten.

Wenn sich am Ende der Konsole nichts öffnet, dann öffne einen Browser mit dieser URL: http://127.0.0.1:18888/. Das ist eine lokale URL, läuft im WebUI.


Voice Models hochladen


alt tag

  • Klicke auf Edit auf dem kleinen blauen Quadrat oben links.
  • Wähle einen beliebigen Slot aus und klicke auf upload
  • Nur RVC-Modelle funktionieren. Wenn du ein gpt-sovits-Modell oder ähnliches hast, funktionieren diese nicht.
  • Wähle Type: RVC, dann select file im Slot Model und lade die .pth-Datei hoch.
  • Index Datei wird generell nicht benötigt, ist aber optional. Dies steuert den Akzent des Voice Models.

Modelle löschen

Um ein Modell zu löschen, kann man den Slot mit einem neuen Modell überschreiben. Wenn du aus irgendeinem Grund darauf bestehst, einen Slot vollständig zu leeren, gehe zum Ordner model_dir, öffne den Ordner mit der Slotnummer, den du löschen möchtest, und lösche das Modell aus diesem Ordner.


Audio Setup


In der Voice Changer App:

  • Input: Dein Mikrofon
  • Output: Virtual Audio Cable (Line 1)
  • Monitor (um den Voice Changer auch zu hören): Deine Kopfhörer

Auf Discord und in Games:

  • Input/Eingang: Virtual Audio Cable (Line 1)
  • Output/Ausgang: Deine Kopfhörer

Erklärung, was alles bewirkt:
F0 det.: Pitch-Algorithmus. Verwende nicht "crepe", nur weil ein YouTube-Tutorial es dir sagt, die empfohlenen Einstellungen sind weiter unten im Guide aufgeführt.
Chunk: Kontrolliert die Verzögerung/Delay (niedrigere Zahl bedeutet weniger Verzögerung, aber überprüfe bitte die empfohlenen Einstellungen, um zu sehen, was deine GPU packt).
Extra: Kontrolliert die Qualität des Sprachmodells. 2,7s ist das Maximum, alles darüber hinaus bringt keinen Nutzen und kann Probleme verursachen.


VOL:
in: Erhöht die Mikrofonlautstärke, bevor sie in den Voice Changer gelangt (Es wird empfohlen, dies auf dem Standardwert zu belassen oder, falls nötig, nicht zu stark zu erhöhen, da sonst Hintergrundgeräusche verstärkt werden).
OUT: Erhöht die Lautstärke des Voice Changers am Ausgang.
MON: Erhöht die Lautstärke deiner Kopfhörer, die du auf "mon" eingestellt hast, wenn du dich mit dem Voice Changer hören möchtest.


Pitch: Dies ist die Tonhöhe. Ein negativer Wert macht die Tonhöhe tiefer, ein höherer Wert erhöht die Tonhöhe. Wenn du eine männliche Stimme mit einer weiblichen Stimme verwendest, ziele auf einen Wert zwischen 8 und 14, je nach deiner Stimme. Probiere verschiedene Werte in diesem Bereich aus, bis du den optimalen Punkt findest.
Formant Shift: Ändert die harmonischen Frequenzen und verändert das Timbre der Stimme, ohne die Tonhöhe zu beeinflussen.
Index: Dies steuert den Akzent des Sprachmodells. In den meisten Fällen kann die Verwendung von "Index" im Voice Changer einen Autotune-ähnlichen Klang erzeugen. Wenn du einen starken (ausländischen) Akzent hast, kannst du dies in geringem Maße verwenden. Beachte, dass dies die CPU/GPU-Nutzung erhöht.


In. Sens.: Mikrofonempfindlichkeit, erhöht man diesen Wert, wird weniger Hintergrundgeräusch aufgenommen, falls dies ein Problem ist.
Sup2: Rauschunterdrückung für dein Mikrofon.
Sup1: Rauschunterdrückung, aber schwächer. Es wird nicht empfohlen, dies zu verwenden, da es kaum Wirkung hat und Berichten zufolge die Stimme inkonsistent macht.
Echo: Wenn du trotz Sup2, In. Sens auf die rechte Seite und gesenktem Windows-Systemwert ein Echo hast, wird dir dies als letzte Möglichkeit helfen.

Audio: CLIENT, das MME verwendet.
SERVER wird nur empfohlen, wenn du WASAPI oder ASIO verwendest. Manchmal funktioniert der Client nicht, dann verwende SERVER mit dem Präfix "MME". Du kannst die integrierte Rauschunterdrückung und Echo-Filter nicht verwenden, wenn du SERVER verwendest.

ASIO > WASAPI > MME als allgemeine Faustregel.


Beste Einstellungen


Chunk : ist die Verzögerung in ms, dies hängt von deiner GPU ab. Lies weiter.
Extra: ist die Sprachmodellqualität in Sekunden, 2,7 ist das Maximum für maximale Qualität. Dies beeinflusst auch den Chunk-Wert, sodass bei niedrigeren Extra-Werten eine geringere Verzögerung möglich ist, aber die Unterschiede sind minimal.

F0 Det.: rmvpe für Nvidia; rmvpe_onnx für andere Versionen, es sei denn, im Guide ist etwas anderes angegeben.

Du kannst auch "fcpe" ausprobieren, das geringere Chunk-Latenz erreichen kann, aber es ist sprachmodellabhängig. Einige Modelle haben Ausspracheprobleme damit.


Ich habe lags, was soll ich tun?


Im neuen Update kannst du jetzt deine Einstellungen messen, wenn deine GPU hier nicht aufgeführt ist oder du experimentieren möchtest.

Der Perf-Wert sollte immer niedriger als dein Chunk sein.

Starte mit 500 ms Chunk, prüfe, was dein Perf-Wert ist, und gehe etwa auf diesen Wert herunter/hoch.
Beispiel: Wenn dein Perf-Wert 200 ist, gehe auf ca. 250 mit deinem Chunk.
Chunk und Extra beeinflußen den Perf-Wert.

if you dont see a picture here, report it on the #help-w-okada channel on the AI Hub server
Wenn dein Perf-Wert grün ist, ist dein ausgewählter Chunk stabil. Du kannst experimentieren und den Chunk verringern, um die Verzögerung/Delay zu reduzieren, oder Extra erhöhen, um mehr Qualität zu erzielen (gehe nicht über 2,7s Extra, das ist das Maximum. Alles darüber verbraucht mehr Ressourcen ohne Nutzen).

if you dont see a picture here, report it on the #help-w-okada channel on the AI Hub server
Wenn dein Perf-Wert gelb ist, ist dein ausgewählter Chunk ausreichend, aber kann instabil sein, wenn du gleichzeitig andere Prozesse ausführst. Der Betrieb in diesem Bereich führt auch zu einer hohen GPU-Auslastung. Es wird empfohlen, die Chunk-Größe zu erhöhen oder Extra zu reduzieren.

if you dont see a picture here, report it on the #help-w-okada channel on the AI Hub server
Wenn dein Perf-Wert rot ist, ist der Voice Changer instabil. Erhöhe die Chunk-Größe oder reduziere Extra.


Bekannte settings die man anwenden kann


Für Spiele musst du den Chunk erhöhen

Wenn du nebenbei ein Videospiel spielst, musst du in den meisten Fällen den Chunk erhöhen. Keine Sorge, der Perf-Wert wird dir helfen. Erhöhe den Chunk, bis der Perf-Wert wieder grün wird, während du im Spiel testest. Der Chunk muss höher als der Perf-Wert sein.

für NVIDIA

NVIDIA GPU's Max settings Laggy? Erhöhe den Chunk
RTX xx90 (z.B. 3090) 20 - 40 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx80 Ti (z.B. 3080 Ti) 20 - 40 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx80 (z.B. 3080) 30 - 50 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx70 Ti (z.B. 3070 Ti) 30 - 50 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx70 (z.B. 3070) 30 - 60 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx60 Ti (z.B. 3060 Ti) 40 - 60 ms chunk + 2.7s extra gefärbte perf Nummer + 40 ms chunk
RTX xx60 (z.B. 3060) 60 - 80 ms chunk + 2.7s extra gefärbte perf Nummer + 50 ms chunk
RTX xx50 (z.B. 3050) 100 - 120 ms chunk + 2.7s extra gefärbte perf Nummer + 60 ms chunk
GTX 16xx-series 100 - 140 ms chunk + 2.7s extra gefärbte perf Nummer + 60 ms chunk
GTX 10xx-Serie keine information
GTX 900-Serie keine information
MX 330 186 - 200 ms chunk + 0.6s extra gefärbte perf Nummer + 100 ms chunk

für AMD RX

AMD GPU's Chunk + Extra Laggy? Erhöhe den Chunk
7xxx XT Karten 50 - 60 ms + 2.7s extra gefärbte perf Nummer + 40 ms chunk
6xxx XT Karten 60 - 80 ms + 2.7s extra gefärbte perf Nummer + 40 ms chunk
5xxx XT Karten 80 - 100 ms + 2.7s extra gefärbte perf Nummer + 40 ms chunk
7xxx cards verbuggt, daran wird gearbeitet. 256 ms + 2.7s extra gefärbte perf Nummer + 60 ms chunk
6xxx cards 128 ms + 2.7s extra gefärbte perf Nummer + 60 ms chunk
5xxx cards ~140 - 200ms + 2.0s extra (nicht getestet) gefärbte perf Nummer + 60 ms chunk
RX 6600M 128ms + 2.7s extra colored perf number + 60 ms chunk
RX 580 ~150-250ms + 2.0s extra (nicht getestet) gefärbte perf Nummer + 60 ms chunk
RX 570 ~150-250ms + 1.5s extra (nicht getestet) gefärbte perf Nummer + 60 ms chunk
RX 560 ~150-300ms + 1.0s extra (nicht getestet) gefärbte perf Nummer + 80 ms chunk

für integrierte AMD Grafikkarten

AMD iGPU's Chunk + Extra
AMD Radeon(TM) Graphics (mit Ryzen 7 5800H) 256 ms + 2.7s extra
AMD Radeon RX Vega 10 (mit Ryzen 7 3700U) 600 ms + 0.6s extra
AMD Radeon RX Vega 8 (wimitth Ryzen 3 3200G) 700 ms + 1.0s extra

Mac & CPU's

Mac & CPU's F0 Det. + Chunk + Extra
Mac M1 Air fcpe + 230 ms + 2.7s extra
Ryzen 7 5800x rmvpe_onnx + 260 ms + 0.6s extra (only for discord usage)

Extras


Weniger Verzögerung/Latenz erreichen


Reducing more delay guide (Englisch)

https://rentry.co/LessDelayWasapi


Gute Voice Models austesten


Möglicherweise musst du dein Konto mit weights.gg verbinden, um diese Modelle herunterladen zu können.

Klicke auf die 3 Punkte (...) bei „weights.gg-Modelle“ und dann auf „Download Model“.

Female:
Natürliche Frauenstimme von Mares
Duckus Egirl Stimme von lusbert
Psych2Go Stimme von Dan (das ist eine weitere Duckus Egirl Version)

Male:
Bob Ross Stimme von dieseldog34
Markiplier Stimme von hobqueer


Hilfe


Drücken Sie die Eingabetaste, um fortzufahren. / Dateien konnten nicht heruntergeladen oder überprüft werden

Nachdem du das Programm zum ersten Mal gestartet hast und der Download der Dateien abgeschlossen ist: Wenn am Ende „Failed to download or verify: …“ und am Ende „Drücken Sie die Eingabetaste, um fortzufahren“ angezeigt wird, ist der Pretrain-Download fehlgeschlagen. Dies kann zufällig passieren. Folgendes musst du tun:

Fix

Gehe zum Ordner „pretrain“ im MMVCServerSIO-Ordner.
Löschen alles darin, falls vorhanden.

Lade die benötigten Dateien von diesem Google Drive herunter:
https://drive.google.com/drive/folders/1OFfM9rmxCZkiYjxoK_yzhRbcXpt0TiJ0?usp=drive_link

Kopiere alles von diesem Google Drive und füge es in den Ordner „pretrain“ hinzu.

Führe dann MMVCServerSIO.exe erneut aus, dieses Mal sollte es funktionieren


Fehlerbehebung / Troubleshooting


Es gibt einen ausführlichen Abschnitt zur Fehlerbehebung. Bitte lese dazu: Troubleshooting on Github

Crackle Fix


Task-Manager öffnen > Details

Rechtsklick auf audiodg.exe und Priorität auf „Hoch“ setzen

Rechtsklick erneut auf audiodg.exe > Affinität setzen > alles außer CPU 2 deaktivieren (nur ✅ CPU 2, den Rest ausschalten)

Mit einem Programm namens ProcessLasso kann man dies automatisieren, sodass es immer aktiv ist, da Windows diese manchmal zurücksetzt.


Discord Crackle Fix


Wenn die Stimme in der App gut klingt UND in Spielen gut klingt, aber NUR bei Discord komisch klingt, dann:

  • Schalte die Echounterdrückung aus (Echo Cancellation off)
  • Schalte die Rauschunterdrückung aus (verursacht manchmal Probleme) (Noise Suppression)

Discord Server


AI Hub: https://discord.gg/aihub

Edit
Pub: 13 Aug 2024 09:27 UTC
Edit: 04 Sep 2024 13:23 UTC
Views: 526