Torna alla home

CREA CANZONI AI CON RVC

Credits Credits


Sommario


Il progetto RVC è il software di intelligenza artificiale che utilizzeremo in questa guida. È anche possibile addestrare le proprie voci (c'è una guida a riguardo collegata successivamente).

Google Colab o Installazione Locale

Scegli tra queste due opzioni per creare cover musicali con l'IA. Puoi eseguire RVC localmente se disponi di un PC con una GPU decente, o eseguirlo su una pagina gratuita di Google Colab.

Utilizzare Colab

Questo è il Google Colab consigliato per l'utilizzo normale dei modelli vocali:
https://colab.research.google.com/drive/1Gj6UTf2gicndUW_tVheVhTXIIYpFTYc7?usp=sharing

Segui questa guida se desideri utilizzare il colab creato per addestrare le tue voci.

Dopo un certo periodo di tempo, Google limita l'utilizzo della GPU e devi attendere per poterla utilizzare nuovamente (puoi accorgerti dai tempi di conversione infiniti o guardando la scheda delle risorse di Colab). Alcune persone creano account alternativi per questo, o pagano per Colab Pro. Questo accade più comunemente a coloro che addestrano le proprie voci.

Esecuzione in Locale

Consulta questa guida per l'installazione locale:
https://docs.google.com/document/d/1KKKE7hoyGXMw-Lg0JWx16R8xz3OfxADjwEYJTqzDO1k/edit?usp=sharing

Isolamento delle Acapella

Consulta questa sezione per ulteriori informazioni sull'isolamento delle voci.
Dove trovare le voci?
Nel server Discord di AI Hub, nella sezione #voice-models, è disponibile una vasta collezione di voci diverse da cercare.
https://discord.gg/aihub

In alternativa, puoi consultare il elenco archivio di RVC, che tiene traccia automaticamente delle statistiche di download di Colab in modo da poter vedere quali modelli vocali sono più popolari. (Kanye, Dio, Weeknd, Mr Krabs, Gura, Jschlatt, ecc...)
RVC Archive Sheet

Per la versione italiana invece cliccare qui.

Come utilizzare effettivamente RVC?

Come creare cover musicali con l'IA (RVC, con crepe)
Questa guida ^ spiega come utilizzare i modelli vocali, cosa fanno le impostazioni e come mixarli correttamente in copertine complete in seguito (utilizzando le impostazioni di base di Audacity.

Tieni presente che l'implementazione ufficiale di Crepe sembra avere prestazioni inferiori rispetto a Mangio-Crepe, ma puoi comunque provarlo se lo desideri. Consiglio generalmente harvest o mangio-crepe con un hop size modificato. L'opzione hop size non funziona con Crepe ufficiale, e ho riscontrato risultati scadenti dall'addestramento con l'opzione Crepe ufficiale finora.

Ecco una mini guida che spiega l'isolamento vocale UVR in modo un po' più dettagliato.
https://youtu.be/ITNeuOarHHw

Opzioni di Conversione Vocale, Spiegate:

ss

Più basso imposti questo valore, più catturerà l'intervallo di volume originale della canzone originale.
Un valore di 1,0 sarà altrettanto forte durante l'intera conversione; 0 lo farà imitare il range di volume dell'originale il più possibile. Consiglio di impostare questa impostazione di volume su un valore decentemente basso, come 0.25 o 0.2.

Impostazione Trasposizione / Tono:
-12 o 12 rimarranno nella tonalità originale ma ad ottave diverse. Buono per differenze estreme, come un cantante maschio che canta una canzone cantata da una cantante femminile. Per differenze più sottili, -5 e -7 sono le impostazioni meno dissonanti, in quanto rappresentano rispettivamente la quarta e la quinta giusta, ma potrebbero comunque sembrare "fuori posto".

ss

Questo valore ^ controlla quanto influenza il file .index sull'output del modello vocale.
(L'index controlla principalmente l'accento per il modello).

Se il dataset del tuo modello non è molto lungo o di alta qualità (o entrambi), dovresti impostare questo valore più basso, e se è un modello di alta qualità, puoi permetterti di alzarlo leggermente. In generale, il valore consigliato sarebbe compreso tra 0,6 e 0,75 e ridurlo se ritieni che sia veramente necessario.

ss

Questa opzione non è rilevante per la maggior parte degli utenti. Consiglierei di ignorarla.
EDIT: È anche rotta ahah. Non toccarla.

ss

Le opzioni in cima si riferiscono ai metodi di rilevamento del tono. In generale, la migliore opzione è crepe (in particolare mangio-crepe) a 128, e consiglierei quella, un hop size più basso o harvest, per la maggior parte dei casi.

Modifica: Sembra che mangio-crepe sia il migliore quando si desiderano voci "più morbide" (che è la maggior parte del canto e alcune parti di rap), mentre harvest potrebbe essere migliore quando si ha bisogno di più "ruvidità" o "chiarezza" nella voce, ad esempio in rap veloce (pensa a Andre 3k/JID/Eminem). Harvest potrebbe visualmente presentare degli errori nel colab, ma alla fine completerà e il file WAV sarà nella cartella TEMP nonostante l'errore visivo; tienilo presente.
Dovresti sperimentare per vedere quale suono sia migliore per la tua canzone specifica se non sei sicuro, ma direi che crepe di mangio è ancora il migliore in generale.

La lunghezza dell'hop di crepe controlla con quale frequenza vengono controllati i cambi di tono in millisecondi quando si utilizza crepe specificamente.
Più alto è il valore, più veloce è la conversione, ma c'è meno precisione di tono.

Il valore predefinito è 128, quindi significa che controlla approssimativamente 8 volte al secondo i cambi di tono.
Qualsiasi valore inferiore a 64 è quasi sempre inutile secondo i miei test. Inizia con 128 e riduci se pensi che sia necessario. Aumentalo se pensi che essere leggermente meno preciso sul tono possa aiutare a ottenere un risultato finale migliore (sì, può succedere; ho notato che ~160-200 può essere utile in alcuni casi, alcune persone preferiscono 192).

Crepe-tiny è semplicemente una versione più veloce, ma di qualità inferiore di crepe.

Suggerimenti avanzati per la conversione

Segmentazione vocale

ss

Se hai lunghi periodi di silenzio o una canzone lunga, esportare separatamente basandosi su pezzi vocali e unire manualmente in seguito può aiutare a migliorare il risultato finale, anche se l'effetto può essere sottile (dipende dalla quantità di silenzio). Puoi facilmente segmentare in Audacity con CTRL+I e quindi allineare perfettamente ogni pezzo in seguito.

Come l'inclusione di lunghi periodi di silenzio ha influenzato negativamente la qualità: link al video
Come l'esecuzione dei pezzi separatamente in grandi blocchi ha migliorato la qualità: link al video

Questa è l'unico modo per eseguire correttamente le conversioni Harvest su Colab senza incorrere in errori visivi di Gradio. Ma questo aiuta anche sia mangio-crepe che harvest.

ss

La modalità di filtraggio mediano influisce solo sul filtraggio del pitch in modalità harvest, se ricordo bene. Un valore più alto produce un output più "sfocato". Tuttavia, sembra anche essere un effetto sottile.

Isolamento vocale

  • UltimateVocalRemover: può essere eseguito localmente su PC potenti o tramite le pagine di RVC Google Colab alla fine. I modelli vocali migliori per uso generale sono Kim vocal 1 o Inst HQ 1. Kim vocal 2 a volte isola parti non vocali, ma in generale può suonare meglio (puoi eseguirlo e quindi utilizzare un modello di karaoke dopo per gestire questo, a volte). Piccola spiegazione video di UVR: link al video
  • MVSEP.com: un'applicazione web totalmente gratuita, ma la coda può essere lunga. Mi è stato detto che MDX B è l'opzione migliore per l'isolamento vocale, ma non l'ho usata personalmente.
  • Vocalremover.org o X-minus.pro: queste opzioni non sono di alta qualità, ma possono fare il lavoro rapidamente. Vocalremover.org non ha opzioni per rimuovere l'eco, e X-minus.pro, se non sbaglio, nemmeno.

Rimozione dell'eco / riverbero

È necessario rimuovere l'eco / riverbero dalla canzone per ottenere i migliori risultati. Idealmente, si dovrebbe avere il minor riverbero possibile nella traccia originale, poiché isolare il riverbero può ridurre la qualità della voce. Tuttavia, se è necessario farlo, sotto MDX-Net puoi trovare "Reverb HQ", che esporterà l'audio privo di riverbero come opzione "No Other". Spesso, questo non è sufficiente. Se ciò non ha sortito alcun effetto (o semplicemente non ha fatto abbastanza), puoi provare a elaborare l'output vocale attraverso i modelli di architettura VR in UVR per rimuovere l'eco e il riverbero residui utilizzando "De-Echo-DeReverb". Se anche questo non fosse sufficiente, puoi utilizzare il modello "De-Echo normal" sull'output, che è il modello di rimozione dell'eco più aggressivo di tutti.

Esiste anche un colab per i modelli di architettura VR se non vuoi eseguire UVR in locale o non puoi farlo. Non ho idea di come utilizzarlo, quindi buona fortuna. Il colab principale di RVC ha anche i modelli MDX-Net di UVR (quindi Kim vocal) alla fine. Senza una buona GPU sul tuo PC, UVR funzionerà comunque localmente nella maggior parte dei casi, ma sarà piuttosto lento, se sei d'accordo con questo. Tuttavia, se hai un dataset molto lungo, preparati ad eseguirlo durante la notte...

Eliminazione del rumore tramite noise gating

Mi piace applicare il noise gate ai miei file audio in Audacity per rimuovere il rumore nelle parti super silenziose dell'audio. Di solito, -40 dB è una buona soglia per questo.

ss

Probabilmente Adobe Audition ha strumenti più avanzati per farlo automaticamente (non so come utilizzarli), ma questa è una buona impostazione predefinita per chi utilizza una semplice miscelazione con Audacity. Se viene interrotta a metà frase, ripetere l'operazione aumentando il valore di "Hold ms". Eventualmente, è possibile anche ridurre la soglia del noise gate a -35 dB o meno, se necessario.

Isolamento delle armonie di sfondo / doppie voci

In alcuni casi, è difficile isolare queste parti senza che ne risenta la qualità del suono. Tuttavia, se desideri comunque provarci, i migliori modelli UVR per farlo sono "5HP Karaoke" (modello di architettura VR) o "Karaoke 2" (MDX-Net). Suppongo che "6HP" sia una versione più aggressiva di "5HP", ma non ne sono sicuro. Potresti voler provare altre opzioni di karaoke a meno che non sia proprio impossibile farlo funzionare in nessun modo.

Edit
Pub: 12 Jul 2023 14:34 UTC
Edit: 14 Jul 2023 23:41 UTC
Views: 1718