Retrieval-based-Voice-Conversion(RVC)の使い方

まず、https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/RVC-beta.7z をダウンロードし解凍してください。
次に必要なライブラリをインストールするため、
https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI/blob/main/requirments.txt 
よりrequirmentsをダウンロードしてpip install してください。

一通りインストールが終了したら、go-web.batを起動してください。
しばらく待つと、URLが表示されますので、ブラウザでURLを開きます。

訓練

  • step1
    训练タブを開きます。
    step1内にある、输入实验名へ変換したいボイスのタイトル(話者名など)を入力します。(特に無ければvoice1とかでも良いと思います。)
    目标采样率内で、サンプリング周波数を選びます。ここで指定した周波数へ教師データは変換されます。基本的に数字が大きければ音質は良くなると言われていますがストリーミング再生等用途によって使い分ける必要があります。今回はデフォルトの40kで作業を進めていきます。
  • step2a
    step2a内にある、输入训练文件夹路径へ教師データの保存先を指定します。 例C:\Users\Desktop\voice~など
    ※教師データは連番にして2秒~15秒くらいでたくさん用意しておくと良いと思います。今回は656ファイル、計1時間程度の教師データを用意しました。
     今回の話者名はvoice1なので
     voice1-1_1.wav
     voice1-1_2.wav
     voice1-1_3.wav などにしておくと良いと思います。
    请指定说话人idは話者IDとなります。これはso-vitsでは話者を複数学習する際に使用していましたが、今回は1人なので0で大丈夫です。
    上記作業を終えたらstep2a右側にある处理数据を押します。これで教師データが先ほど指定したサンプリング周波数へ変換されます。(ここでは40k)
  • step2b
    以-分隔输入使用的卡号はおそらく使用するGPUの番号、ここでは0を選択します。
    显卡信息は使用するGPUを選択します。
    提取音高使用的CPU进程数は自分のCPUのスレッド数に合わせた数値を使用しましょう。
    选择音高提取算法:输入歌声可用pm提速,高质量语音但CPU差可用dio提速,harvest质量更好但慢では、pm、harvest、dioがあります。
    pm→歌声の変換に最適?harvestより高速
    harvest→もっとも高音質、特に理由がなければこれで良さそう。
    dio→変換がもっとも高速、品質は良くない。

    上記作業を終えたらstep2b右側にある特征提取を押します。これでデータの抽出が始まります。
  • step3
    save_every_epoch→何エポックごとに学習モデルの途中経過を出力するかの設定。途中経過も見たい方はお好みで数字を小さくすれば良いと思います。
    total_epoch→何エポックまで学習するか。私はso-vits時、650ファイル400エポックで学習していたので今回はGUIの上限である100エポックで行っています。
    batch_size→VRAMによって調整します。RTX3060なら10、16GB以上のVRAMであれば12↑、RTX3070等であれば6~8がおすすめです。
    是否仅保存最新的ckpt文件以节省硬盘空间→最新のファイルのみを保存するかどうかを選択、お好みで。
    是否缓存所有训练集至显存。10min以下小数据可缓存以加速训练,大数据缓存会炸显存也加不了多少速→今回は否(いいえ)で進めます。
    (すべてのトレーニング セットをビデオ メモリにキャッシュするかどうか。 10 分未満の小さなデータはキャッシュしてトレーニングを高速化できますが、大きなデータ キャッシュはビデオ メモリを使い果たし、速度はあまり向上しません。)とのことなので、教師データによっては高速化できるかも。
    加载预训练底模G路径・加载预训练底模D路径→so-vitsでいうところのG_0.pth、D_0.pth等の事前学習モデル。
    上記手法で進めてきていれば、C:\Users\Desktop\RVC-beta\pretrained内にそれぞれ周波数ごとのモデルが並んでいるので、
    今回は、40kなので
    加载预训练底模G路径→pretrained/f0G40k.pth
    加载预训练底模D路径→pretrained/f0D40k.pthと入力する。
    以-分隔输入使用的卡号,例如 0-1-2 使用卡0和卡1和卡2→ここでは0を選択。
    上記作業を終えたら右側にある训练模型を押して学習開始。
    学習完了後に完成したモデルがweightsフォルダへ出力される。途中経過はlogsフォルダへ格納されている。

変換
模型推理のタブを開きます。

  • 刷新音色列表
    話者を選択するため、刷新音色列表を押して話者リストを更新します。
    続いて、推理音色から更新したリストを表示します。
    weightsフォルダより更新しているため、先ほど学習したvoice1が選べるようになるはずです。
  • 变调
    男声を女声へ変換する場合は+12、女声を男声へ変換する場合は-12がおすすめです。
  • 输入待处理音频文件路径
    ここへ変換元の音源のパスを入力します。
    デフォルトであれば、冬之花のパスが入力されていると思いますのでお好みで音源探して変更してください。
  • 选择音高提取算法,输入歌声可用pm提速,harvest低音好但巨慢无比
    pmかharvestを選びます。
    特に理由がなければharvestで良いと思います。
  • 変換
    右側の转换ボタンを押します。
    変換が終了すると右側にプレイヤーが表示され変換結果を再生できると思います。
    その横の︙ボタンで変換した音声がダウンロードできます。
Edit

Pub: 06 Apr 2023 04:56 UTC

Edit: 08 Apr 2023 07:52 UTC

Views: 774