COEIROINK上で使える、テキストからの音声合成のモデルを、任意のセリフと音声のデータセットで学習するやつ

COEIROINK とは、個人が開発した、VOICEVOX(ずんだもんのやつ)やVOICEROID(ボイロ)やA.I. VOICE(琴葉姉妹・結月ゆかり等)やVOICEPEAK(東北ずん子等)みたいな、テキストからの音声合成ができるやつです、参考動画:

ボイボ等と比べた明確な強みとして、ユーザーが自分の声で学習して配布できる MYCOEIROINK という仕組みがあり、 colabノートブック が公開されています。
(それを見ると、内部はESPNetでVITSモデルを作っているようです。)

他のTTS学習とその利用に比べて、実際に利用するときにアクセント上げ下げやら抑揚やら話速やらのいろんな調整部分がGUIアプリに投げられるので、自然な発声に調整することが可能なのがすごく強いと思います。(TTSが今まで中国語訛りに聞こえるのが多かったのは、単に日本語文章をアクセント解析する際に間違ったアクセントになってしまっており、それを手動修正することが困難だったこともかなりの原因だと思っています。)

そのノートブックをちょっと改造すると任意の音声とそのセリフ書き起こしがあれば学習できるようになるので、それを共有します:
こちら
自分の音声以外・指定されたコーパス以外で作るのは規約で禁止されています。利用はすべて自己責任でお願いします、またいきなり消えるかもしれません。)
学習結果の使い方やQ&Aは 公式のMYCOEIROINKのノートブック をご参照ください。
データセット作成については この文章 が役立つかもしれない。

品質は50エポック以上でかなりよくなるらしいけど無料枠の範囲だとそこまで一気にはできない、でも上書きで学習できるっぽい?のでできるのかもしれない。
とりあえず9エポックとかのを聴いてみてもそれなりの質のものはできた。

書き起こしは faster-whisper で自動化したのを、伸ばし記号や「、」をつけたりミスを修正したりすればいい気がします。

無料枠だとかなり制限があるので、ノートブックを見ながらWSL2でやったほうが自由が効いて速いと思いますが、現在自分がグラボがない環境にあるので試していません、試し次第ここに追記するかもしれません。


9/17追記

下のやつを使えば、学習させたモデルをVOICEVOX上でも動くようにできる:
https://github.com/voicevox-bridge/bridge-plugin
(これはMYCOEに限らずESPNetで学習させたどんなモデルも使えるっぽい?)
ただしちょっと設定に手間がかかるのと、細かいピッチ調整はできないっぽくて、今のところは素直にCOEIROINK v2を使ったほうが機能は豊富そう。


10/1追記

上をベースにして、Windowsローカルで学習できるやつを作りました:
https://github.com/litagin02/vits-japros-webui
実はこのconf/config.yamlとpthファイルをぶちこめばCOEIROINKでも使えます。

Edit

Pub: 15 Sep 2023 04:47 UTC

Edit: 01 Oct 2023 04:49 UTC

Views: 696