複数衣装のLoRAを作るメモ

今回はにじさんじの椎名唯華で複数衣装に対応できるLoRAを作る。
通常、ゲームの日、5万人記念、20万人記念、メイド衣装(ツインテ&ロングヘアー)、水着衣装(ポニーテール&ミディアムヘアー)夏制服衣装、私服衣装の差分を含めた12パターンの衣装を学習させる。

タグ付け

まずは描かれているオブジェクトごとに分類しタグ付けをしていく。
最終的には下記のタグに決定したが1度で正確なタグを選択できるわけではなく、各衣装ごとにテストしタグを決定していく。
テストでは容量が少ないLokrを使用した。dimを高く設定したとしても5mbしかないため扱いやすい。
失敗例1
"hoodie"と組み合わせると沙花叉になる。
おそらく"hair clip"を省略しているため、髪の毛の一部と認識→"hoodie"との組み合わせで沙花叉が出力されるのだろう。
""hair clip"を省略しているのはそれぞれの衣装で異なるため、競合を避けるように髪型と一緒に覚えさせている。
学習時に"black sweater"で覚えさせて生成時に"black sweater, hoodie"を入力することで解決した。
Image
失敗例2
失敗というわけではないが、Taggerでつけられたタグよりも、概念の近いタグをつけることで精度が上がることもある。
左がgrey jacketで学習した生成結果、右がletterman jacketで学習した生成結果
Image

最終的に使用したタグ一覧

共通

white hair, pink eyes

通常

low ponytail, brown cardigan, red skirt
low ponytail, brown cardigan

ゲームの日

low ponytail, black sweater, short shorts

5万人記念

white kimono, red hakama, cat ears, long hair

20万人記念

twin braids, swept bangs, black headwear, black dress, ofuda, holding object

メイド衣装

twintails, cat ears, maid headdress, enmaided
long hair, cat ears, maid headdress, enmaided

水着衣装

medium hair, blunt bangs, straw hat, frilled bikini, necklace
medium hair, blunt bangs, frilled bikini, necklace
medium hair, blunt bangs, t-shirt, frilled bikini, bikini bottom only, necklace
medium hair, blunt bangs, straw hat, t-shirt, frilled bikini, bikini bottom only, necklace
long ponytail, red scrunchie, blunt bangs, t-shirt, frilled bikini, bikini bottom only, necklace
long ponytail, red scrunchie, blunt bangs, frilled bikini, necklace

夏制服衣装

low twintails, beret, school uniform

私服衣装

short twintails, letterman jacket, plaid dress, turtleneck

学習

水着衣装のみデータが少ないのと細分化されているため蒸留を使用
Image
シャツありの場合や水着の再現度が低いため、加筆やシャツの文字やネックレスは素材を作ってコピペで増やした。
Image

Image

今回学習にはAdamより軽いと聞いてLion 8itを使用。
衣装も多く、学習時間が長くなりそうだったので正則化はなしで行った。

生成結果と改善点

Image
ある程度再現度は担保できたが、いくつか改善点があった。
1.タグ付けのミス
20万人記念の帽子を"black headwear"に帽子の猫耳もまとめて学習させたため、帽子には何かが生えているものとして学習してしまった。
"beret"は"headwear"に包含されるため、beletにも影響が出てしまった。
Image
2.顔が似ない
水着衣装はデータが少なく蒸留を使用したため、顔がマスピ顔に寄ってしまった。
配信からデータを多く集める必要があった。

総括

ふつうに1つずつ学習させればいいとおもう

Edit
Pub: 12 May 2023 19:13 UTC
Edit: 12 May 2023 22:00 UTC
Views: 465