LoRAキャプション編集の話

ブルマ体操服LoRA v2.0メモ
https://civitai.com/models/22732/true-buruma

層別学習が実装されて今後意味なくなっていくかもだけど
＊正則化画像を用いない方法について語っています＊

衣装用・改マルゼン式の提案

• マルゼン式のタグメソッド「ターゲット,除外要素1,除外要素2,...」は少し脇に置いておく
• キャプションtxtに記載されたタグはすべて作成LoRAの影響下に入る
• 逆にLoRAが、記載タグの概念に影響されることもある（特に学習不足の場合）
• タグ群に学習成果の重みが分散されるため、タグは減らさないとうまく動作しない（仮説）

V1.0での失敗

キャプション設定(caption_extension)をしていなくて一切キャプションの効いていないLoRAになってしまった。
つまりターゲットワードのburumaに全ての学習概念がまとめられてしまっていた。
ただ、出力画像は破綻なくとても良くまとまっていた。

V1.0に寄せられた不具合

• 不具合A　カメラ制御ができない
• 不具合B　一部モデルにて、ポジ側プロンプトにnsfwを重く入れるとブルマが消える
• 不具合C　半脱ぎがうまくできない（作者自身の不満）

V2.0作成開始

まずはキャプションを有効化した。

不具合Aへの対処：カメラ位置とフレーミングのタグを念入りに追加→成功

不具合Bへの対処：nsfwタグを追加。
ただし入れ過ぎると今度はsfw傾向のモデルでブルマが描かれなくなる恐れがあるので
主観でエッチだと思う学習画像に入れた。タグ位置も調整した

→BOM（Gape遺伝子あり）でおちんちんが深く挿さる様になったのでたぶん成功

問題発生

キャプションは効くようになったがプロンプトで演技をさせようとすると絵が破綻する事が多くなった。
体操服が千切れたり手足が増えたり、靴下がぐちゃぐちゃしたり。

そこで思い出した。全部burumaにまとめちゃっていたv1は絵が崩れていなかった。
よっしゃタグ削ろう。

キャプションタグを減らす

モデルさんの風貌に関するタグは全部消す(short_hair, black_hair等)
背景タグはindoors,outdoors,白黒_background,grassぐらいの括りでまとめる
grassを残したのは該当素材が数十点に及ぶのと、
学習不足のときにやたら芝生が生えてきたため。

手の演技も体操服ブルマと関係ないので全部消す。
足の演技もspread legs以外消す。

もっと減らす

試作LoRAのInfoを見ながら、1,2個ていどしか無いタグも容赦なく消した。
kneehighsが出力画像でぐちゃぐちゃしていたが、消したら直った。
タグ数個ごときで学習させても逆効果みたい。

(左右で長さが違うkneehighs)

除外要素がなくなってええんか？

除外が効いていないのは単純に素材不足や学習不足が原因な気がした。
そもそも私には優秀な素材群があるのだ…。
LoRA Block Weightで後から除外できるし。

残したタグ

• ターゲット　buruma,gym_uniform
• カメラ位置系
• フレーミング系　full_bodyからclose-up,ass_focusまで
• まとめた背景系
• 姿勢系の一部　standing,spread legs等。lyingは重力の向きの差だけなんで消し
• nsfw
• 1girl,solo　引きの絵だけに入れた
• faceless　マスク姿が多く出るというレポがあったので。ぼかした顔をそう学習したっぽいので除外要素として
• 白黒socks,sneakers
• tighs（太もも）burumaと接続し位置を決める基準パーツなので。華奢にしたければネガ側に入れると効く
• ass,cameltoe,crotch等のフェチポイント
• 使いそうなシチュ系　clothes_lift,masturbation等

タグの順番も素材ごとに考慮。学習時のシャッフル設定は無し
最終的なタグ群はLoRAファイルのInfoマークで見れる。
学習素材100点以上でこのタグ数は少ないと思う

clothes liftが破綻する

めくってもめくっても下から新たな体操着が出現したり、切れ端が出たり。

→素材のゴリ押しでほぼ解決。へそ出し状態の素材を8点くらい追加。
また上半身が裸であるならば、たくし上げていなくてもclothes_liftタグを入れた。
ちょっと論旨から逸れるけど、Learning Rateを細かくしたりOptimizerを変えたりするのも効果があった。

副次的効果として、なぜかbraが共存できるようになった。
v1ではほとんど無理だったので嬉しい

clothes liftとmasturbationが競合

体操着をめくっているのに腕周辺の素肌に体操着の破片が出現した。
全ての学習素材が、体操服を着た状態でmasturbationしているものだからと思われる。

よくよく考えたらブルマや体操服とは関係ない所作なので
手の演技はCheckpoint側に任せる事にして、masturbationタグは削除。

素材画像の加工

あんまりやってない。

• モデルさんの顔をぼかす
• トリミング。学習の妨げになるものが映っていた場合。特にセーラー服など衣装違い。
  除外タグを余計に入れるよりも画面から抜いてしまったほうがベター
• 人物と背景の境界が曖昧なものは最初から避けた。
  特に体操服が白いため白飛び背景と混ざる。それでも採用したかったものは背景を黒で塗りつぶした

その他

最初pantiesを残していたらburumaの形状に影響してしまった。→削除

2girlsな素材を5%ほど入れたところ、1girlと入れても頻繁に二人出てくる様になった。
しかも常に密着していて距離を取らない。百合勢の理想だけど流石に制御できない要素は削除。

パンティがはみ出ているアレを表現しようとして素材を数枚入れたらパンティの破片が散らばってしまった。

（線状のもの。良く見るとパンティも描かれている）

はみパン写真だけを別フォルダに入れ、繰り返し回数を増やしてみる事も考えたが
そうすると今度はブルマの形状（股とお尻と土手にきっちりフィットした状態）を
歪めてしまう可能性があったので見送り。
同様にburuma_pullも素材はあったが見送り。

パンティラインLoRAを作って下さったニキは神。

タグを色々復活させる

掲示板でのやりとりを拝見していて「あれ？このLoRAとキャラクターLoRAとの相性はどうなの？」と思った。
タグ編集の際にモデルさんの特徴を全部buruma概念に逃してしまったため、
例えば金髪キャラを描こうとしてもモデルさんの髪色（黒か茶）が流し込まれてしまう。
これはもしかするとまずいのでは。→おおんやっぱりそうみたい。
急遽、髪色と髪の長さのタグを再度挿入。

…あ、てことは胸の大きさもか。巨乳ユーザーの方から胸が盛れないってご意見もらったっけ。
→体操服着衣状態の素材にもsmall_breasts挿入。
→胸を盛れるようになりました。

おまけ　低VRAM RTX2060 6GBでの学習設定

特にこれをやらないと動かなかった項目

• Train Batch Size 1
• Mixed precision None
• Optimizer AdamW8bit
  Network Rank (Dimension) 17
  Network Alpha 8 (dimの半分)
• Optimizer AdamW
  Network Rank (Dimension) 9
  Network Alpha 4

それと、特定のpixelサイズの画像を含む、
またはおそらくpixelサイズのバリエーションが多すぎるとOut of Memoryで落ちる。
学習設定を盛りすぎた時のエラーログと全く一緒なので原因の特定に苦労した。