Update README.md
Browse files
README.md
CHANGED
@@ -40,12 +40,11 @@ LoRAでうまく場所の概念を学習できる方法が確立できれば日
|
|
40 |
現状はLoraを適用するWeightを下げることで影響を軽減できますが、学習方法やLoRAの適用の仕方で影響を軽減することが出来ないか?と考えています。
|
41 |
|
42 |
・U-net層でWeight調整することで影響を押さえられる?
|
43 |
-
|
44 |
-
階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる(?)ことがわかってきました。
|
45 |
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
|
46 |
|
47 |
-
|
48 |
-
|
49 |
|
50 |
・学習用素材の写真をうまく調整する
|
51 |
・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?
|
|
|
40 |
現状はLoraを適用するWeightを下げることで影響を軽減できますが、学習方法やLoRAの適用の仕方で影響を軽減することが出来ないか?と考えています。
|
41 |
|
42 |
・U-net層でWeight調整することで影響を押さえられる?
|
43 |
+
実は僕も全然よく分かってないのですが(!)階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる(?)ことがわかってきました。
|
|
|
44 |
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
|
45 |
|
46 |
+
上の方で書いたkaraokeroom:0.6といった指定はU-net全体まるごとで影響を下げる設定になりますが、もし背景に大きく関与しているU-net層が分かればそれ以外のU-net層への関与を抑えることで既存モデルの人物描写と追加学習背景LoRAがうまく共存できるのでは?と考えられます。
|
47 |
+
実際にU-net層別にWeightを調節できるScripts(sd-webui-lora-block-weight:https://github.com/hako-mikan/sd-webui-lora-block-weight )を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「何もわからないことがわかった」という感じではっきりしたことは分かっていません。
|
48 |
|
49 |
・学習用素材の写真をうまく調整する
|
50 |
・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?
|