morisato commited on
Commit
7629de6
·
1 Parent(s): 280c46b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -4
README.md CHANGED
@@ -40,12 +40,11 @@ LoRAでうまく場所の概念を学習できる方法が確立できれば日
40
  現状はLoraを適用するWeightを下げることで影響を軽減できますが、学習方法やLoRAの適用の仕方で影響を軽減することが出来ないか?と考えています。
41
 
42
  ・U-net層でWeight調整することで影響を押さえられる?
43
- 実は僕も全然よく分かってないのですが(!)
44
- 階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる(?)ことがわかってきました。
45
  例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
46
 
47
- もし、背景に大きく関与しているU-net層が分かれば、それ以外のU-net層への関与を抑えることで、既存モデルの人物描写と追加学習背景LoRAでうまく共存できないだろうか?  
48
- …と考えて、U-net層別にWeightを調節できるScripts(sd-webui-lora-block-weight:https://github.com/hako-mikan/sd-webui-lora-block-weight )を使って色々な数値を調整したXY Plot画像等を作成してみましたが…、現状では「何もわからないことがわかった」という感じです。
49
 
50
  ・学習用素材の写真をうまく調整する
51
  ・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?
 
40
  現状はLoraを適用するWeightを下げることで影響を軽減できますが、学習方法やLoRAの適用の仕方で影響を軽減することが出来ないか?と考えています。
41
 
42
  ・U-net層でWeight調整することで影響を押さえられる?
43
+ 実は僕も全然よく分かってないのですが(!)階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる(?)ことがわかってきました。
 
44
  例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
45
 
46
+ 上の方で書いたkaraokeroom:0.6といった指定はU-net全体まるごとで影響を下げる設定になりますが、もし背景に大きく関与しているU-net層が分かればそれ以外のU-net層への関与を抑えることで既存モデルの人物描写と追加学習背景LoRAがうまく共存できるのでは?と考えられます。
47
+ 実際にU-net層別にWeightを調節できるScripts(sd-webui-lora-block-weight:https://github.com/hako-mikan/sd-webui-lora-block-weight )を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「何もわからないことがわかった」という感じではっきりしたことは分かっていません。
48
 
49
  ・学習用素材の写真をうまく調整する
50
  ・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?