Update README.md
Browse files
README.md
CHANGED
@@ -27,7 +27,7 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
27 |
1. モデル概要
|
28 |
- ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
|
29 |
- 用途: 日本語によるQ&A形式の文章生成
|
30 |
-
- アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。Unsloth
|
31 |
|
32 |
2. 事後学習の詳細
|
33 |
- 事後学習用データにichikara-instruction-003-001-1.jsonを必要な申請を行って利用した。
|
|
|
27 |
1. モデル概要
|
28 |
- ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
|
29 |
- 用途: 日本語によるQ&A形式の文章生成
|
30 |
+
- アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。UnslothによりFine TuningやInferenceを高速化し、メモリも削減した。llm-jp/llm-jp-3-13bを4bitで量子化するLoRAでロードし、SFTで事後学習を行った。
|
31 |
|
32 |
2. 事後学習の詳細
|
33 |
- 事後学習用データにichikara-instruction-003-001-1.jsonを必要な申請を行って利用した。
|