Update README.md
Browse files
README.md
CHANGED
@@ -24,7 +24,7 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
24 |
|
25 |
# ■ kazuHF/llm-jp-3-13b-it2_loraの概要
|
26 |
|
27 |
-
1.
|
28 |
- ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
|
29 |
- 用途: 日本語によるQ&A形式の文章生成
|
30 |
- アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。UnslothによりFine TuningやInferenceを高速化し、メモリも削減した。llm-jp/llm-jp-3-13bを4bitで量子化するLoRAでロードし、SFTで事後学習を行った。
|
|
|
24 |
|
25 |
# ■ kazuHF/llm-jp-3-13b-it2_loraの概要
|
26 |
|
27 |
+
1. モデルの概要
|
28 |
- ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
|
29 |
- 用途: 日本語によるQ&A形式の文章生成
|
30 |
- アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。UnslothによりFine TuningやInferenceを高速化し、メモリも削減した。llm-jp/llm-jp-3-13bを4bitで量子化するLoRAでロードし、SFTで事後学習を行った。
|