kazuHF commited on
Commit
675c96f
·
verified ·
1 Parent(s): e1dbacb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -27,7 +27,7 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
27
  1. モデル概要
28
  - ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
29
  - 用途: 日本語によるQ&A形式の文章生成
30
- - アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。UnslothFine TuningやInferenceを高速化しメモリも削減する。llm-jp/llm-jp-3-13bを4bitで量子化するLoRAでロードし、SFTで事後学習を行った。
31
 
32
  2. 事後学習の詳細
33
  - 事後学習用データにichikara-instruction-003-001-1.jsonを必要な申請を行って利用した。
 
27
  1. モデル概要
28
  - ベースモデル: llm-jp/llm-jp-3-13b (https://huggingface.co/llm-jp/llm-jp-3-13b)
29
  - 用途: 日本語によるQ&A形式の文章生成
30
+ - アーキテクチャ: FrameworkやLibraryとしてはPyTorch、Transformers、Unsloth、trl、LoRA、xformers、Flash Attentionなどを利用。UnslothによりFine TuningやInferenceを高速化し、メモリも削減した。llm-jp/llm-jp-3-13bを4bitで量子化するLoRAでロードし、SFTで事後学習を行った。
31
 
32
  2. 事後学習の詳細
33
  - 事後学習用データにichikara-instruction-003-001-1.jsonを必要な申請を行って利用した。