Update README.md
Browse files
README.md
CHANGED
@@ -39,7 +39,7 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
|
|
39 |
- 推論による出力のkeyは “task_id”, “input”, “output”
|
40 |
|
41 |
4. 推論方法
|
42 |
-
- Hugging FaceのID
|
43 |
で元のモデルをロードする。
|
44 |
- そして model = PeftModel.from_pretrained( … adaptor_id … )によって元のモデルとLoRAのアダプターを結合し、そのモデルのモードを FastLanguageModel.for_inference(model) によって推論モードに変更する。
|
45 |
- 入力を”””###\n 指示 入力 \n### 回答\n”””の形式にしてトークン化し、model.generate( “input_ids”: …, “attention_mask”: …, …) によってpredictionを行い、それをdecodeして出力とする。
|
|
|
39 |
- 推論による出力のkeyは “task_id”, “input”, “output”
|
40 |
|
41 |
4. 推論方法
|
42 |
+
- Hugging FaceのIDは model_id = "llm-jp/llm-jp-3-13b”, adapter_id = "kazuHF/llm-jp-3-13b-it2_lora" と指定し、FastLanguageModel.from_pretrained( … model_id … )
|
43 |
で元のモデルをロードする。
|
44 |
- そして model = PeftModel.from_pretrained( … adaptor_id … )によって元のモデルとLoRAのアダプターを結合し、そのモデルのモードを FastLanguageModel.for_inference(model) によって推論モードに変更する。
|
45 |
- 入力を”””###\n 指示 入力 \n### 回答\n”””の形式にしてトークン化し、model.generate( “input_ids”: …, “attention_mask”: …, …) によってpredictionを行い、それをdecodeして出力とする。
|