winninghealth
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -78,6 +78,11 @@ generated_ids = [
|
|
78 |
]
|
79 |
|
80 |
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
|
|
|
|
|
|
|
|
|
|
81 |
```
|
82 |
|
83 |
- **注意:** WiNGPT-Babel 默认系统提示词仅为:“中英互译下面的内容”。模型会自动根据用户的输入翻译成对应的语言,无需其他复杂的指令。支持的最大长度8192,且具备多轮对话的能力。
|
|
|
78 |
]
|
79 |
|
80 |
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
81 |
+
```
|
82 |
+
|
83 |
+
快速使用 llama.cpp 推理示例
|
84 |
+
```
|
85 |
+
llama-cli -m WiNGPT-Babel-Q4_K_M.gguf -co -i -if -p "<|im_start|>system\n中英互译下面的内容<|im_end|>\n" --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -fa -ngl 80 -n 512
|
86 |
```
|
87 |
|
88 |
- **注意:** WiNGPT-Babel 默认系统提示词仅为:“中英互译下面的内容”。模型会自动根据用户的输入翻译成对应的语言,无需其他复杂的指令。支持的最大长度8192,且具备多轮对话的能力。
|