winninghealth commited on
Commit
117e0e1
·
verified ·
1 Parent(s): f0c841c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -0
README.md CHANGED
@@ -78,6 +78,11 @@ generated_ids = [
78
  ]
79
 
80
  response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
 
 
 
 
 
81
  ```
82
 
83
  - **注意:** WiNGPT-Babel 默认系统提示词仅为:“中英互译下面的内容”。模型会自动根据用户的输入翻译成对应的语言,无需其他复杂的指令。支持的最大长度8192,且具备多轮对话的能力。
 
78
  ]
79
 
80
  response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
81
+ ```
82
+
83
+ 快速使用 llama.cpp 推理示例
84
+ ```
85
+ llama-cli -m WiNGPT-Babel-Q4_K_M.gguf -co -i -if -p "<|im_start|>system\n中英互译下面的内容<|im_end|>\n" --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -fa -ngl 80 -n 512
86
  ```
87
 
88
  - **注意:** WiNGPT-Babel 默认系统提示词仅为:“中英互译下面的内容”。模型会自动根据用户的输入翻译成对应的语言,无需其他复杂的指令。支持的最大长度8192,且具备多轮对话的能力。