Update README_zh-CN.md
Browse files- README_zh-CN.md +16 -13
README_zh-CN.md
CHANGED
@@ -1,26 +1,29 @@
|
|
1 |
-
# **NanoTranslator-
|
2 |
|
3 |
[English](README.md) | 简体中文
|
4 |
|
5 |
## Introduction
|
6 |
|
7 |
-
这是 NanoTranslator 的 Small 型号,目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
|
8 |
|
9 |
|
10 |
-
| Size |
|
11 |
-
| :--: | :-----: | :--: | :--: | :--: |
|
12 |
-
| XL |
|
13 |
-
| L |
|
14 |
-
|
|
15 |
-
|
|
|
|
|
|
16 |
|
|
|
17 |
- **V.** - vocab size
|
18 |
- **H.** - hidden size
|
19 |
- **I.** - intermediate size
|
20 |
- **L.** - num layers
|
21 |
-
- **
|
22 |
-
- **
|
23 |
-
- **Tie
|
24 |
|
25 |
|
26 |
|
@@ -38,7 +41,7 @@ Prompt 格式如下:
|
|
38 |
import torch
|
39 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
40 |
|
41 |
-
model_path = 'Mxode/NanoTranslator-
|
42 |
|
43 |
tokenizer = AutoTokenizer.from_pretrained(model_path)
|
44 |
model = AutoModelForCausalLM.from_pretrained(model_path)
|
@@ -75,7 +78,7 @@ print(response)
|
|
75 |
|
76 |
根据实际测试,使用 ONNX 模型推理会比直接使用 transformers 推理要**快 2~10 倍**。
|
77 |
|
78 |
-
如果希望使用 ONNX 模型,那么你需要手动切换到 [onnx 分支](https://huggingface.co/Mxode/NanoTranslator-
|
79 |
|
80 |
参考文档:
|
81 |
|
|
|
1 |
+
# **NanoTranslator-XS**
|
2 |
|
3 |
[English](README.md) | 简体中文
|
4 |
|
5 |
## Introduction
|
6 |
|
7 |
+
这是 NanoTranslator 的 **X-Small** 型号,目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
|
8 |
|
9 |
|
10 |
+
| Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
|
11 |
+
| :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: | ---- | ---- | :--: |
|
12 |
+
| XL | 100 | LLaMA | SwiGLU | 16000 | 768 | 4096 | 8 | 24 | 8 | True |
|
13 |
+
| L | 78 | LLaMA | GeGLU | 16000 | 768 | 4096 | 6 | 24 | 8 | True |
|
14 |
+
| M2 | 22 | Qwen2 | GeGLU | 4000 | 432 | 2304 | 6 | 24 | 8 | True |
|
15 |
+
| M | 22 | LLaMA | SwiGLU | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
|
16 |
+
| S | 9 | LLaMA | SwiGLU | 4000 | 168 | 896 | 16 | 12 | 4 | True |
|
17 |
+
| XS | 2 | LLaMA | SwiGLU | 2000 | 96 | 512 | 12 | 12 | 4 | True |
|
18 |
|
19 |
+
- **P.** - Parameters (in million)
|
20 |
- **V.** - vocab size
|
21 |
- **H.** - hidden size
|
22 |
- **I.** - intermediate size
|
23 |
- **L.** - num layers
|
24 |
+
- **A.H.** - num attention heads
|
25 |
+
- **K.H.** - num kv heads
|
26 |
+
- **Tie** - tie word embeddings
|
27 |
|
28 |
|
29 |
|
|
|
41 |
import torch
|
42 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
43 |
|
44 |
+
model_path = 'Mxode/NanoTranslator-XS'
|
45 |
|
46 |
tokenizer = AutoTokenizer.from_pretrained(model_path)
|
47 |
model = AutoModelForCausalLM.from_pretrained(model_path)
|
|
|
78 |
|
79 |
根据实际测试,使用 ONNX 模型推理会比直接使用 transformers 推理要**快 2~10 倍**。
|
80 |
|
81 |
+
如果希望使用 ONNX 模型,那么你需要手动切换到 [onnx 分支](https://huggingface.co/Mxode/NanoTranslator-XS/tree/onnx)并从本地加载。
|
82 |
|
83 |
参考文档:
|
84 |
|