Mxode commited on
Commit
abae047
·
verified ·
1 Parent(s): 7e6f0ec

Update README_zh-CN.md

Browse files
Files changed (1) hide show
  1. README_zh-CN.md +13 -10
README_zh-CN.md CHANGED
@@ -7,20 +7,23 @@
7
  这是 NanoTranslator 的 **Medium** 型号,目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
8
 
9
 
10
- | Size | Params. | V. | H. | I. | L. | Att. H. | KV H. | Tie Emb. |
11
- | :--: | :-----: | :--: | :--: | :--: | :--: | :-----: | :---: | :------: |
12
- | XL | 50 M | 8000 | 320 | 1792 | 24 | 16 | 4 | True |
13
- | L | 22 M | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
14
- | M | 9 M | 4000 | 168 | 896 | 16 | 12 | 4 | True |
15
- | S | 2 M | 2000 | 96 | 512 | 12 | 12 | 4 | True |
16
-
 
 
 
17
  - **V.** - vocab size
18
  - **H.** - hidden size
19
  - **I.** - intermediate size
20
  - **L.** - num layers
21
- - **Att. H.** - num attention heads
22
- - **KV H.** - num kv heads
23
- - **Tie Emb.** - tie word embeddings
24
 
25
 
26
 
 
7
  这是 NanoTranslator 的 **Medium** 型号,目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
8
 
9
 
10
+ | Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
11
+ | :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: | ---- | ---- | :--: |
12
+ | XL | 100 | LLaMA | SwiGLU | 16000 | 768 | 4096 | 8 | 24 | 8 | True |
13
+ | L | 78 | LLaMA | GeGLU | 16000 | 768 | 4096 | 6 | 24 | 8 | True |
14
+ | M2 | 22 | Qwen2 | GeGLU | 4000 | 432 | 2304 | 6 | 24 | 8 | True |
15
+ | M | 22 | LLaMA | SwiGLU | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
16
+ | S | 9 | LLaMA | SwiGLU | 4000 | 168 | 896 | 16 | 12 | 4 | True |
17
+ | XS | 2 | LLaMA | SwiGLU | 2000 | 96 | 512 | 12 | 12 | 4 | True |
18
+
19
+ - **P.** - Parameters (in million)
20
  - **V.** - vocab size
21
  - **H.** - hidden size
22
  - **I.** - intermediate size
23
  - **L.** - num layers
24
+ - **A.H.** - num attention heads
25
+ - **K.H.** - num kv heads
26
+ - **Tie** - tie word embeddings
27
 
28
 
29