File size: 913 Bytes
6c078ed 51c3f62 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
---
license: gpl-3.0
---
# **NanoTranslator-S**
## Introduction
这是 NanoTranslator 的 Small 型号，目前仅支持**英译中**。仓库中同时提供了 ONNX 版本的模型。
| Size | Params. | V. | H. | I. | L. | Att. H. | KV H. | Tie Emb. |
| :--: | :-----: | :--: | :--: | :--: | :--: | :-----: | :---: | :------: |
| XL | 50 M | 8000 | 320 | 1792 | 24 | 16 | 4 | True |
| L | 22 M | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
| M | 10 M | 4000 | 176 | 960 | 16 | 16 | 4 | True |
| S | 2 M | 2000 | 96 | 512 | 12 | 12 | 4 | True |
- **V.** - vocab size
- **H.** - hidden size
- **I.** - intermediate size
- **L.** - num layers
- **Att. H.** - num attention heads
- **KV H.** - num kv heads
- **Tie Emb.** - tie word embeddings
## How to use
### Normal
### ONNX
|