metadata
license: gpl-3.0
NanoTranslator-S
Introduction
这是 NanoTranslator 的 Small 型号，目前仅支持英译中。仓库中同时提供了 ONNX 版本的模型。
| Size | Params. | V. | H. | I. | L. | Att. H. | KV H. | Tie Emb. |
|---|---|---|---|---|---|---|---|---|
| XL | 50 M | 8000 | 320 | 1792 | 24 | 16 | 4 | True |
| L | 22 M | 8000 | 256 | 1408 | 16 | 16 | 4 | True |
| M | 10 M | 4000 | 176 | 960 | 16 | 16 | 4 | True |
| S | 2 M | 2000 | 96 | 512 | 12 | 12 | 4 | True |
- V. - vocab size
- H. - hidden size
- I. - intermediate size
- L. - num layers
- Att. H. - num attention heads
- KV H. - num kv heads
- Tie Emb. - tie word embeddings