Update README.md
Browse files
README.md
CHANGED
|
@@ -30,6 +30,16 @@ TinySlime は日本語に特化した小規模言語モデルです。
|
|
| 30 |
TinySlime-1.1B-Chat-v1.0 は、TinySlime-1.1B-Chat-v1.0 をベースに、Mixtral-8x7B-Instruct-v0.1 が作成した合成データを使用して微調整されたチャットモデルです。</br>
|
| 31 |
このモデルは、スマートフォンや NVIDIA Jetson などの組み込み環境で動かすことを想定して作成されました。
|
| 32 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 33 |
## 使用方法
|
| 34 |
|
| 35 |
### インストール
|
|
|
|
| 30 |
TinySlime-1.1B-Chat-v1.0 は、TinySlime-1.1B-Chat-v1.0 をベースに、Mixtral-8x7B-Instruct-v0.1 が作成した合成データを使用して微調整されたチャットモデルです。</br>
|
| 31 |
このモデルは、スマートフォンや NVIDIA Jetson などの組み込み環境で動かすことを想定して作成されました。
|
| 32 |
|
| 33 |
+
## ベンチマーク(JP Language Model Evaluation Harness)
|
| 34 |
+
| model name | JCommonsenseQA (3-shot) | JNLI (3-shot) | MARC-ja (0-shot) | JSQuAD (2-shot) | jaqket-v2 (1-shot) | xlsum (1-shot) | xwinograd (0-shot) | mgsm (5-shot) | AVERAGE |
|
| 35 |
+
|-------------------------------------------------|-------------------------|---------------|------------------|-----------------|--------------------|----------------|---------------------|---------------|---------|
|
| 36 |
+
| lkarasu-1.1B | 24.84 | 34.78 | 50.48 | 51.33 | 18.95 | **9.21** | 62.15 | 2.80 | 31.82 |
|
| 37 |
+
| **TinySlime-Chat** | **66.49** | **64.36** | **92.68** | **84.60** | 42.14 | 7.79 | 60.69** | **9.20** | **53.50** |
|
| 38 |
+
| japanese-large-lm-3.6b-instruction-sft | 38.87 | 34.68 | 50.52 | 58.57 | 56.54 | 6.25 | 64.23 | 1.60 | 38.91 |
|
| 39 |
+
| open-calm-3b | 31.64 | 36.56 | 50.99 | 51.47 | 50.99 | 4.63 | 63.30 | 2.00 | 35.97 |
|
| 40 |
+
| bilingual-gpt-neox-4b-instruction-ppo | 50.49 | 38.90 | 88.65 | 72.82 | **65.65** | 4.69 | 64.75 | 3.80 | 48.72 |
|
| 41 |
+
| japanese-gpt-neox-3.6b-instruction-ppo | 44.59 | 35.25 | 64.34 | 58.53 | 26.67 | 3.79 | **68.72** | 3.20 | 33.26 |
|
| 42 |
+
|
| 43 |
## 使用方法
|
| 44 |
|
| 45 |
### インストール
|