File size: 1,043 Bytes
522ee00 4c496d2 522ee00 4c496d2 522ee00 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
---
license: apache-2.0
datasets:
- nicholasKluge/Pt-Corpus
language:
- pt
---
É um modelo base pré-treinado deve ser utilizado para fine tuning.
Obs: Aguardando [resultados oficiais](https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard)
| | Mistral Base PTBR | Mistral Base | Melhoria |
|------------------------------|-------------------|--------------|----------|
| assin2_rte | 90,2 | 87,74 | 2,46 |
| assin2_sts | 72,45 | 67,05 | 5,4 |
| bluex | 53,27 | 53,27 | 0 |
| enem | 64,66 | 62,42 | 2,24 |
| faquad_nli | 68,11 | 47,63 | 20,48 |
| hatebr_offensive_binary | 79,65 | 77,63 | 2,02 |
| oab_exams | 45,42 | 45,24 | 0,18 |
| portuguese_hate_speech_binary| 59,18 | 55,72 | 3,46 | |