|
--- |
|
library_name: transformers |
|
tags: |
|
- cross-encoder |
|
- sentence-transformers |
|
widget: |
|
- text: Un homme découpe un poisson en tranches. Un homme découpe un poisson. |
|
example_title: stsb example |
|
- text: >- |
|
A quelle distance de Bagdad se situe Babylone ? Babylone (akkadien : |
|
Bāb-ili(m), sumérien KÁ.DINGIR.RA, arabe بابل Bābil, araméen Babel) était |
|
une ville antique de Mésopotamie. C'est aujourd'hui un site archéologique |
|
majeur qui prend la forme d'un champ de ruines incluant des reconstructions |
|
partielles dans un but politique ou touristique. Elle est située sur |
|
l'Euphrate dans ce qui est aujourd'hui l'Irak, à environ 100 km au sud de |
|
l'actuelle Bagdad, près de la ville moderne de Hilla. À partir du début du |
|
IIe millénaire av. J.-C., cette cité jusqu'alors d'importance mineure |
|
devient la capitale d'un royaume qui étend progressivement sa domination à |
|
toute la Basse Mésopotamie et même au-delà. Elle connaît son apogée au VIe |
|
siècle av. J.-C. durant le règne de Nabuchodonosor II qui dirige alors un |
|
empire dominant une vaste partie du Moyen-Orient. Il s'agit à cette époque |
|
d'une des plus vastes cités au monde, ses ruines actuelles occupant |
|
plusieurs tells sur près de 1 000 hectares. Son prestige s'étend au-delà de |
|
la Mésopotamie, notamment en raison des monuments célèbres qui y ont été |
|
construits, comme ses grandes murailles, sa ziggourat (Etemenanki) qui |
|
pourrait avoir inspiré le mythe de la tour de Babel et ses mythiques jardins |
|
suspendus dont l'emplacement n'a toujours pas été identifié. |
|
example_title: Fquad example |
|
language: |
|
- fr |
|
--- |
|
|
|
# Model Card for Model ID |
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
|
|
## Model Details |
|
|
|
### Model Description |
|
|
|
<!-- Provide a longer summary of what this model is. --> |
|
This is a specialized cross encoder designed for French language tasks. It is based on Google's BERT (bert-base-multilingual-cased) architecture and fine-tuned on the PhilipMay/stsb_multi_mt French dataset. After 10 epochs of training, the model achieved a Pearson correlation of 0.83621 and a Spearman correlation of 0.82456 on the STS-B test set. |
|
|
|
|
|
- **Developed by:** Leviatan Research Team |
|
- **Model type:** Cross Encoder |
|
- **Language(s) (NLP):** French |
|
- **Finetuned from model [optional]:** Google's BERT (bert-base-multilingual-cased) |
|
|
|
|
|
### Results |
|
- STS-B Test Set: |
|
- Metric: CECorrelationEvaluator |
|
- Pearson: 0.83621 |
|
- Spearman: 0.82456 |
|
|
|
- Zero-Shot Test using FQuAD as Knowledge Base: |
|
- Number of questions tested: 3188 |
|
- Number of documents considered: 768 |
|
- Top 5 k@precision: 0.8563 |
|
- Top 5 MRR: 0.6898 |
|
|
|
- Comparison with dangvantuan/CrossEncoder-camembert-large: |
|
- Top 5 k@precision: 0.6688 |
|
- Top 5 MRR: 0.4131 |
