metadata

library_name: transformers
tags:
  - cross-encoder
  - sentence-transformers
widget:
  - text: Un homme découpe un poisson en tranches. Un homme découpe un poisson.
    example_title: stsb example
  - text: >-
      A quelle distance de Bagdad se situe Babylone ? Babylone (akkadien :
      Bāb-ili(m), sumérien KÁ.DINGIR.RA, arabe بابل Bābil, araméen Babel) était
      une ville antique de Mésopotamie. C'est aujourd'hui un site archéologique
      majeur qui prend la forme d'un champ de ruines incluant des
      reconstructions partielles dans un but politique ou touristique. Elle est
      située sur l'Euphrate dans ce qui est aujourd'hui l'Irak, à environ 100 km
      au sud de l'actuelle Bagdad, près de la ville moderne de Hilla. À partir
      du début du IIe millénaire av. J.-C., cette cité jusqu'alors d'importance
      mineure devient la capitale d'un royaume qui étend progressivement sa
      domination à toute la Basse Mésopotamie et même au-delà. Elle connaît son
      apogée au VIe siècle av. J.-C. durant le règne de Nabuchodonosor II qui
      dirige alors un empire dominant une vaste partie du Moyen-Orient. Il
      s'agit à cette époque d'une des plus vastes cités au monde, ses ruines
      actuelles occupant plusieurs tells sur près de 1 000 hectares. Son
      prestige s'étend au-delà de la Mésopotamie, notamment en raison des
      monuments célèbres qui y ont été construits, comme ses grandes murailles,
      sa ziggourat (Etemenanki) qui pourrait avoir inspiré le mythe de la tour
      de Babel et ses mythiques jardins suspendus dont l'emplacement n'a
      toujours pas été identifié.
    example_title: Fquad example
language:
  - fr

Model Card for Model ID

Model Details

Model Description

This is a specialized cross encoder designed for French language tasks. It is based on Google's BERT (bert-base-multilingual-cased) architecture and fine-tuned on the PhilipMay/stsb_multi_mt French dataset. After 10 epochs of training, the model achieved a Pearson correlation of 0.83621 and a Spearman correlation of 0.82456 on the STS-B test set.

Developed by: Leviatan Research Team
Model type: Cross Encoder
Language(s) (NLP): French
Finetuned from model [optional]: Google's BERT (bert-base-multilingual-cased)

Results

STS-B Test Set:
- Metric: CECorrelationEvaluator
  - Pearson: 0.83621
  - Spearman: 0.82456
Zero-Shot Test using FQuAD as Knowledge Base:
- Number of questions tested: 3188
- Number of documents considered: 768
- Top 5 k@precision: 0.8563
- Top 5 MRR: 0.6898
Comparison with dangvantuan/CrossEncoder-camembert-large:
- Top 5 k@precision: 0.6688
- Top 5 MRR: 0.4131