README.md

---
license: llama3
language:
- ru
- en
base_model: meta-llama/Meta-Llama-3.1-70B
library_name: transformers
---


## Model Information

This model was fine-tuned in Russian using publicly available SFT and DPO dataset and achieves 
superior performance in understanding, generating, and interacting in Russian compared to original Llama 3 70B Instruct. 



## Benchmarks
Llama3-70B-EnSecAI-Ru-Chat outperforms the original Llama-3-70B-Instruct on the MERA benchmark by 2.4% (57.0 vs 54.6). 
Moreover, it outperforms all other Russian-language models present in this benchmark.
<table>
  <tr>
   <td><strong>Category</strong>
   </td>
   <td><strong>Benchmark</strong>
   <td><strong>Metric</strong>
   </td>
   <td><strong>MTS AI Chat Medium</strong>
   </td>
   <td><strong>GigaChat-Pro</strong>
   </td>
   <td><strong>Llama 3 70B Instruct</strong>
   </td>
   <td><strong>Llama 3 70B EnSecAI</strong>
  </tr>
  <tr>
   <td rowspan="3" >World Knowledge
   </td>
   <td>CheGeKa
   <td>F1 / EM
   </td>
   <td>0.05 / 0.022
   </td>
   <td>0.104 / 0
   </td>
   <td>0.071 / 0
   </td>
   <td> <strong>0.305 / 0.231</strong>
  </tr>
  <tr>
   <td>ruOpenBookQA
   <td>Avg. F1 / acc
   </td>
   <td>0.813 / 0.813
   </td>
   <td>0.873 / 0.872
   </td>
   <td>0.939 / 0.94
   </td>
   <td>0.932 / 0.932
  </tr>
  <tr>
   <td>ruWorldTree
   <td>Avg. F1 / acc
   </td>
   <td>0.872 / 0.872
   </td>
   <td>0.939 / 0.939
   </td>
   <td>0.973 / 0.973
   </td>
   <td>0.986 / 0.986
  </tr>
  <tr>
   <td rowspan="4" >Reasoning
   </td>
   <td>MultiQ
   <td>F1-score/EM
   </td>
   <td>0.247 / 0.171
   </td>
   <td>0.369 / 0.247
   </td>
   <td>0.566 / 0.414
   </td>
   <td>0.541 / 0.421
  </tr>
  <tr>
   <td>ruMMLU
   <td>acc
   </td>
   <td>0.704
   </td>
   <td>0.816
   </td>
   <td>0.856
   </td>
   <td>0.847
  </tr>
<tr>
   <td>ruTiE
   <td>acc
   </td>
   <td>0.674
   </td>
   <td>0.791
   </td>
   <td>0.8
   </td>
   <td>0.827
  </tr>
<tr>
   <td>RWSD
   <td>acc
   </td>
   <td>0.665
   </td>
   <td>0.585
   </td>
   <td>0.623
   </td>
   <td>0.676
  </tr>
<tr>
   <td>Common Sense
   </td>
   <td>PARus
   <td>acc
   </td>
   <td>0.884
   </td>
   <td>0.884
   </td>
   <td>0.918
   </td>
   <td>0.926
   </td>
  </tr>
  <tr>
   <td rowspan="4" >Math
   </td>
   <td>MathLogicQA
   <td>acc
   </td>
   <td>0.589
   </td>
   <td>0.467
   </td>
   <td>0.581
   </td>
   <td>0.571
  </tr>
  <tr>
   <td>ruModAr
   <td>acc
   </td>
   <td>0.949
   </td>
   <td>0.866
   </td>
   <td>0.736
   </td>
   <td>0.708
  </tr>
  <tr>
   <td>ruMultiAr
   <td>acc
   </td>
   <td>0.337
   </td>
   <td>0.273
   </td>
   <td>0.349
   </td>
   <td>0.357
   </td>
  </tr>
  <tr>
   <td>SimpleAr
   <td>acc
   </td>
   <td>0.986
   </td>
   <td>0.971
   </td>
   <td>0.999
   </td>
   <td>0.997
   </td>
  </tr>
  <tr>
   <td>Code
   </td>
   <td>ruHumanEval
   <td>pass@1 / pass@5 / pass@10 
   </td>
   <td>0.023 / 0.113 / 0.226
   </td>
   <td>0.013 / 0.064 / 0.128
   </td>
   <td>0.039 / 0.198 / 0.396
   </td>
   <td><strong>0.048 / 0.243 / 0.487</strong>
   </td>
  </tr>
<tr>
   <td>Average
   </td>
   <td>MERA
   <td>
   </td>
   <td>0.536
   </td>
   <td>0.537
   </td>
   <td>0.546
   </td>
   <td><strong>0.57</strong>
   </td>
  </tr>
</table>

It is particularly worth noting the significant progress on the CheGeKa dataset. Although the data we used for further training did not include examples from this or similar games, we observed more than a 4x increase in the F1 score (0.071 -> 0.305). Additionally, the EM (Exact Match) metric improved from 0 to 0.231. On this dataset, our model significantly outperforms other Russian-language models as well.

We have also significantly reduced the number of switches from Russian to English. In our internal benchmark, the original model switched 32% of the time, while the current model does so only 0.7% of the time.

## Example Usage

```python
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'ensec/Llama3-70B-EnSecAI-Ru-Chat'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()
instruction = "Каковы основные причины начала Второй мировой войны?"
messages = [
    {"role": "user", "content": f"{instruction}"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)
terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)
print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

```
Вторая мировая война началась из-за сложного взаимодействия политических, экономических, идеологических и военных факторов. Некоторые из основных причин включают:

1. Агрессивная политика нацистской Германии и фашистской Италии: Обе страны, возглавляемые Адольфом Гитлером и Бенито Муссолини соответственно, хотели расширить свои территории и установить идеологическое господство. Они начали вторгаться в соседние страны и нарушать международные соглашения.

2. Версальский мирный договор: Версальский мирный договор, подписанный после Первой мировой войны, был чрезвычайно строгим по отношению к Германии. Это привело к экономическим трудностям, росту национализма и антипатию к международному сообществу, что в конечном итоге способствовало подъему нацистов.

3. Экономический кризис: Глобальный экономический кризис, известный как Великая депрессия, начавшийся в 1929 году, привел к массовой безработице и экономическим трудностям во многих странах. Это создало благоприятную среду для экстремистских движений и авторитарных режимов.

4. Агрессия Японии: Япония начала расширяться на Дальний Восток, вторгаясь в Маньчжурию, Корею и Китай. Это привело к конфликтам с западными странами, которые пытались поддержать политику не вмешательства.

5. Ослабление Лиги Наций: Лига Наций была международной организацией, созданной после Первой мировой войны для поддержания мира и предотвращения войны. Однако из-за отсутствия военной власти и неэффективности в принятии решений Лига Наций не смогла предотвратить агрессию Германии, Италии и Японии.

6. Политика умиротворения: Многие страны, включая Великобританию и Францию, пытались умиротворить нацистскую Германию, надеясь на то, что Гитлер будет удовлетворен и прекратит агрессию. Однако это только поощряло его к дальнейшим захватам.

7. Идеологические различия: Нацизм, фашизм и коммунизм были идеологиями, которые противостояли либеральной демократии и капитализму. Это привело к идеологическим конфликтам и политическим разногласиям, которые в конечном итоге привели к войне.

Все эти факторы взаимодействовали и усугублялись, что в конечном итоге привело к началу Второй мировой войны.
```


### Citation

If you use this model in your work, please cite it as follows:
```
@misc {kostyumov_llama70b_ensec_2024,
    author       = { {Vasily Kostyumov, Bulat Nutfullin, Oleg Pilipenko} },
    title        = { Llama3-70B-EnSecAI-Ru-Chat },
    year         = 2024,
    url          = { https://huggingface.co/ensec/Llama3-70B-EnSecAI-Ru-Chat },
    publisher    = { Hugging Face }
}
```
### Contact

For further questions or issues, please reach out at [email protected] or open an issue on the Hugging Face model page.