Update README.md

README.md

@@ -1,3 +1,301 @@
----
-license: llama3
----
+---
+license: llama3
+language:
+- ru
+- en
+base_model: meta-llama/Meta-Llama-3.1-70B
+library_name: transformers
+---
+
+
+## Model Information
+
+This model was fine-tuned in Russian using publicly available SFT and DPO dataset and achieves 
+superior performance in understanding, generating, and interacting in Russian compared to original Llama 3 70B Instruct. 
+
+
+
+## Benchmarks
+Llama3-70B-EnSecAI-Ru-Chat outperforms the original Llama-3-70B-Instruct on the MERA benchmark by 2.4 (57.0 vs 54.6). 
+Moreover, it outperforms all other Russian-language models present in this benchmark.
+
+Our model outperforms the original on the MERA benchmark by 2.6%.
+<table>
+  <tr>
+   <td><strong>Category</strong>
+   </td>
+   <td><strong>Benchmark</strong>
+   <td><strong>Metric</strong>
+   </td>
+   <td><strong>MTS AI Chat Medium</strong>
+   </td>
+   <td><strong>GigaChat-Pro</strong>
+   </td>
+   <td><strong>Llama 3 70B Instruct</strong>
+   </td>
+   <td><strong>Llama 3 70B EnSecAI</strong>
+  </tr>
+  <tr>
+   <td rowspan="3" >World Knowledge
+   </td>
+   <td>CheGeKa
+   <td>F1 / EM
+   </td>
+   <td>0.05 / 0.022
+   </td>
+   <td>0.104 / 0
+   </td>
+   <td>0.071 / 0
+   </td>
+   <td> **0.305** / **0.231**
+  </tr>
+  <tr>
+   <td>ruOpenBookQA
+   <td>Avg. F1 / acc
+   </td>
+   <td>0.813 / 0.813
+   </td>
+   <td>0.873 / 0.872
+   </td>
+   <td>0.939 / 0.94
+   </td>
+   <td>0.932 / 0.932
+  </tr>
+  <tr>
+   <td>ruWorldTree
+   <td>Avg. F1 / acc
+   </td>
+   <td>0.872 / 0.872
+   </td>
+   <td>0.939 / 0.939
+   </td>
+   <td>0.973 / 0.973
+   </td>
+   <td>0.986 / 0.986
+  </tr>
+  <tr>
+   <td rowspan="4" >Reasoning
+   </td>
+   <td>MultiQ
+   <td>F1-score/EM
+   </td>
+   <td>0.247 / 0.171
+   </td>
+   <td>0.369 / 0.247
+   </td>
+   <td>0.566 / 0.414
+   </td>
+   <td>0.541 / 0.421
+  </tr>
+  <tr>
+   <td>ruMMLU
+   <td>acc
+   </td>
+   <td>0.704
+   </td>
+   <td>0.816
+   </td>
+   <td>0.856
+   </td>
+   <td>0.847
+  </tr>
+<tr>
+   <td>ruTiE
+   <td>acc
+   </td>
+   <td>0.674
+   </td>
+   <td>0.791
+   </td>
+   <td>0.8
+   </td>
+   <td>0.827
+  </tr>
+<tr>
+   <td>RWSD
+   <td>acc
+   </td>
+   <td>0.665
+   </td>
+   <td>0.585
+   </td>
+   <td>0.623
+   </td>
+   <td>0.676
+  </tr>
+<tr>
+   <td>Common Sense
+   </td>
+   <td>PARus
+   <td>acc
+   </td>
+   <td>0.884
+   </td>
+   <td>0.884
+   </td>
+   <td>0.918
+   </td>
+   <td>0.926
+   </td>
+  </tr>
+  <tr>
+   <td rowspan="4" >Math
+   </td>
+   <td>MathLogicQA
+   <td>acc
+   </td>
+   <td>0.589
+   </td>
+   <td>0.467
+   </td>
+   <td>0.581
+   </td>
+   <td>0.571
+  </tr>
+  <tr>
+   <td>ruModAr
+   <td>acc
+   </td>
+   <td>0.949
+   </td>
+   <td>0.866
+   </td>
+   <td>0.736
+   </td>
+   <td>0.708
+  </tr>
+  <tr>
+   <td>ruMultiAr
+   <td>acc
+   </td>
+   <td>0.337
+   </td>
+   <td>0.273
+   </td>
+   <td>0.349
+   </td>
+   <td>0.357
+   </td>
+  </tr>
+  <tr>
+   <td>SimpleAr
+   <td>acc
+   </td>
+   <td>0.986
+   </td>
+   <td>0.971
+   </td>
+   <td>0.999
+   </td>
+   <td>0.997
+   </td>
+  </tr>
+  <tr>
+   <td>Code
+   </td>
+   <td>ruHumanEval
+   <td>pass@1 / pass@5 / pass@10 
+   </td>
+   <td>0.023 / 0.113 / 0.226
+   </td>
+   <td>0.013 / 0.064 / 0.128
+   </td>
+   <td>0.039 / 0.198 / 0.396
+   </td>
+   <td>**0.048 / 0.243 / 0.487**
+   </td>
+  </tr>
+<tr>
+   <td>Average
+   </td>
+   <td>MERA
+   <td>
+   </td>
+   <td>0.536
+   </td>
+   <td>0.537
+   </td>
+   <td>0.546
+   </td>
+   <td>**0.57**
+   </td>
+  </tr>
+</table>
+
+It is particularly worth noting the significant progress on the CheGeKa dataset. Although the data we used for further training did not include examples from this or similar games, we observed more than a 4x increase in the F1 score (0.071 -> 0.305). Additionally, the EM (Exact Match) metric improved from 0 to 0.231. On this dataset, our model significantly outperforms other Russian-language models as well.
+
+
+## Example Usage
+
+```python
+import os
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+model_id = 'ensec/Llama3-70B-EnSecAI-Ru-Chat'
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+)
+model.eval()
+instruction = "Каковы основные причины начала Второй мировой войны?"
+messages = [
+    {"role": "user", "content": f"{instruction}"}
+]
+input_ids = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt"
+).to(model.device)
+terminators = [
+    tokenizer.eos_token_id,
+    tokenizer.convert_tokens_to_ids("<|eot_id|>")
+]
+
+outputs = model.generate(
+    input_ids,
+    max_new_tokens=2048,
+    eos_token_id=terminators,
+    do_sample=True,
+    temperature=0.6,
+    top_p=0.9
+)
+print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
+```
+
+```
+Вторая мировая война началась из-за сложного взаимодействия по��итических, экономических, идеологических и военных факторов. Некоторые из основных причин включают:
+
+1. Агрессивная политика нацистской Германии и фашистской Италии: Обе страны, возглавляемые Адольфом Гитлером и Бенито Муссолини соответственно, хотели расширить свои территории и установить идеологическое господство. Они начали вторгаться в соседние страны и нарушать международные соглашения.
+
+2. Версальский мирный договор: Версальский мирный договор, подписанный после Первой мировой войны, был чрезвычайно строгим по отношению к Германии. Это привело к экономическим трудностям, росту национализма и антипатию к международному сообществу, что в конечном итоге способствовало подъему нацистов.
+
+3. Экономический кризис: Глобальный экономический кризис, известный как Великая депрессия, начавшийся в 1929 году, привел к массовой безработице и экономическим трудностям во многих странах. Это создало благоприятную среду для экстремистских движений и авторитарных режимов.
+
+4. Агрессия Японии: Япония начала расширяться на Дальний Восток, вторгаясь в Маньчжурию, Корею и Китай. Это привело к конфликтам с западными странами, которые пытались поддержать политику не вмешательства.
+
+5. Ослабление Лиги Наций: Лига Наций была международной организацией, созданной после Первой мировой войны для поддержания мира и предотвращения войны. Однако из-за отсутствия военной власти и неэффективности в принятии решений Лига Наций не смогла предотвратить агрессию Германии, Италии и Японии.
+
+6. Политика умиротворения: Многие страны, включая Великобританию и Францию, пытались умиротворить нацистскую Германию, надеясь на то, что Гитлер будет удовлетворен и прекратит агрессию. Однако это только поощряло его к дальнейшим захватам.
+
+7. Идеологические различия: Нацизм, фашизм и коммунизм были идеологиями, которые противостояли либеральной демократии и капитализму. Это привело к идеологическим конфликтам и политическим разногласиям, которые в конечном итоге привели к войне.
+
+Все эти факторы взаимодействовали и усугублялись, что в конечном итоге привело к началу Второй мировой войны.
+```
+
+
+### Citation
+
+If you use this model in your work, please cite it as follows:
+
+@misc{kostyumov_llama70b_ensec_2024,
+  title={Llama3-70B-EnSecAI-Ru-Chat},
+  author       = { {Vasily Kostyumov, Bulat Nutfullin, Oleg Pilipenko}},
+  url          = { https://huggingface.co/ensec/Llama3-70B-EnSecAI-Ru-Chat },
+  year         = 2024,
+  publisher    = { Hugging Face }
+}
+### Contact
+
+For further questions or issues, please reach out at [email protected] or open an issue on the Hugging Face model page.