Update README.md
Browse files
README.md
CHANGED
@@ -1,6 +1,6 @@
|
|
1 |
---
|
2 |
library_name: transformers
|
3 |
-
model_name: Vikhr-Qwen-2.5-1.
|
4 |
base_model:
|
5 |
- Qwen/Qwen2.5-1.5B-Instruct
|
6 |
language:
|
@@ -11,25 +11,26 @@ datasets:
|
|
11 |
- Vikhrmodels/GrandMaster-PRO-MAX
|
12 |
---
|
13 |
|
14 |
-
# 💨📟 Vikhr-Qwen-2.5-
|
15 |
|
16 |
#### RU
|
17 |
|
18 |
-
Инструктивная модель на основе **Qwen-2.5-1.5B-Instruct**, обученная на русскоязычном датасете **GrandMaster-PRO-MAX**.
|
19 |
|
20 |
#### EN
|
21 |
|
22 |
-
Instructive model based on **Qwen-2.5-1.5B-Instruct**, trained on the Russian-language dataset **GrandMaster-PRO-MAX**.
|
23 |
|
24 |
## GGUF
|
25 |
|
26 |
-
- [Vikhrmodels/Vikhr-Qwen-2.5-
|
27 |
|
28 |
## Особенности:
|
29 |
|
30 |
- 📚 Основа / Base: [Qwen-2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
|
31 |
- 🇷🇺 Специализация / Specialization: **RU**
|
32 |
- 💾 Датасет / Dataset: [GrandMaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX)
|
|
|
33 |
|
34 |
## Попробовать / Try now:
|
35 |
|
@@ -39,21 +40,21 @@ Instructive model based on **Qwen-2.5-1.5B-Instruct**, trained on the Russian-la
|
|
39 |
|
40 |
#### RU
|
41 |
|
42 |
-
**Vikhr-Qwen-2.5-1.5B-
|
43 |
|
44 |
#### EN
|
45 |
|
46 |
-
**Vikhr-Qwen-2.5-1.5B-
|
47 |
|
48 |
-
## Обучение /
|
49 |
|
50 |
#### RU
|
51 |
|
52 |
-
|
53 |
|
54 |
#### EN
|
55 |
|
56 |
-
|
57 |
|
58 |
## Пример кода для запуска / Sample code to run:
|
59 |
|
@@ -62,20 +63,20 @@ To create **Vikhr-Qwen-2.5-1.5B-Instruct**, the SFT (Supervised Fine-Tuning) met
|
|
62 |
```python
|
63 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
64 |
|
65 |
-
#
|
66 |
model_name = "Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct"
|
67 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
68 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
69 |
|
70 |
-
#
|
71 |
-
input_text = "Напиши
|
72 |
|
73 |
messages = [
|
74 |
-
{"role": "system", "content": "Вы
|
75 |
{"role": "user", "content": input_text},
|
76 |
]
|
77 |
|
78 |
-
#
|
79 |
input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
|
80 |
output = model.generate(
|
81 |
input_ids,
|
@@ -87,48 +88,6 @@ output = model.generate(
|
|
87 |
top_p=0.95,
|
88 |
)
|
89 |
|
90 |
-
#
|
91 |
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
|
92 |
print(generated_text)
|
93 |
-
```
|
94 |
-
|
95 |
-
#### Ответ модели / Model response:
|
96 |
-
|
97 |
-
>Книга "Гарри Поттер" – это серия книг, написанных британским писателем Джоан Роулинг. Это одно из самых известных произведений в мире литературы и популярного детского творчества.
|
98 |
-
>
|
99 |
-
>**Основные черты серии:**
|
100 |
-
>
|
101 |
-
>1. **Сюжет:** События разворачиваются вокруг мальчика по имени Гарри Поттер, который учится в Школе волшебства и философии в Университете Хогвартс. Он сталкивается с различными препятствиями, включая борьбу со злом, поиск друзей и самопознание.
|
102 |
-
>
|
103 |
-
>2. **Персонажи:** В книге представлены множество персонажей, каждый из которых имеет свои уникальные черты характера, мотивации и прошлое. Главный герой, Гарри Поттер, является примером доброго и смелого человека, а также необычной личностью.
|
104 |
-
>
|
105 |
-
>3. **Темы и идеи:** Рассказы книги затрагивают темы любви, дружбы, справедливости, морали, человеческой неповиновенности и важности обучения через приключения.
|
106 |
-
>
|
107 |
-
>4. **История и развитие персонажей:** Через события и взаимодействие с другими персонажами книга исследует глубокие психологические и философские вопросы.
|
108 |
-
>
|
109 |
-
>5. **Влияние на культуру:** "Гарри Поттер" оказал огромное влияние на мировую литературу, превратившись в культовый жанр и символ знаний и мудрости.
|
110 |
-
>
|
111 |
-
>6. **Доступность:** Книги серии доступны для широкой аудитории и пользуются большим спросом, что делает их популярным выбором среди читателей всех возрастов.
|
112 |
-
>
|
113 |
-
>7. **Развитие жанра:** Несмотря на то что "Гарри Поттер" является частью серии, он продолжает быть любимым и актуальным, так как продолжает удивлять читателей новыми историями и персонажами.
|
114 |
-
>
|
115 |
-
>Эта серия книг ост��ется одной из самых значительных и влиятельных в истории литературы, оказав влияние на развитие мировой культуры и образование.
|
116 |
-
|
117 |
-
|
118 |
-
### Авторы / Authors
|
119 |
-
|
120 |
-
- Sergei Bratchikov, [NLP Wanderer](https://t.me/nlpwanderer), [Vikhr Team](https://t.me/vikhrlabs)
|
121 |
-
- Nikolay Kompanets, [LakoMoor](https://t.me/lakomoordev), [Vikhr Team](https://t.me/vikhrlabs)
|
122 |
-
- Konstantin Korolev, [Vikhr Team](https://t.me/vikhrlabs)
|
123 |
-
- Aleksandr Nikolich, [Vikhr Team](https://t.me/vikhrlabs)
|
124 |
-
|
125 |
-
```
|
126 |
-
@inproceedings{nikolich2024vikhr,
|
127 |
-
title={Vikhr: Constructing a State-of-the-art Bilingual Open-Source Instruction-Following Large Language Model for {Russian}},
|
128 |
-
author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov },
|
129 |
-
booktitle = {Proceedings of the 4rd Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024}
|
130 |
-
year={2024},
|
131 |
-
publisher = {Association for Computational Linguistics},
|
132 |
-
url={https://arxiv.org/pdf/2405.13929}
|
133 |
-
}
|
134 |
-
```
|
|
|
1 |
---
|
2 |
library_name: transformers
|
3 |
+
model_name: Vikhr-Qwen-2.5-1.5B-Instruct
|
4 |
base_model:
|
5 |
- Qwen/Qwen2.5-1.5B-Instruct
|
6 |
language:
|
|
|
11 |
- Vikhrmodels/GrandMaster-PRO-MAX
|
12 |
---
|
13 |
|
14 |
+
# 💨📟 Vikhr-Qwen-2.5-1.5B-Instruct
|
15 |
|
16 |
#### RU
|
17 |
|
18 |
+
Инструктивная модель на основе **Qwen-2.5-1.5B-Instruct**, обученная на русскоязычном датасете **GrandMaster-PRO-MAX**.
|
19 |
|
20 |
#### EN
|
21 |
|
22 |
+
Instructive model based on **Qwen-2.5-1.5B-Instruct**, trained on the Russian-language dataset **GrandMaster-PRO-MAX**.
|
23 |
|
24 |
## GGUF
|
25 |
|
26 |
+
- [Vikhrmodels/Vikhr-Qwen-2.5-1.5B-instruct-GGUF](https://huggingface.co/Vikhrmodels/Vikhr-Qwen-2.5-1.5B-instruct-GGUF)
|
27 |
|
28 |
## Особенности:
|
29 |
|
30 |
- 📚 Основа / Base: [Qwen-2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
|
31 |
- 🇷🇺 Специализация / Specialization: **RU**
|
32 |
- 💾 Датасет / Dataset: [GrandMaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX)
|
33 |
+
- 🌍 Поддержка: **Bilingual RU/EN**
|
34 |
|
35 |
## Попробовать / Try now:
|
36 |
|
|
|
40 |
|
41 |
#### RU
|
42 |
|
43 |
+
**Vikhr-Qwen-2.5-1.5B-Instruct** — мощная языковая модель, обученная на датасете **GrandMaster-PRO-MAX**, поддерживает генерацию инструкций, контекстные ответы и анализ текста на русском языке. Эта модель оптимизирована для задач инструктивного обучения и обработки текстов. Она подходит для использования в профессиональной среде, а также для интеграции в пользовательские приложения и сервисы.
|
44 |
|
45 |
#### EN
|
46 |
|
47 |
+
**Vikhr-Qwen-2.5-1.5B-Instruct** is a robust language model trained on the **GrandMaster-PRO-MAX** dataset. It excels in instruction generation, contextual responses, and text analysis in Russian. The model is optimized for instructional tasks and textual data processing, suitable for professional use as well as integration into user-facing applications and services.
|
48 |
|
49 |
+
## Обучение / Training:
|
50 |
|
51 |
#### RU
|
52 |
|
53 |
+
**Vikhr-Qwen-2.5-1.5B-Instruct** была создана с использованием метода SFT (Supervised Fine-Tuning). Мы использовали синтетический датасет **GrandMaster-PRO-MAX** (150k инструкций), применяя подход CoT (Chain-Of-Thought) и промпты для GPT-4-turbo. Это позволило добиться высокой точности и когерентности ответов.
|
54 |
|
55 |
#### EN
|
56 |
|
57 |
+
**Vikhr-Qwen-2.5-1.5B-Instruct** was developed using the SFT (Supervised Fine-Tuning) method. The synthetic dataset **GrandMaster-PRO-MAX** (150k instructions) was used with CoT (Chain-Of-Thought) methodology and GPT-4-turbo prompts, enabling high accuracy and coherence in responses.
|
58 |
|
59 |
## Пример кода для запуска / Sample code to run:
|
60 |
|
|
|
63 |
```python
|
64 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
65 |
|
66 |
+
# Load the model and tokenizer
|
67 |
model_name = "Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct"
|
68 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
69 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
70 |
|
71 |
+
# Prepare the input text
|
72 |
+
input_text = "Напиши краткое описание книги Гарри Поттер."
|
73 |
|
74 |
messages = [
|
75 |
+
{"role": "system", "content": "Вы — Vikhr, ИИ помощник, созданный компанией Vikhr models для предоставления полезной, честной и безопасной информации."},
|
76 |
{"role": "user", "content": input_text},
|
77 |
]
|
78 |
|
79 |
+
# Tokenize and generate text
|
80 |
input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
|
81 |
output = model.generate(
|
82 |
input_ids,
|
|
|
88 |
top_p=0.95,
|
89 |
)
|
90 |
|
91 |
+
# Decode and print result
|
92 |
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
|
93 |
print(generated_text)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|