README.md

---
library_name: transformers
model_name: Vikhr-Qwen-2.5-1.5B-Instruct
base_model:
- Qwen/Qwen2.5-1.5B-Instruct
language:
- ru
- en
license: apache-2.0
datasets:
- Vikhrmodels/GrandMaster-PRO-MAX
---

# 💨📟 Vikhr-Qwen-2.5-1.5B-Instruct

#### RU

Инструктивная модель на основе **Qwen-2.5-1.5B-Instruct**, обученная на русскоязычном датасете **GrandMaster-PRO-MAX**.

#### EN

Instructive model based on **Qwen-2.5-1.5B-Instruct**, trained on the Russian-language dataset **GrandMaster-PRO-MAX**.

## GGUF

- [Vikhrmodels/Vikhr-Qwen-2.5-1.5B-instruct-GGUF](https://huggingface.co/Vikhrmodels/Vikhr-Qwen-2.5-1.5B-instruct-GGUF)

## Особенности:

- 📚 Основа / Base: [Qwen-2.5-1.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct)
- 🇷🇺 Специализация / Specialization: **RU**
- 💾 Датасет / Dataset: [GrandMaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX)
- 🌍 Поддержка: **Bilingual RU/EN**

## Попробовать / Try now:

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1bJpLmplDGkMbfOLO2CH6IO-2uUZEaknf?usp=sharing)

## Описание:

#### RU

**Vikhr-Qwen-2.5-1.5B-Instruct** — мощная языковая модель, обученная на датасете **GrandMaster-PRO-MAX**, поддерживает генерацию инструкций, контекстные ответы и анализ текста на русском языке. Эта модель оптимизирована для задач инструктивного обучения и обработки текстов. Она подходит для использования в профессиональной среде, а также для интеграции в пользовательские приложения и сервисы.

#### EN

**Vikhr-Qwen-2.5-1.5B-Instruct** is a robust language model trained on the **GrandMaster-PRO-MAX** dataset. It excels in instruction generation, contextual responses, and text analysis in Russian. The model is optimized for instructional tasks and textual data processing, suitable for professional use as well as integration into user-facing applications and services.

## Обучение / Training:

#### RU

**Vikhr-Qwen-2.5-1.5B-Instruct** была создана с использованием метода SFT (Supervised Fine-Tuning). Мы использовали синтетический датасет **GrandMaster-PRO-MAX** (150k инструкций), применяя подход CoT (Chain-Of-Thought) и промпты для GPT-4-turbo. Это позволило добиться высокой точности и когерентности ответов.

#### EN

**Vikhr-Qwen-2.5-1.5B-Instruct** was developed using the SFT (Supervised Fine-Tuning) method. The synthetic dataset **GrandMaster-PRO-MAX** (150k instructions) was used with CoT (Chain-Of-Thought) methodology and GPT-4-turbo prompts, enabling high accuracy and coherence in responses.

## Пример кода для запуска / Sample code to run:

**Рекомендуемая температура для генерации: 0.3** / **Recommended generation temperature: 0.3**.

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

# Load the model and tokenizer
model_name = "Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Prepare the input text
input_text = "Напиши краткое описание книги Гарри Поттер."

messages = [
    {"role": "system", "content": "Вы — Vikhr, ИИ помощник, созданный компанией Vikhr models для предоставления полезной, честной и безопасной информации."},
    {"role": "user", "content": input_text},
]

# Tokenize and generate text
input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids,
    max_length=1512,
    temperature=0.3,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    top_k=50,
    top_p=0.95,
)

# Decode and print result
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)