pasha
commited on
Commit
•
7491360
1
Parent(s):
9ac8113
Tunes
Browse files- README.md +5 -2
- chat_transformers.py +1 -1
README.md
CHANGED
@@ -4,6 +4,7 @@ datasets:
|
|
4 |
- Egor-AI/Russian_thinking_dataset
|
5 |
language:
|
6 |
- ru
|
|
|
7 |
base_model:
|
8 |
- t-tech/T-lite-it-1.0
|
9 |
pipeline_tag: question-answering
|
@@ -12,16 +13,18 @@ tags:
|
|
12 |
- cot
|
13 |
- thinking
|
14 |
- reflection
|
|
|
15 |
---
|
16 |
|
17 |
-
#
|
18 |
|
19 |
LoRA-адаптер для модели [T-lite-it-1.0](https://huggingface.co/t-tech/T-lite-it-1.0) обученный на
|
20 |
датасете [Egor-AI/Russian_thinking_dataset](https://huggingface.co/datasets/Egor-AI/Russian_thinking_dataset) (машинный
|
21 |
перевод на русский язык
|
22 |
датасета [BintangFortuna/OpenO1-SFT-EN-SY](https://huggingface.co/datasets/BintangFortuna/OpenO1-SFT-EN-SY)).
|
23 |
|
24 |
-
Обученная
|
|
|
25 |
|
26 |
Необходимо использовать следующего вида системный промт:
|
27 |
|
|
|
4 |
- Egor-AI/Russian_thinking_dataset
|
5 |
language:
|
6 |
- ru
|
7 |
+
- en
|
8 |
base_model:
|
9 |
- t-tech/T-lite-it-1.0
|
10 |
pipeline_tag: question-answering
|
|
|
13 |
- cot
|
14 |
- thinking
|
15 |
- reflection
|
16 |
+
- o1
|
17 |
---
|
18 |
|
19 |
+
# Russian o1 / T-lite-it-1.0 LoRA
|
20 |
|
21 |
LoRA-адаптер для модели [T-lite-it-1.0](https://huggingface.co/t-tech/T-lite-it-1.0) обученный на
|
22 |
датасете [Egor-AI/Russian_thinking_dataset](https://huggingface.co/datasets/Egor-AI/Russian_thinking_dataset) (машинный
|
23 |
перевод на русский язык
|
24 |
датасета [BintangFortuna/OpenO1-SFT-EN-SY](https://huggingface.co/datasets/BintangFortuna/OpenO1-SFT-EN-SY)).
|
25 |
|
26 |
+
Обученная модель способна имитировать логические размышлению ра русском языке по аналогии с тем, как
|
27 |
+
это делает `o1` от `OpenAI`.
|
28 |
|
29 |
Необходимо использовать следующего вида системный промт:
|
30 |
|
chat_transformers.py
CHANGED
@@ -5,7 +5,7 @@ from peft import PeftModel
|
|
5 |
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, BitsAndBytesConfig
|
6 |
|
7 |
MODEL_BASE = "t-tech/T-lite-it-1.0"
|
8 |
-
MODEL_ADAPTER = "evilfreelancer/
|
9 |
|
10 |
SYSTEM_PROMPT = "Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>"
|
11 |
|
|
|
5 |
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, BitsAndBytesConfig
|
6 |
|
7 |
MODEL_BASE = "t-tech/T-lite-it-1.0"
|
8 |
+
MODEL_ADAPTER = "evilfreelancer/o1_t-lite-it-1.0_lora"
|
9 |
|
10 |
SYSTEM_PROMPT = "Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>"
|
11 |
|