AlexBefest commited on
Commit
252013d
·
verified ·
1 Parent(s): c575f72

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +106 -3
README.md CHANGED
@@ -1,3 +1,106 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - ru
5
+ base_model: anthracite-org/magnum-v2.5-12b-kto
6
+ ---
7
+ # This is an experimental release!
8
+ # Please use chatML format
9
+ # This is a monolingual Russian version! English is not yet supported
10
+
11
+
12
+
13
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
14
+
15
+
16
+ ## ENG Version 🇬🇧
17
+
18
+ ### Model description
19
+
20
+ This model is intended for conducting role-playing games using the GURPS system, as well as for consulting and assisting. This model was trained on an augmented dataset using the GURPS Basic Set rulebook.
21
+ Her main goal was initially to become an assistant consultant, as well as an assistant to the Game Master in the GURPS role-playing system, but she can also be used as a GM to conduct solo games as a player.
22
+
23
+ ### Notes
24
+
25
+ To be honest, it was very difficult to get mistral-nemo to produce more or less stable results. I tried my best to ensure maximum quality, I found nemo much harder to train than gemma2.
26
+ This release is a pure experiment, then I plan to improve the UnlockedGurps models until I bring them to perfection.
27
+
28
+ ### Recomendations
29
+ I highly recommend using this model with a temperature of 0.3, as it gives the most accurate answers according to the GURPS rules. And the temperature is 0.5-0.7 if you use this model as a GM, and you yourself as a player.
30
+
31
+ ### Parameters
32
+
33
+ - Single rtx3090
34
+ - rank 128
35
+ - alpha 32
36
+ - batch size 2
37
+ - gradient accumulation steps 8
38
+ - lora dropout 0.1
39
+ - weight decay 0.2
40
+ - learning rate 0.0001
41
+ - max sequense lenght 4096
42
+
43
+ ### Prompting
44
+
45
+ This model uses the ChatML format! Don't forget to set it.
46
+
47
+ ```py
48
+ """<|im_start|>user
49
+ Hi there!<|im_end|>
50
+ <|im_start|>assistant
51
+ Nice to meet you!<|im_end|>
52
+ <|im_start|>user
53
+ Can I ask a question?<|im_end|>
54
+ <|im_start|>assistant
55
+ """
56
+ ```
57
+
58
+ ### Credits
59
+
60
+ Made by PegasusYaY(AlexBefest)
61
+
62
+ ## RU Version 🇷🇺
63
+
64
+ ### Model description
65
+
66
+ Данная модель предназначена для проведения ролевых игр по системе GURPS, а также для консультирования и ассистирования. Эта модель была обучена на аугментированном наборе данных по книге правил GURPS Basic Set.
67
+ Главной её целью изначально было становление ассистентом-консультантом, а также помошником Гейм-мастера по ролевой системе GURPS, но её также можно использовать в качестве ГМа для проведения соло-партий в качестве игрока.
68
+
69
+ ### Notes
70
+
71
+ Честно говоря, было очень тяжело заставить mistral-nemo выдавать более-менее стабильный результат. Я пытался изо всех сил обеспечить максимальное качество, мне показалось, что nemo куда тяжелее обучать, чем gemma2.
72
+ Данный релиз является чистым экспериментом, далее я планирую совершенствовать модели UnlockedGurps, пока не доведу их до идеала.
73
+
74
+ ### Recomendations
75
+ Очень рекомендую использовать данную модель с температурой 0.3, так она даёт наиболее точные ответы по правилам GURPS. И температуру 0.5-0.7 если вы используете данную модель как ГМа, а сами выступаете в роли игрока.
76
+
77
+ ### Parameters
78
+
79
+ - Single rtx3090
80
+ - rank 128
81
+ - alpha 32
82
+ - batch size 2
83
+ - gradient accumulation steps 8
84
+ - lora dropout 0.1
85
+ - weight decay 0.2
86
+ - learning rate 0.0001
87
+ - max sequense lenght 4096
88
+
89
+ ### Prompting
90
+
91
+ Данная модель использует формат ChatML! Не забудьте выставить его.
92
+
93
+ ```py
94
+ """<|im_start|>user
95
+ Hi there!<|im_end|>
96
+ <|im_start|>assistant
97
+ Nice to meet you!<|im_end|>
98
+ <|im_start|>user
99
+ Can I ask a question?<|im_end|>
100
+ <|im_start|>assistant
101
+ """
102
+ ```
103
+
104
+ ### Credits
105
+
106
+ Made by PegasusYaY(AlexBefest)