Update README.md
Browse files
README.md
CHANGED
@@ -1,4 +1,5 @@
|
|
1 |
Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslangan. Bizning RoBERTa dasturimiz 12 ta diqqat boshi va 6 ta qatlamdan foydalanadi, natijada 72 ta aniq e'tibor mexanizmlari paydo bo'ladi. Biz har bir kirish satridagi tokenlarning 15 foizini niqoblaydigan RoBERTa-dan dastlabki tekshirish protsedurasini qabul qildik. Biz maksimal 52K tokenli lug'atdan va maksimal 512 ta ketma-ketlik uzunligidan foydalanganmiz. Biz 1M PubChem to'plamlarida 10 ta davr uchun o'qitdik. Loss funksiya 2.9 dan 0.33 gacha tushdi. Ushbu modelni sizga taqdim qilamiz.
|
|
|
2 |
|
3 |
@misc {rifkat_davronov_2022,
|
4 |
author = { {Adilova Fatima,Rifkat Davronov, Samariddin Kushmuratov, Ruzmat Safarov} },
|
@@ -7,4 +8,6 @@ Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslanga
|
|
7 |
url = { https://huggingface.co/rifkat/pubchem_1M },
|
8 |
doi = { 10.57967/hf/0177 },
|
9 |
publisher = { Hugging Face }
|
10 |
-
}
|
|
|
|
|
|
1 |
Ushbu model, HuggingFace-da RoBERTa transformatorini amalga oshirishga asoslangan. Bizning RoBERTa dasturimiz 12 ta diqqat boshi va 6 ta qatlamdan foydalanadi, natijada 72 ta aniq e'tibor mexanizmlari paydo bo'ladi. Biz har bir kirish satridagi tokenlarning 15 foizini niqoblaydigan RoBERTa-dan dastlabki tekshirish protsedurasini qabul qildik. Biz maksimal 52K tokenli lug'atdan va maksimal 512 ta ketma-ketlik uzunligidan foydalanganmiz. Biz 1M PubChem to'plamlarida 10 ta davr uchun o'qitdik. Loss funksiya 2.9 dan 0.33 gacha tushdi. Ushbu modelni sizga taqdim qilamiz.
|
2 |
+
<pre><code class="language-python">
|
3 |
|
4 |
@misc {rifkat_davronov_2022,
|
5 |
author = { {Adilova Fatima,Rifkat Davronov, Samariddin Kushmuratov, Ruzmat Safarov} },
|
|
|
8 |
url = { https://huggingface.co/rifkat/pubchem_1M },
|
9 |
doi = { 10.57967/hf/0177 },
|
10 |
publisher = { Hugging Face }
|
11 |
+
}
|
12 |
+
|
13 |
+
</code></pre>
|