|
--- |
|
base_model: jangedoo/all-MiniLM-L6-v2-nepali |
|
datasets: |
|
- wikimedia/wikipedia |
|
- momo22/eng2nep |
|
- wisewizer/nepali-news |
|
- NepaliAI/Nepali-Health-Fact |
|
language: |
|
- en |
|
- ne |
|
library_name: sentence-transformers |
|
metrics: |
|
- cosine_accuracy@1 |
|
- cosine_accuracy@3 |
|
- cosine_accuracy@5 |
|
- cosine_accuracy@10 |
|
- cosine_precision@1 |
|
- cosine_precision@3 |
|
- cosine_precision@5 |
|
- cosine_precision@10 |
|
- cosine_recall@1 |
|
- cosine_recall@3 |
|
- cosine_recall@5 |
|
- cosine_recall@10 |
|
- cosine_ndcg@10 |
|
- cosine_mrr@10 |
|
- cosine_mrr@20 |
|
- cosine_mrr@50 |
|
- cosine_map@100 |
|
pipeline_tag: sentence-similarity |
|
tags: |
|
- sentence-transformers |
|
- sentence-similarity |
|
- feature-extraction |
|
- generated_from_trainer |
|
- dataset_size:850049 |
|
- loss:MultipleNegativesSymmetricRankingLoss |
|
- loss:MSELoss |
|
widget: |
|
- source_sentence: मैले मेरो तल्लो बायाँ पछाडि र पेटमा गम्भीर दुखाइको अनुभव गरिरहेको |
|
छु। मैले 20 वर्ष पहिले मेरो दाईलाई मेरो देब्रे मृगौला दान गरें, त्यसैले मलाई यो |
|
मृगौला संक्रमण हो जस्तो लाग्दैन। मेरो तल्लो बायाँ पेटको एक्स-रे र बिरालोको स्क्यान |
|
फेरि स्पष्ट आयो, तर मेरो डाक्टरलाई अब के गर्ने थाहा छैन। |
|
sentences: |
|
- '- बाँझोपन धेरै कारण हुन सक्छ |
|
|
|
- फलोपियन ट्युब खुल्ला हुनुको मतलब सधैं उर्वर हुनु होइन |
|
|
|
- एउटा खुला र स्वस्थ ट्यूबले गर्भधारणको सम्भावना बढाउँछ |
|
|
|
- अन्य बांझपन कारणहरू अस्वीकार गर्न परीक्षणहरूको लागि स्त्री रोग विशेषज्ञ खोज्नुहोस् |
|
|
|
- अप्रभावी यौन सम्पर्क वा हार्मोनल समस्याहरू जस्ता कारकहरूले प्रजनन क्षमतालाई |
|
असर गर्न सक्छ |
|
|
|
- यौनसम्पर्क पछि मोहम्मदको स्थितिमा सुत्दा एन्टभर्टेड गर्भाशय ग्रीवालाई मद्दत |
|
गर्न सकिन्छ |
|
|
|
- प्रजनन क्षमता सुधार गर्न अन्तर्निहित मुद्दाहरूलाई सम्बोधन गर्नु महत्त्वपूर्ण |
|
छ।' |
|
- 'तपाईंको चिन्तालाई सम्बोधन गर्न, यहाँ केहि सुझावहरू छन्: |
|
|
|
|
|
1. यूरिया र क्रिएटिनिन स्तरहरू मापनको साथसाथै, पूर्ण पिसाब जाँच गराउने बारे विचार |
|
गर्नुहोस्। |
|
|
|
2. केही मृगौला दाताहरूले समयको साथमा मृगौलाको कार्यक्षमतामा गिरावटको अनुभव गर्न |
|
सक्छन् र भविष्यमा डायलासिस आवश्यक हुन सक्छ। |
|
|
|
3. तपाईको मिर्गौलाको स्वास्थ्यको मूल्याङ्कन गर्नु महत्त्वपूर्ण छ, यदि तपाई अहिले |
|
स्वस्थ महसुस गर्नुहुन्छ भने। |
|
|
|
4. पिसाब नलीको संक्रमणले गर्दा पनि दुखाइ हुन सक्छ, जसलाई पिसाब संस्कृति/संवेदनशीलता |
|
परीक्षण पछि एन्टिबायोटिकले सजिलै उपचार गर्न सकिन्छ। |
|
|
|
5. आवश्यक निदान परीक्षणहरू गराउन र रिपोर्टहरू स्वास्थ्य सेवा पेशेवर वा च्याट प्लेटफर्म |
|
मार्फत साझेदारी गर्न सिफारिस गरिन्छ। |
|
|
|
6. वैकल्पिक रूपमा, तपाईं थप मार्गदर्शनको लागि आफ्नो पारिवारिक चिकित्सकसँग परामर्श |
|
गर्न सक्नुहुन्छ। |
|
|
|
7. तपाईलाई शुभकामना र आशा छ कि तपाईको चिन्ता सन्तोषजनक रूपमा सम्बोधन गरिएको छ।' |
|
- पलक जैन एक भारतीय अभिनेत्री हुन्, उनले धेरै टेली चलचित्रहरूमा कार्य गरी सकेकी |
|
छिन्। इतना करो ना मुझे प्यार, कहीं किसी रोज, दो हंसों का जोडा, दी बड्डी प्रोजेक्ट, |
|
क्राइम पेट्रोल आदिमा उनीले कार्य गरेकी छिन् । उनीले छ वर्षको उमेरबाट अभिनयको |
|
थालनी गरिन् । |
|
- source_sentence: के म मेरो अनुहारमा पिम्पल र दागहरू हटाउन मेलाग्लो जेल प्रयोग गर्न |
|
सक्छु? मलाई धेरै वर्षदेखि निचोल्ने र छेक्ने लत लागेको छ, र अब म मेरो जीवनमा कम्तिमा |
|
एक पटक स्पष्ट अनुहार पाउन चाहन्छु। म गोरो छाला भएको ४२ वर्षीया महिला हुँ। |
|
sentences: |
|
- '- छालाको चिन्ताको उपचार गर्न ग्लाइकोलिक एसिड वा सेलिसिलिक एसिड फेसवाश प्रयोग |
|
गर्नुहोस् |
|
|
|
- ब्ल्याकहेड्स निचोड वा छनोट नगर्नुहोस्, किनकि यसले दाग र पिग्मेन्टेसन निम्त्याउन |
|
सक्छ |
|
|
|
- पिम्पलको लागि क्लिन्डामाइसिन जेल र रेटिन-ए क्रिम प्रयोग गर्नुहोस् |
|
|
|
- पिग्मेन्टेसन चिन्हहरूको लागि कमिक एसिड क्रिम प्रयोग गर्नुहोस् |
|
|
|
- गम्भीर मुँहासेको लागि छाला विशेषज्ञसँग परामर्श गर्नुहोस् |
|
|
|
- गम्भीर मुँहासेको लागि मौखिक एन्टिबायोटिक वा आइसोट्रेटिनोइन लिने विचार गर्नुहोस् |
|
|
|
- तपाइँको 40 को दशक मा मुँहासे को लागी हर्मोन चक्की को आवश्यकता हुन सक्छ |
|
|
|
- रासायनिक बोक्राले दाग, पिग्मेन्टेसन, र सक्रिय मुँहासे घावहरूमा मद्दत गर्न सक्छ |
|
|
|
- थप उपचार विकल्पहरूको लागि छाला विशेषज्ञसँग भेटघाट गर्नुहोस्।' |
|
- "इन्द्र कुमार गुजराल (जन्म ४ डिसेम्बर स.न्. १९१९) भारतका पूर्व प्रधानमन्त्री थिए\ |
|
\ । \n\nसन्दर्भ सामग्रीहरू\n\nयी पनि हेर्नुहोस्\n\nभारतीय राजनीतिज्ञहरू\nभारतका\ |
|
\ प्रधानमन्त्रीहरू\nभारतीय नेताहरू\nसन् २०१२ मा मृत्यु\nभारतीय हिन्दुहरू" |
|
- '- यो उमेर समूहका लागि Piriton प्रयोग गर्नु हुँदैन। |
|
|
|
- बालबालिकामा रुघाखोकी र रुघाखोकी सामान्यतया भाइरसको कारणले हुन्छ । |
|
|
|
- चिसो लक्षणहरूको लागि, तपाइँ सेटिरिजिन जस्ता एन्टि-एलर्जी औषधिहरू प्रयोग गर्न |
|
सक्नुहुन्छ। |
|
|
|
- नुनिलो नाक डिकन्जेस्टेन्टले भरिएको नाकमा मद्दत गर्न सक्छ। |
|
|
|
- ज्वरोको लागि पारासिटामोल दिन सकिन्छ, तर यदि यो 100F माथि छ भने मात्र। |
|
|
|
- ज्वरोको लागि संयोजन औषधिहरू प्रयोग नगर्नुहोस्, विशेष गरी पारासिटामोलको साथ। |
|
|
|
- Cetirizine चिसो लक्षणहरूको लागि 0.25 mg/kg प्रत्येक 12 घण्टामा 3 दिनको लागि |
|
प्रयोग गर्न सकिन्छ। |
|
|
|
- सादा सलाइन नाक ड्रप नाक अवरोध को लागी प्रयोग गर्न सकिन्छ।' |
|
- source_sentence: बेलविछवा |
|
sentences: |
|
- सडकको नियमित मर्मतका लागि भनेर सरकारले विभिन्न सेवा र वस्तुमार्फत् अर्बौँ रुपैयाँ |
|
कर उठाउँछ। |
|
- '- तपाईंको ढाडमा गाँठहरू प्रायः कीराको टोकाइ वा ब्याक्टेरियाको संक्रमणको कारणले |
|
हुन्छ, जसले फोकाहरू निम्त्याउन सक्छ। |
|
|
|
– तपाईलाई हाइपो थाइराइड भएको हुनाले यो समस्यासँग सम्बन्धित हुन सक्छ । |
|
|
|
- म तपाईंलाई थप परीक्षण र उपयुक्त उपचारको लागि आपतकालीन कोठा (ER) डाक्टरसँग परामर्श |
|
गर्न सल्लाह दिन्छु। |
|
|
|
- चिन्ता नगर्नुहोस्, उचित हेरचाह गर्नाले गाँठो हट्नेछ। |
|
|
|
- उपचारमा ओभर-द-काउन्टर दुखाइ निवारकहरू (NSAIDs) र एन्टिबायोटिकहरू समावेश हुन |
|
सक्छ। |
|
|
|
- भविष्यमा थप प्रश्नहरू सोध्न स्वतन्त्र महसुस गर्नुहोस्, र शुभ दिन।' |
|
- "बेलविछवा रौतहट जिल्लाको एक गाउँ विकास समिति हो । \n\nसन्दर्भ सामग्रीहरू\n\nबाह्य\ |
|
\ कडीहरू" |
|
- source_sentence: बीबीसी अनुसन्धानपछि नेपालमा चिम्पान्जी तस्कर पक्राउ |
|
sentences: |
|
- '- तपाईंले महसुस गर्नुभएको दुखाइ तपाईंको रिब पिंजरामा तानिएको मांसपेशीले गर्दा |
|
भएको थियो। |
|
|
|
- तपाईं यार्ड मा काम गर्दा यो भयो। |
|
|
|
- यो सामान्य मांसपेशी र हड्डी दुखाइ भएकोले चिन्ता लिनु पर्दैन। |
|
|
|
- कुनै पनि भारी शारीरिक गतिविधिहरू नगर्नुहोस् जसले तपाईंको माथिल्लो शरीरलाई तनाव |
|
दिन्छ। |
|
|
|
- सुत्दा बायाँ तिर सुत्नुहोस्। |
|
|
|
- यदि दुखाइ फिर्ता आयो भने, तपाइँ एस्पिरिन वा आइबुप्रोफेन जस्ता साधारण दुखाइ निवारक |
|
लिन सक्नुहुन्छ। |
|
|
|
- यी चरणहरू पछ्याउँदा तपाईंलाई राम्रो महसुस गर्न मद्दत गर्नेछ। |
|
|
|
- यदि तपाइँसँग कुनै थप चिन्ता छ भने, हामीसँग फेरि कुराकानी गर्न नहिचकिचाउनुहोस्।' |
|
- चिम्पान्जी तस्करीबारे गत वर्ष बीबीसी अनुसन्धानबाट भएको खुलासाका आधारमा नेपाल प्रहरीले |
|
सो सङ्कटापन्न वन्यजन्तु तस्करी गर्ने एउटा प्रयास विफल पारिदिएको छ। |
|
- "छिन्दवाडा जिल्ला भारतीय राज्य मध्य प्रदेशको एउटा जिल्ला हो। \n\nयो पनि हेर्नुहोस्\n\ |
|
\nमध्य प्रदेश\nभारतका जिल्लाहरू\nमध्य प्रदेशका जिल्लाहरू" |
|
- source_sentence: अर्थवेद |
|
sentences: |
|
- "अर्थवेद\nचार वेदका चार उपवेद मानिन्छ-\nधनुर्वेद, \nगान्धर्ववेद, \nआयुर्वेद, र\ |
|
\ \nअर्थवेद \nपं. धनराज शास्त्रीले अर्थवेदका चार ठूला र दुइ ाना ग्रन्थको उल्लेख\ |
|
\ गरेका छन्\n\nठूला ग्रन्थ\nचार ठूला ग्रन्थ यस प्रकार छन् \n १. अर्थोपवेद– यसको\ |
|
\ श्लोक संख्या एक लाख बताइएको छ । \n २.अर्थवेद– यसको श्लोक संख्या ३० हजार बताइएको\ |
|
\ छ । \n ३. अर्थ चन्द्रोदय– यसको श्लोक संख्या २० हजार बताइएको छ ।" |
|
- वाच्य भनेको भनाइ हो । वाक्यमा रहेका कर्ता, कर्म र क्रियामध्ये कुन भनाइ मुख्य |
|
रहेको छ भनी छुट्याउने व्याकरणिक कोटिलाई वाच्य भनिन्छ । अर्थात् कर्ता, कर्म र |
|
भावको बोध गराउने वाक्यलाइ वाच्य भनिन्छ । |
|
- "डा. फेल, डिटेक्टिभ, एन्ड अदर स्टोरिज अमेरिकन उपन्यासकार तथा लेखक जोन डिक्सन कारद्वारा\ |
|
\ लिखित लघुकथा सङ्ग्रह हो । \n\nसन्दर्भ सूची\n\nलघुकथा संग्रहहरू\nपुस्तकहरू\n\ |
|
जोन डिक्सन कारका लघुकथा संग्रहहरू" |
|
model-index: |
|
- name: SentenceTransformer based on jangedoo/all-MiniLM-L6-v2-nepali |
|
results: |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: Unknown |
|
type: unknown |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5404 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.6196 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.654 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.6962 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5404 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.2065333333333333 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.1308 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.06961999999999999 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5404 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.6196 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.654 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.6962 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.614560612378296 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.5888884126984126 |
|
name: Cosine Mrr@10 |
|
- type: cosine_mrr@20 |
|
value: 0.5918181110470189 |
|
name: Cosine Mrr@20 |
|
- type: cosine_mrr@50 |
|
value: 0.5937323352722809 |
|
name: Cosine Mrr@50 |
|
- type: cosine_map@100 |
|
value: 0.5943859310752522 |
|
name: Cosine Map@100 |
|
--- |
|
|
|
# SentenceTransformer based on jangedoo/all-MiniLM-L6-v2-nepali |
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2) on the [momo22/eng2nep](https://huggingface.co/datasets/momo22/eng2nep), [NepaliAI/Nepali-Health-Fact](https://huggingface.co/datasets/NepaliAI/Nepali-Health-Fact), [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia), [wisewizer/nepali-news](https://huggingface.co/datasets/wisewizer/nepali-news) dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
Two step approach was taken to fine-tune this model. |
|
First I took [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2) model and then made it multi-lingual (English and Nepali). The approach is describe here [Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation](https://arxiv.org/abs/2004.09813). |
|
The basic idea is that we need a parallel corpus. In this case I took [momo22/eng2nep](https://huggingface.co/datasets/momo22/eng2nep) which contains English to Nepali sentence pairs. |
|
Then the `sentence-transformers/all-MiniLM-L6-v2` was used to generate embeddings for English sentences. |
|
While training, the model was fine-tuned in a way that it produces embeddings for Nepali sentences to be similar to the corresponding English embeddings. The loss function used was `MSELoss`. |
|
|
|
Next, this new `multi-lingual` model was further fine tuned on datasets like Nepali Wikipedia articles, Nepali News, Nepali Health Q&A. |
|
I took the `title` and `body` from those datasets and treat them as `anchor` and `positive` for computing pair-wise similarity. Specifically, the `MultipleNegativesSymmetricRankingLoss` was used. |
|
Basically this will force the embeddings of `anchor` to be similar to `positive` and vice-versa. The negative samples are automatically mined from a batch and the objective is to make sure similarity between `anchor` and `positive` is higher than `anchor` and `negative`. |
|
|
|
The rest of the content was generated automatically by sentence-transformers library. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** Sentence Transformer |
|
- **Base model:** [jangedoo/all-MiniLM-L6-v2-nepali](https://huggingface.co/jangedoo/all-MiniLM-L6-v2-nepali) <!-- at revision 85611e56d8d9eb7213de6a5049d99928688a5e98 --> |
|
- **Maximum Sequence Length:** 256 tokens |
|
- **Output Dimensionality:** 384 tokens |
|
- **Similarity Function:** Cosine Similarity |
|
- **Training Dataset:** |
|
- [momo22/eng2nep](https://huggingface.co/datasets/momo22/eng2nep) |
|
- [NepaliAI/Nepali-Health-Fact](https://huggingface.co/datasets/NepaliAI/Nepali-Health-Fact) |
|
- [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) |
|
- [wisewizer/nepali-news](https://huggingface.co/datasets/wisewizer/nepali-news) |
|
- **Languages:** en, ne |
|
<!-- - **License:** Unknown --> |
|
|
|
### Model Sources |
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
### Full Model Architecture |
|
|
|
``` |
|
SentenceTransformer( |
|
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel |
|
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
(2): Normalize() |
|
) |
|
``` |
|
|
|
## Usage |
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
First install the Sentence Transformers library: |
|
|
|
```bash |
|
pip install -U sentence-transformers |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
```python |
|
from sentence_transformers import SentenceTransformer |
|
|
|
# Download from the 🤗 Hub |
|
model = SentenceTransformer("jangedoo/all-MiniLM-L6-v2-nepali") |
|
# Run inference |
|
sentences = [ |
|
'अर्थवेद', |
|
'अर्थवेद\nचार वेदका चार उपवेद मानिन्छ-\nधनुर्वेद, \nगान्धर्ववेद, \nआयुर्वेद, र \nअर्थवेद \nपं. धनराज शास्त्रीले अर्थवेदका चार ठूला र दुइ ाना ग्रन्थको उल्लेख गरेका छन्\n\nठूला ग्रन्थ\nचार ठूला ग्रन्थ यस प्रकार छन् \n १. अर्थोपवेद– यसको श्लोक संख्या एक लाख बताइएको छ । \n २.अर्थवेद– यसको श्लोक संख्या ३० हजार बताइएको छ । \n ३. अर्थ चन्द्रोदय– यसको श्लोक संख्या २० हजार बताइएको छ ।', |
|
'डा. फेल, डिटेक्टिभ, एन्ड अदर स्टोरिज अमेरिकन उपन्यासकार तथा लेखक जोन डिक्सन कारद्वारा लिखित लघुकथा सङ्ग्रह हो । \n\nसन्दर्भ सूची\n\nलघुकथा संग्रहहरू\nपुस्तकहरू\nजोन डिक्सन कारका लघुकथा संग्रहहरू', |
|
] |
|
embeddings = model.encode(sentences) |
|
print(embeddings.shape) |
|
# [3, 384] |
|
|
|
# Get the similarity scores for the embeddings |
|
similarities = model.similarity(embeddings, embeddings) |
|
print(similarities.shape) |
|
# [3, 3] |
|
``` |
|
|
|
<!-- |
|
### Direct Usage (Transformers) |
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Downstream Usage (Sentence Transformers) |
|
|
|
You can finetune this model on your own dataset. |
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Out-of-Scope Use |
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
--> |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
|
|
#### Information Retrieval |
|
|
|
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) |
|
|
|
| Metric | Value | |
|
|:--------------------|:-----------| |
|
| cosine_accuracy@1 | 0.5404 | |
|
| cosine_accuracy@3 | 0.6196 | |
|
| cosine_accuracy@5 | 0.654 | |
|
| cosine_accuracy@10 | 0.6962 | |
|
| cosine_precision@1 | 0.5404 | |
|
| cosine_precision@3 | 0.2065 | |
|
| cosine_precision@5 | 0.1308 | |
|
| cosine_precision@10 | 0.0696 | |
|
| cosine_recall@1 | 0.5404 | |
|
| cosine_recall@3 | 0.6196 | |
|
| cosine_recall@5 | 0.654 | |
|
| cosine_recall@10 | 0.6962 | |
|
| cosine_ndcg@10 | 0.6146 | |
|
| cosine_mrr@10 | 0.5889 | |
|
| cosine_mrr@20 | 0.5918 | |
|
| cosine_mrr@50 | 0.5937 | |
|
| **cosine_map@100** | **0.5944** | |
|
|
|
<!-- |
|
## Bias, Risks and Limitations |
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
--> |
|
|
|
<!-- |
|
### Recommendations |
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
--> |
|
|
|
## Training Details |
|
|
|
### Training Dataset |
|
|
|
#### wikimedia/wikipedia |
|
|
|
* Dataset: [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) at [b04c8d1](https://huggingface.co/datasets/wikimedia/wikipedia/tree/b04c8d1ceb2f5cd4588862100d08de323dccfbaa) |
|
* Size: 50,049 training samples |
|
* Columns: <code>anchor</code> and <code>positive</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | anchor | positive | |
|
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 3 tokens</li><li>mean: 49.45 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 17 tokens</li><li>mean: 166.52 tokens</li><li>max: 256 tokens</li></ul> | |
|
* Samples: |
|
| anchor | positive | |
|
|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>पहिलो पटक फेस वेक्सिङ गर्ने प्रयास गरेपछि मेरो गालामा दागहरू देखा परे। मेरो डाक्टरले clindac A जेल सिफारिस गर्नुभयो। के मेरो छाला निको हुन लामो समय लाग्छ वा केहि दिनमा यो राम्रो हुन सक्छ?</code> | <code>डाक्टरबाट सुझावहरू:<br><br>1. उचित परीक्षणको लागि छाला विशेषज्ञसँग परामर्श गर्नुहोस्।<br>2. वाक्सिङ पछि तपाईंको अनुहारमा दागहरू सम्पर्क डर्मेटाइटिस वा एलर्जी प्रतिक्रियाको कारण हुन सक्छ।<br>3. डाक्टरले एन्टिहिस्टामिन औषधि र कोर्टिकोस्टेरोइड मलम लेख्न सक्छ।<br>4. रातो दागहरू छुन वा चुम्बन नगर्नुहोस्।<br>5. अहिलेको लागि प्रत्यक्ष सूर्यको जोखिम र कस्मेटिक उत्पादनहरूबाट बच्नुहोस्।</code> | |
|
| <code>विश्व व्यापार केन्द्र</code> | <code>वर्ल्ड ट्रेड सेन्टर न्यु योर्क सहरको मैनछटनमा बनेका दुई टावर रूपी भवनहरूको जोडी थियो, जसलाई आतंकवादी सङ्गठन अल कायदासंग सम्बन्धित आतंकवादिहरूले ११ सितंबर, २००१मा नष्ट गरिदिएका थिए। <br><br>मूल वर्ल्ड ट्रेड सेन्टर तल्लो मैनहट्टन, न्यु योर्क सिटी, संयुक्त राज्य अमेरिकामा मीलको पत्थर जुडुवा टावरहरूको विशेषता सात भवनहरुका साथ एक जटिल थियो। जटिल ४ अप्रिल, १९७३लाई खोला, र ११ सेप्टेम्बरका हमलाको समयमा २००१मा नष्ट गरेको थियो।</code> | |
|
| <code>एम्बुलेन्स</code> | <code>एम्बुलेन्स बिरामी वा घाइते मान्छेलाई रोग वा चोट लागि उपचार गर्नको लागि अस्पताल सम्म पुर्याउन प्रयोग हुने सवारी साधन हो। <br><br>यो पनि हेर्नुहोस<br><br>सन्दर्भ सामग्रीहरू<br><br>बाह्य कडीहरू<br><br>आकस्मिक स्वास्थ्य सेवा<br>एम्बुलेन्स</code> | |
|
* Loss: [<code>MultipleNegativesSymmetricRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativessymmetricrankingloss) with these parameters: |
|
```json |
|
{ |
|
"scale": 20.0, |
|
"similarity_fct": "cos_sim" |
|
} |
|
``` |
|
|
|
### Evaluation Dataset |
|
|
|
#### wikimedia/wikipedia |
|
|
|
* Dataset: [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) at [b04c8d1](https://huggingface.co/datasets/wikimedia/wikipedia/tree/b04c8d1ceb2f5cd4588862100d08de323dccfbaa) |
|
* Size: 3,000 evaluation samples |
|
* Columns: <code>anchor</code> and <code>positive</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | anchor | positive | |
|
|:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 3 tokens</li><li>mean: 50.5 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 22 tokens</li><li>mean: 170.43 tokens</li><li>max: 256 tokens</li></ul> | |
|
* Samples: |
|
| anchor | positive | |
|
|:--------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>जनसाङ्ख्यिकीय लाभांश</code> | <code>जनसाङ्ख्यिकीय लाभांश (Demographic dividend) अर्थ व्यवस्थामा मानव संसाधनका सकारात्मक र सतत विकासलाई दर्शाउँदछ। यो जनसङ्ख्या ढाँचामा बढदो युवा एवं कार्यशील जनसङ्ख्या (१५ वर्षदेखि ६४ वर्ष आयु वर्ग) तथा घट्तो आश्रितता अनुपातका परिणामस्वरूप उत्पादनमा ठूलो मात्राका सृजनलाई प्रदर्शित गर्दछ। यस स्थितिमा जनसङ्ख्या पिरामिड उल्टा बन्नेछ अर्थात यसमा कम जनसङ्ख्या आधार भन्दा माथि ठूलो जनसङ्ख्यातर्फ बढ्दछन्।</code> | |
|
| <code>साडी गाविस</code> | <code>साडी गाविस नेपालको पश्चिमाञ्चल विकास क्षेत्रको लुम्बिनी अञ्चल, रूपन्देही जिल्लामा अवस्थित गाउँ विकास समिति हो । <br><br>रूपन्देही जिल्लाका ठाउँहरू</code> | |
|
| <code>हेप सी र सिरोसिस भएको मेरो साथीले नाकबाट रगत बग्नेलाई गम्भीरतापूर्वक लिनु पर्छ र जेलमा विशेषज्ञलाई भेट्न माग गर्नु पर्छ?</code> | <code>– लिभर सिरोसिसले नाकबाट रगत बगाउन सक्छ<br>– सिरोसिसमा कलेजोले राम्रोसँग काम गर्दैन<br>- यसले कोगुलेसन कारकहरूको उत्पादनलाई असर गर्छ, जुन रगत जम्मा गर्न जिम्मेवार हुन्छ<br>- फलस्वरूप, क्लोटिंग प्रणाली प्रभावित हुन्छ र नाक रगत हुन सक्छ<br>- तपाईंको साथीले उचित मूल्याङ्कन र उपचारको लागि डाक्टरसँग परामर्श गर्नुपर्छ<br>- केहि अवस्थामा, पोर्टल हाइपरटेन्सन व्यवस्थापन गर्न TIPS जस्ता शल्यक्रियाहरू वा बीटा ब्लकरहरू जस्तै औषधिहरू सिफारिस गर्न सकिन्छ।<br>- सिरोसिसको अन्तिम उपचार कलेजो प्रत्यारोपण हो<br>- यदि varices (अन्ननलीमा असामान्य नसहरू) बाट कुनै पनि रक्तस्राव भएमा, ब्यान्डिङ जस्ता प्रक्रियाहरूको लागि तत्काल चिकित्सा ध्यान आवश्यक छ।<br>- यो तपाईंको साथीसँग कुराकानी जारी राख्न र यस प्रक्रिया मार्फत तिनीहरूलाई समर्थन गर्न महत्त्वपूर्ण छ</code> | |
|
* Loss: [<code>MultipleNegativesSymmetricRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativessymmetricrankingloss) with these parameters: |
|
```json |
|
{ |
|
"scale": 20.0, |
|
"similarity_fct": "cos_sim" |
|
} |
|
``` |
|
|
|
### Training Hyperparameters |
|
#### Non-Default Hyperparameters |
|
|
|
- `eval_strategy`: steps |
|
- `per_device_train_batch_size`: 128 |
|
- `per_device_eval_batch_size`: 128 |
|
- `learning_rate`: 2e-05 |
|
- `num_train_epochs`: 1 |
|
- `warmup_ratio`: 0.1 |
|
- `bf16`: True |
|
|
|
#### All Hyperparameters |
|
<details><summary>Click to expand</summary> |
|
|
|
- `overwrite_output_dir`: False |
|
- `do_predict`: False |
|
- `eval_strategy`: steps |
|
- `prediction_loss_only`: True |
|
- `per_device_train_batch_size`: 128 |
|
- `per_device_eval_batch_size`: 128 |
|
- `per_gpu_train_batch_size`: None |
|
- `per_gpu_eval_batch_size`: None |
|
- `gradient_accumulation_steps`: 1 |
|
- `eval_accumulation_steps`: None |
|
- `torch_empty_cache_steps`: None |
|
- `learning_rate`: 2e-05 |
|
- `weight_decay`: 0.0 |
|
- `adam_beta1`: 0.9 |
|
- `adam_beta2`: 0.999 |
|
- `adam_epsilon`: 1e-08 |
|
- `max_grad_norm`: 1.0 |
|
- `num_train_epochs`: 1 |
|
- `max_steps`: -1 |
|
- `lr_scheduler_type`: linear |
|
- `lr_scheduler_kwargs`: {} |
|
- `warmup_ratio`: 0.1 |
|
- `warmup_steps`: 0 |
|
- `log_level`: passive |
|
- `log_level_replica`: warning |
|
- `log_on_each_node`: True |
|
- `logging_nan_inf_filter`: True |
|
- `save_safetensors`: True |
|
- `save_on_each_node`: False |
|
- `save_only_model`: False |
|
- `restore_callback_states_from_checkpoint`: False |
|
- `no_cuda`: False |
|
- `use_cpu`: False |
|
- `use_mps_device`: False |
|
- `seed`: 42 |
|
- `data_seed`: None |
|
- `jit_mode_eval`: False |
|
- `use_ipex`: False |
|
- `bf16`: True |
|
- `fp16`: False |
|
- `fp16_opt_level`: O1 |
|
- `half_precision_backend`: auto |
|
- `bf16_full_eval`: False |
|
- `fp16_full_eval`: False |
|
- `tf32`: None |
|
- `local_rank`: 0 |
|
- `ddp_backend`: None |
|
- `tpu_num_cores`: None |
|
- `tpu_metrics_debug`: False |
|
- `debug`: [] |
|
- `dataloader_drop_last`: False |
|
- `dataloader_num_workers`: 0 |
|
- `dataloader_prefetch_factor`: None |
|
- `past_index`: -1 |
|
- `disable_tqdm`: False |
|
- `remove_unused_columns`: True |
|
- `label_names`: None |
|
- `load_best_model_at_end`: False |
|
- `ignore_data_skip`: False |
|
- `fsdp`: [] |
|
- `fsdp_min_num_params`: 0 |
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
- `deepspeed`: None |
|
- `label_smoothing_factor`: 0.0 |
|
- `optim`: adamw_torch |
|
- `optim_args`: None |
|
- `adafactor`: False |
|
- `group_by_length`: False |
|
- `length_column_name`: length |
|
- `ddp_find_unused_parameters`: None |
|
- `ddp_bucket_cap_mb`: None |
|
- `ddp_broadcast_buffers`: False |
|
- `dataloader_pin_memory`: True |
|
- `dataloader_persistent_workers`: False |
|
- `skip_memory_metrics`: True |
|
- `use_legacy_prediction_loop`: False |
|
- `push_to_hub`: False |
|
- `resume_from_checkpoint`: None |
|
- `hub_model_id`: None |
|
- `hub_strategy`: every_save |
|
- `hub_private_repo`: False |
|
- `hub_always_push`: False |
|
- `gradient_checkpointing`: False |
|
- `gradient_checkpointing_kwargs`: None |
|
- `include_inputs_for_metrics`: False |
|
- `eval_do_concat_batches`: True |
|
- `fp16_backend`: auto |
|
- `push_to_hub_model_id`: None |
|
- `push_to_hub_organization`: None |
|
- `mp_parameters`: |
|
- `auto_find_batch_size`: False |
|
- `full_determinism`: False |
|
- `torchdynamo`: None |
|
- `ray_scope`: last |
|
- `ddp_timeout`: 1800 |
|
- `torch_compile`: False |
|
- `torch_compile_backend`: None |
|
- `torch_compile_mode`: None |
|
- `dispatch_batches`: None |
|
- `split_batches`: None |
|
- `include_tokens_per_second`: False |
|
- `include_num_input_tokens_seen`: False |
|
- `neftune_noise_alpha`: None |
|
- `optim_target_modules`: None |
|
- `batch_eval_metrics`: False |
|
- `eval_on_start`: False |
|
- `eval_use_gather_object`: False |
|
- `batch_sampler`: batch_sampler |
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
</details> |
|
|
|
|
|
### Framework Versions |
|
- Python: 3.11.9 |
|
- Sentence Transformers: 3.0.1 |
|
- Transformers: 4.44.0 |
|
- PyTorch: 2.4.0+cu121 |
|
- Accelerate: 0.33.0 |
|
- Datasets: 2.21.0 |
|
- Tokenizers: 0.19.1 |
|
|
|
## Citation |
|
|
|
### BibTeX |
|
|
|
#### Sentence Transformers |
|
```bibtex |
|
@inproceedings{reimers-2019-sentence-bert, |
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
month = "11", |
|
year = "2019", |
|
publisher = "Association for Computational Linguistics", |
|
url = "https://arxiv.org/abs/1908.10084", |
|
} |
|
``` |
|
|
|
<!-- |
|
## Glossary |
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
--> |
|
|
|
|
|
## Authors |
|
|
|
- Sanjaya Subedi |
|
|
|
|
|
<!-- |
|
## Model Card Contact |
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
--> |
