README.md

---
datasets:
- akhtet/myXNLI
metrics:
- accuracy
pipeline_tag: zero-shot-classification
widget:
- text: >-
    မြန်မာ့စီးပွားရေးမှာ ရွှေ နဲ့ ဒေါ်လာက အရေးပါသလို ဒေါ်လာစျေးပေါ်မူတည်ပြီး
    အခြားစားသောက်ကုန်ပစ္စည်းတွေကလည်း လိုက်ပါပြောင်းလဲလေ့ ရှိပါတယ်။ 
  candidate_labels: commerce, fashion, music, politics, sports
  multi_class: false
  example_title: Myanmar Economy
- text: >-
    ၂၀၁၇ ခုနှစ် ဇွန်လ ၃၀ ရက်နေ့တွင် ရန်ကုန်မြို့၌ ကျင်းပသော ကိုယ်ခံပညာပေါင်းစုံ
    ပြိုင်ပွဲ မစ်ဒယ်ဝိတ်တန်း ကမ္ဘာ့ချန်ပီယံလုပွဲတွင် အောင်လအန်ဆန်က လက်ရှိ
    ချန်ပီယံ ဘစ်ဒက်ရှ်ကို လက်ရည်အသာဖြင့် ထိုးသတ်ပြီး အမှတ်ဖြင့် အနိုင်ရကာ
    ကမ္ဘာ့ချန်ပီယံဆု ဆွတ်ခူးနိုင်သော ပထမဆုံး မြန်မာတစ်ဦး ဖြစ်လာသည်။
  candidate_labels: boxing, football, MMA, racing, swimming
  multi_class: false
  example_title: MMA Championship
- text: >-
    မြန်မာ့ရိုးရာ အစားအစာတစ်မျိုးဖြစ်သော မုန့်ဟင်းငါးသည် အချဉ်ဖောက် ပြုလုပ်သည့်
    ဆန်ခေါက်ဆွဲဖတ် (မုန့်ဖတ်) လေးများနှင့် ငါးဖြင့် အဓိက ချက်လုပ်သော
    မုန့်ဟင်းငါးဟင်းရည် ခေါ် ဟင်းငါးရည် တို့ကို အခြား အစာပလာများနှင့် အတူတွဲဖက်
    စားသုံးရသည့် သွားရည်စာ တစ်မျိုးဖြစ်သည်။
  candidate_labels: chicken, fish, food, rice, soup
  multi_class: true
  example_title: Local Food
license: mit
language:
- my
- en
---
# Model Card for mDeBERTa-v3-base-myXNLI

mDeBERTa-v3-base-myXNLI is a transformer model for text classification English and Myanmar (Burmese).

It is based on multilingual DeBERTa v3 model and fine-tuned  using myXNLI dataset on the Natural Language Inference task in English and Myanmar.

Thus it is useful for Natural Language Inference and related tasks such as Zero-shot Text Classification on both English and Myanmar data.

## Model Details

- **Model type:** Transformer Encoder
- **Language(s) (NLP):** Fine-tuned for Myanmar (Burmese) and English
- **License:** MIT
- **Finetuned from model:** mDeBERTa v3 base [https://huggingface.co/microsoft/mdeberta-v3-base]
- **Paper :** For the foundation model mDeBERTa v3, please refer to the paper [https://arxiv.org/abs/2111.09543]
- **Demo :** A demo of Zero-shot Text Classification in Myanmar can be found on this page.

## Bias, Risks, and Limitations

Please refer to the papers for original foundation model: DeBERTa [https://arxiv.org/abs/2006.03654] and DeBERTaV3 [https://arxiv.org/abs/2111.09543].
<!-- Any limitations with myXNLI ? -->

## How to Get Started with the Model

Use the code below to get started with the model.

```
from transformers import pipeline

pipe = pipeline(model="akhtet/mDeBERTa-v3-base-myXNLI")
pipe("မြန်မာ့စီးပွားရေးမှာ ရွှေ နဲ့ ဒေါ်လာက အရေးပါသလို ဒေါ်လာစျေးပေါ်မူတည်ပြီး အခြားစားသောက်ကုန်ပစ္စည်းတွေကလည်း လိုက်ပါပြောင်းလဲလေ့ ရှိပါတယ်။",
    candidate_labels=["commerce, fashion, music, politics, sports"],
)
# output
>>> {'sequence': 'I have a problem with my iphone that needs to be resolved asap!!', 'labels': ['urgent', 'phone', 'computer', 'not urgent', 'tablet'], 'scores': [0.504, 0.479, 0.013, 0.003, 0.002]}

```

Fore more details, please refer to HuggingFace documentation https://huggingface.co/tasks/zero-shot-classification

## Training Details

The model is fine-tuned on myXNLI dataset [https://huggingface.co/datasets/akhtet/myXNLI]. The English portion of myXNLI is from XNLI dataset.

From this dataset, 4 different copies training data from myXNLI were concatenated, each with sentence pairs in en-en, en-my, my-en and my-my combinations.

Training on cross-matched language data as above improved the NLI accuracy over training separately in each language. 
This approach was inspired by another model [https://huggingface.co/joeddav/xlm-roberta-large-xnli]

The model was fine-tuned using this combined dataset for a single epoch. 

## Evaluation

This model has been evaluted on myXNLI testset for Myanmar accuracy. We also provide the accuracy for English using XNLI testset.

| Model | English accuracy | Myanmar accuracy |
| ----- | ----- | ----- |
| mDeBERTa-v3-base-myXNLI | 88.02 | 80.99 | 

## Citation

<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->

[More Information Needed]

## Model Card Contact

Aung Kyaw Htet