Hugging Face's logo

lmqg
/
mt5-base-ruquad-qg-ae

Text2Text Generation
Transformers
PyTorch
Russian
mt5
question generation
answer extraction
Eval Results
Inference Endpoints
Model card Files Community
1
asahi417 commited on
Commit
3002423
·
1 Parent(s): 0a61236

model update

Browse files
Files changed (1) hide show
  1. README.md +106 -51
README.md CHANGED
@@ -21,9 +21,9 @@ widget:
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: Классическим примером международного синдиката XX века была группа компаний <hl> Де Бирс <hl> , которая в 1980-е годы контролировала до 90 % мировой торговли алмазами."
23
  example_title: "Question Generation Example 3"
24
- - text: "<hl> в английском языке в нарицательном смысле применяется термин rapid transit (скоростной городской транспорт), однако употребляется он только тогда, когда по смыслу невозможно ограничиться названием одной конкретной системы метрополитена. <hl> в остальных случаях используются индивидуальные названия: в лондоне — london underground, в нью-йорке — new york subway, в ливерпуле — merseyrail, в вашингтоне — washington metrorail, в сан-франциско — bart и т. п. в некоторых городах применяется название метро (англ. metro) для систем, по своему характеру близких к метро, или для всего городского транспорта (собственно метро и наземный пассажирский транспорт (в том числе автобусы и трамваи)) в совокупности."
25
  example_title: "Answer Extraction Example 1"
26
- - text: "Вопреки ожиданиям, объединение денежных систем республик не привело к уменьшению инфляции. Напротив, закдензнаки стали невероятно быстро обесцениваться, особенно в 1924 году. Для обеспечения денежного рынка приходилось увеличивать эмиссию закдензнаков и выпускать в оборот купюры невероятно больших номиналов. <hl> Так, в период с 1 января по 20 марта 1924 года были введены в оборот купюры достоинством 25 000 000 рублей, затем — 250 000 000 рублей. <hl> И, наконец, в апреле 1924 года были выпущены купюры миллиардного достоинства (в просторечии лимард)."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-ruquad-multitask
@@ -36,45 +36,65 @@ model-index:
36
  type: default
37
  args: default
38
  metrics:
39
- - name: BLEU4
40
- type: bleu4
41
- value: 0.20055947987589695
42
- - name: ROUGE-L
43
- type: rouge-l
44
- value: 0.3534934092216087
45
- - name: METEOR
46
- type: meteor
47
- value: 0.30183590422001033
48
- - name: BERTScore
49
- type: bertscore
50
- value: 0.8790449933583162
51
- - name: MoverScore
52
- type: moverscore
53
- value: 0.6659942800766634
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
54
  ---
55
 
56
  # Model Card of `lmqg/mt5-base-ruquad-multitask`
57
- This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task on the
58
- [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
59
- This model is fine-tuned on the answer extraction task as well as the question generation.
60
 
61
- Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)).
62
-
63
- ```
64
-
65
- @inproceedings{ushio-etal-2022-generative,
66
- title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
67
- author = "Ushio, Asahi and
68
- Alva-Manchego, Fernando and
69
- Camacho-Collados, Jose",
70
- booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
71
- month = dec,
72
- year = "2022",
73
- address = "Abu Dhabi, U.A.E.",
74
- publisher = "Association for Computational Linguistics",
75
- }
76
-
77
- ```
78
 
79
  ### Overview
80
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
@@ -87,38 +107,74 @@ Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](h
87
  ### Usage
88
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
89
  ```python
90
-
91
  from lmqg import TransformersQG
 
92
  # initialize model
93
- model = TransformersQG(language='ru', model='lmqg/mt5-base-ruquad-multitask')
 
94
  # model prediction
95
- question_answer = model.generate_qa("Нелишним будет отметить, что, развивая это направление, Д. И. Менделеев, поначалу априорно выдвинув идею о температуре, при которой высота мениска будет нулевой, в мае 1860 года провёл серию опытов.")
96
 
97
  ```
98
 
99
  - With `transformers`
100
  ```python
101
-
102
  from transformers import pipeline
103
- # initialize model
104
- pipe = pipeline("text2text-generation", 'lmqg/mt5-base-ruquad-multitask')
 
105
  # answer extraction
106
- answer = pipe('extract answers: <hl> в английском языке в нарицательном смысле применяется термин rapid transit (скоростной городской транспорт), однако употребляется он только тогда, когда по смыслу невозможно ограничиться названием одной конкретной системы метрополитена. <hl> в остальных случаях используются индивидуальные названия: в лондоне — london underground, в нью-йорке — new york subway, в ливерпуле — merseyrail, в вашингтоне — washington metrorail, в сан-франциско — bart и т. п. в некоторых городах применяется название метро (англ. metro) для систем, по своему характеру близких к метро, или для всего городского транспорта (собственно метро и наземный пассажирский транспорт (в том числе автобусы и трамваи)) в совокупности.')
 
107
  # question generation
108
- question = pipe('generate question: Нелишним будет отметить, что, развивая это направление, Д. И. Менделеев, поначалу априорно выдвинув идею о температуре, при которой высота мениска будет нулевой, <hl> в мае 1860 года <hl> провёл серию опытов.')
109
 
110
  ```
111
 
112
- ## Evaluation Metrics
 
 
 
 
 
 
 
 
 
 
 
 
 
 
113
 
114
 
115
- ### Metrics
116
 
117
- | Dataset | Type | BLEU4 | ROUGE-L | METEOR | BERTScore | MoverScore | Link |
118
- |:--------|:-----|------:|--------:|-------:|----------:|-----------:|-----:|
119
- | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) | default | 0.201 | 0.353 | 0.302 | 0.879 | 0.666 | [link](https://huggingface.co/lmqg/mt5-base-ruquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_ruquad.default.json) |
 
 
 
 
 
120
 
121
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
122
 
123
 
124
  ## Training hyperparameters
@@ -144,7 +200,6 @@ The full configuration can be found at [fine-tuning config file](https://hugging
144
 
145
  ## Citation
146
  ```
147
-
148
  @inproceedings{ushio-etal-2022-generative,
149
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
150
  author = "Ushio, Asahi and
 
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: Классическим примером международного синдиката XX века была группа компаний <hl> Де Бирс <hl> , которая в 1980-е годы контролировала до 90 % мировой торговли алмазами."
23
  example_title: "Question Generation Example 3"
24
+ - text: "extract answers: <hl> в английском языке в нарицательном смысле применяется термин rapid transit (скоростной городской транспорт), однако употребляется он только тогда, когда по смыслу невозможно ограничиться названием одной конкретной системы метрополитена. <hl> в остальных случаях используются индивидуальные названия: в лондоне — london underground, в нью-йорке — new york subway, в ливерпуле — merseyrail, в вашингтоне — washington metrorail, в сан-франциско — bart и т. п. в некоторых городах применяется название метро (англ. metro) для систем, по своему характеру близких к метро, или для всего городского транспорта (собственно метро и наземный пассажирский транспорт (в том числе автобусы и трамваи)) в совокупности."
25
  example_title: "Answer Extraction Example 1"
26
+ - text: "extract answers: Вопреки ожиданиям, объединение денежных систем республик не привело к уменьшению инфляции. Напротив, закдензнаки стали невероятно быстро обесцениваться, особенно в 1924 году. Для обеспечения денежного рынка приходилось увеличивать эмиссию закдензнаков и выпускать в оборот купюры невероятно больших номиналов. <hl> Так, в период с 1 января по 20 марта 1924 года были введены в оборот купюры достоинством 25 000 000 рублей, затем — 250 000 000 рублей. <hl> И, наконец, в апреле 1924 года были выпущены купюры миллиардного достоинства (в просторечии лимард)."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-ruquad-multitask
 
36
  type: default
37
  args: default
38
  metrics:
39
+ - name: BLEU4 (Question Generation)
40
+ type: bleu4_question_generation
41
+ value: 20.06
42
+ - name: ROUGE-L (Question Generation)
43
+ type: rouge_l_question_generation
44
+ value: 35.35
45
+ - name: METEOR (Question Generation)
46
+ type: meteor_question_generation
47
+ value: 30.18
48
+ - name: BERTScore (Question Generation)
49
+ type: bertscore_question_generation
50
+ value: 87.9
51
+ - name: MoverScore (Question Generation)
52
+ type: moverscore_question_generation
53
+ value: 66.6
54
+ - name: QAAlignedF1Score-BERTScore (Question & Answer Generation)
55
+ type: qa_aligned_f1_score_bertscore_question_answer_generation
56
+ value: 80.21
57
+ - name: QAAlignedRecall-BERTScore (Question & Answer Generation)
58
+ type: qa_aligned_recall_bertscore_question_answer_generation
59
+ value: 84.49
60
+ - name: QAAlignedPrecision-BERTScore (Question & Answer Generation)
61
+ type: qa_aligned_precision_bertscore_question_answer_generation
62
+ value: 76.48
63
+ - name: QAAlignedF1Score-MoverScore (Question & Answer Generation)
64
+ type: qa_aligned_f1_score_moverscore_question_answer_generation
65
+ value: 57.17
66
+ - name: QAAlignedRecall-MoverScore (Question & Answer Generation)
67
+ type: qa_aligned_recall_moverscore_question_answer_generation
68
+ value: 60.55
69
+ - name: QAAlignedPrecision-MoverScore (Question & Answer Generation)
70
+ type: qa_aligned_precision_moverscore_question_answer_generation
71
+ value: 54.4
72
+ - name: BLEU4 (Answer Extraction)
73
+ type: bleu4_answer_extraction
74
+ value: 31.64
75
+ - name: ROUGE-L (Answer Extraction)
76
+ type: rouge_l_answer_extraction
77
+ value: 49.73
78
+ - name: METEOR (Answer Extraction)
79
+ type: meteor_answer_extraction
80
+ value: 38.79
81
+ - name: BERTScore (Answer Extraction)
82
+ type: bertscore_answer_extraction
83
+ value: 86.22
84
+ - name: MoverScore (Answer Extraction)
85
+ type: moverscore_answer_extraction
86
+ value: 74.64
87
+ - name: AnswerF1Score (Answer Extraction)
88
+ type: answer_f1_score__answer_extraction
89
+ value: 64.31
90
+ - name: AnswerExactMatch (Answer Extraction)
91
+ type: answer_exact_match_answer_extraction
92
+ value: 44.44
93
  ---
94
 
95
  # Model Card of `lmqg/mt5-base-ruquad-multitask`
96
+ This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation and answer extraction jointly on the [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
 
 
97
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
98
 
99
  ### Overview
100
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
 
107
  ### Usage
108
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
109
  ```python
 
110
  from lmqg import TransformersQG
111
+
112
  # initialize model
113
+ model = TransformersQG(language="ru", model="lmqg/mt5-base-ruquad-multitask")
114
+
115
  # model prediction
116
+ question_answer_pairs = model.generate_qa("Нелишним будет отметить, что, развивая это направление, Д. И. Менделеев, поначалу априорно выдвинув идею о температуре, при которой высота мениска будет нулевой, в мае 1860 года провёл серию опытов.")
117
 
118
  ```
119
 
120
  - With `transformers`
121
  ```python
 
122
  from transformers import pipeline
123
+
124
+ pipe = pipeline("text2text-generation", "lmqg/mt5-base-ruquad-multitask")
125
+
126
  # answer extraction
127
+ answer = pipe("generate question: Нелишним будет отметить, что, развивая это направление, Д. И. Менделеев, поначалу априорно выдвинув идею о температуре, при которой высота мениска будет нулевой, <hl> в мае 1860 года <hl> провёл серию опытов.")
128
+
129
  # question generation
130
+ question = pipe("extract answers: <hl> в английском языке в нарицательном смысле применяется термин rapid transit (скоростной городской транспорт), однако употребляется он только тогда, когда по смыслу невозможно ограничиться названием одной конкретной системы метрополитена. <hl> в остальных случаях используются индивидуальные названия: в лондоне — london underground, в нью-йорке — new york subway, в ливерпуле — merseyrail, в вашингтоне — washington metrorail, в сан-франциско — bart и т. п. в некоторых городах применяется название метро (англ. metro) для систем, по своему характеру близких к метро, или для всего городского транспорта (собственно метро и наземный пассажирский транспорт (в том числе автобусы и трамваи)) в совокупности.")
131
 
132
  ```
133
 
134
+ ## Evaluation
135
+
136
+
137
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-ruquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_ruquad.default.json)
138
+
139
+ | | Score | Type | Dataset |
140
+ |:-----------|--------:|:--------|:-----------------------------------------------------------------|
141
+ | BERTScore | 87.9 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
142
+ | Bleu_1 | 36.66 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
143
+ | Bleu_2 | 29.53 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
144
+ | Bleu_3 | 24.23 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
145
+ | Bleu_4 | 20.06 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
146
+ | METEOR | 30.18 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
147
+ | MoverScore | 66.6 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
148
+ | ROUGE_L | 35.35 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
149
 
150
 
151
+ - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-ruquad-multitask/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_ruquad.default.json)
152
 
153
+ | | Score | Type | Dataset |
154
+ |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
155
+ | QAAlignedF1Score (BERTScore) | 80.21 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
156
+ | QAAlignedF1Score (MoverScore) | 57.17 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
157
+ | QAAlignedPrecision (BERTScore) | 76.48 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
158
+ | QAAlignedPrecision (MoverScore) | 54.4 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
159
+ | QAAlignedRecall (BERTScore) | 84.49 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
160
+ | QAAlignedRecall (MoverScore) | 60.55 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
161
 
162
 
163
+ - ***Metric (Answer Extraction)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-ruquad-multitask/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_ruquad.default.json)
164
+
165
+ | | Score | Type | Dataset |
166
+ |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
167
+ | AnswerExactMatch | 44.44 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
168
+ | AnswerF1Score | 64.31 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
169
+ | BERTScore | 86.22 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
170
+ | Bleu_1 | 45.61 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
171
+ | Bleu_2 | 40.76 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
172
+ | Bleu_3 | 36.22 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
173
+ | Bleu_4 | 31.64 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
174
+ | METEOR | 38.79 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
175
+ | MoverScore | 74.64 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
176
+ | ROUGE_L | 49.73 | default | [lmqg/qg_ruquad](https://huggingface.co/datasets/lmqg/qg_ruquad) |
177
+
178
 
179
 
180
  ## Training hyperparameters
 
200
 
201
  ## Citation
202
  ```
 
203
  @inproceedings{ushio-etal-2022-generative,
204
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
205
  author = "Ushio, Asahi and