patrickvonplaten
commited on
Commit
·
0e0058a
1
Parent(s):
d6df19c
Update README.md
Browse files
README.md
CHANGED
@@ -22,7 +22,7 @@ model-index:
|
|
22 |
dataset:
|
23 |
name: Common Voice fa
|
24 |
type: common_voice
|
25 |
-
args: fa
|
26 |
metrics:
|
27 |
- name: Test WER
|
28 |
type: wer
|
@@ -81,7 +81,7 @@ chars_to_mapping = {
|
|
81 |
"ﻟ": "ل", "ﻡ": "م", "ﻢ": "م", "ﻪ": "ه", "ﻮ": "و", "ئ": "ی", 'ﺍ': "ا", 'ة': "ه",
|
82 |
'ﯾ': "ی", 'ﯿ': "ی", 'ﺒ': "ب", 'ﺖ': "ت", 'ﺪ': "د", 'ﺮ': "ر", 'ﺴ': "س", 'ﺷ': "ش",
|
83 |
'ﺸ': "ش", 'ﻋ': "ع", 'ﻤ': "م", 'ﻥ': "ن", 'ﻧ': "ن", 'ﻭ': "و", 'ﺭ': "ر", "ﮔ": "گ",
|
84 |
-
"
|
85 |
}
|
86 |
|
87 |
def multiple_replace(text, chars_to_mapping):
|
@@ -246,7 +246,7 @@ chars_to_mapping = {
|
|
246 |
"ﻟ": "ل", "ﻡ": "م", "ﻢ": "م", "ﻪ": "ه", "ﻮ": "و", "ئ": "ی", 'ﺍ': "ا", 'ة': "ه",
|
247 |
'ﯾ': "ی", 'ﯿ': "ی", 'ﺒ': "ب", 'ﺖ': "ت", 'ﺪ': "د", 'ﺮ': "ر", 'ﺴ': "س", 'ﺷ': "ش",
|
248 |
'ﺸ': "ش", 'ﻋ': "ع", 'ﻤ': "م", 'ﻥ': "ن", 'ﻧ': "ن", 'ﻭ': "و", 'ﺭ': "ر", "ﮔ": "گ",
|
249 |
-
"
|
250 |
}
|
251 |
|
252 |
def multiple_replace(text, chars_to_mapping):
|
|
|
22 |
dataset:
|
23 |
name: Common Voice fa
|
24 |
type: common_voice
|
25 |
+
args: fa
|
26 |
metrics:
|
27 |
- name: Test WER
|
28 |
type: wer
|
|
|
81 |
"ﻟ": "ل", "ﻡ": "م", "ﻢ": "م", "ﻪ": "ه", "ﻮ": "و", "ئ": "ی", 'ﺍ': "ا", 'ة': "ه",
|
82 |
'ﯾ': "ی", 'ﯿ': "ی", 'ﺒ': "ب", 'ﺖ': "ت", 'ﺪ': "د", 'ﺮ': "ر", 'ﺴ': "س", 'ﺷ': "ش",
|
83 |
'ﺸ': "ش", 'ﻋ': "ع", 'ﻤ': "م", 'ﻥ': "ن", 'ﻧ': "ن", 'ﻭ': "و", 'ﺭ': "ر", "ﮔ": "گ",
|
84 |
+
"\\u200c": " ", "\\u200d": " ", "\\u200e": " ", "\\u200f": " ", "\\ufeff": " ",
|
85 |
}
|
86 |
|
87 |
def multiple_replace(text, chars_to_mapping):
|
|
|
246 |
"ﻟ": "ل", "ﻡ": "م", "ﻢ": "م", "ﻪ": "ه", "ﻮ": "و", "ئ": "ی", 'ﺍ': "ا", 'ة': "ه",
|
247 |
'ﯾ': "ی", 'ﯿ': "ی", 'ﺒ': "ب", 'ﺖ': "ت", 'ﺪ': "د", 'ﺮ': "ر", 'ﺴ': "س", 'ﺷ': "ش",
|
248 |
'ﺸ': "ش", 'ﻋ': "ع", 'ﻤ': "م", 'ﻥ': "ن", 'ﻧ': "ن", 'ﻭ': "و", 'ﺭ': "ر", "ﮔ": "گ",
|
249 |
+
"\\u200c": " ", "\\u200d": " ", "\\u200e": " ", "\\u200f": " ", "\\ufeff": " ",
|
250 |
}
|
251 |
|
252 |
def multiple_replace(text, chars_to_mapping):
|