windowsartes commited on
Commit
9040bdf
·
verified ·
1 Parent(s): 394853a

Upload tokenizer

Browse files
Files changed (3) hide show
  1. special_tokens_map.json +37 -0
  2. tokenizer_config.json +57 -0
  3. vocab.txt +911 -0
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer_config.json ADDED
@@ -0,0 +1,57 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[MASK]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[PAD]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[UNK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": true,
45
+ "cls_token": "[CLS]",
46
+ "do_basic_tokenize": true,
47
+ "do_lower_case": false,
48
+ "mask_token": "[MASK]",
49
+ "model_max_length": 1000000000000000019884624838656,
50
+ "never_split": null,
51
+ "pad_token": "[PAD]",
52
+ "sep_token": "[SEP]",
53
+ "strip_accents": null,
54
+ "tokenize_chinese_chars": true,
55
+ "tokenizer_class": "RoFormerTokenizer",
56
+ "unk_token": "[UNK]"
57
+ }
vocab.txt ADDED
@@ -0,0 +1,911 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [MASK]
2
+ [PAD]
3
+ [CLS]
4
+ [SEP]
5
+ [UNK]
6
+ G31
7
+ F02
8
+ E78
9
+ G20
10
+ K31
11
+ K21
12
+ K44
13
+ F41
14
+ I34
15
+ M81
16
+ G43
17
+ I13
18
+ I50
19
+ E87
20
+ E11
21
+ I25
22
+ D64
23
+ G47
24
+ M1A
25
+ E66
26
+ D50
27
+ K29
28
+ K25
29
+ K57
30
+ I12
31
+ I70
32
+ K22
33
+ D63
34
+ C67
35
+ I10
36
+ D25
37
+ E89
38
+ I26
39
+ I82
40
+ I47
41
+ I87
42
+ B95
43
+ E03
44
+ E83
45
+ K59
46
+ K65
47
+ B96
48
+ F17
49
+ D72
50
+ A41
51
+ D62
52
+ I27
53
+ K43
54
+ E43
55
+ E53
56
+ I48
57
+ I11
58
+ I45
59
+ J44
60
+ G56
61
+ M19
62
+ J45
63
+ I73
64
+ K72
65
+ J96
66
+ I44
67
+ D69
68
+ I46
69
+ M47
70
+ J01
71
+ M79
72
+ K92
73
+ H40
74
+ H69
75
+ I24
76
+ I49
77
+ C16
78
+ C78
79
+ K91
80
+ M86
81
+ L97
82
+ F32
83
+ G25
84
+ L03
85
+ J98
86
+ I96
87
+ G89
88
+ M25
89
+ E46
90
+ G30
91
+ H91
92
+ M17
93
+ D68
94
+ M46
95
+ M70
96
+ E55
97
+ C50
98
+ I83
99
+ L76
100
+ K76
101
+ I67
102
+ M51
103
+ M48
104
+ M35
105
+ C79
106
+ G93
107
+ G91
108
+ C34
109
+ F05
110
+ G51
111
+ M21
112
+ H53
113
+ H04
114
+ H35
115
+ M50
116
+ E04
117
+ M80
118
+ F03
119
+ I28
120
+ J43
121
+ I07
122
+ C43
123
+ I65
124
+ J18
125
+ J90
126
+ K40
127
+ I30
128
+ I31
129
+ M06
130
+ I21
131
+ A04
132
+ F44
133
+ I95
134
+ E86
135
+ D51
136
+ F43
137
+ F50
138
+ K02
139
+ L73
140
+ K85
141
+ F39
142
+ M54
143
+ B20
144
+ B19
145
+ F10
146
+ E16
147
+ F19
148
+ F14
149
+ F20
150
+ F29
151
+ F11
152
+ E10
153
+ D86
154
+ J02
155
+ K20
156
+ E21
157
+ E51
158
+ I69
159
+ I63
160
+ G81
161
+ M85
162
+ D49
163
+ K74
164
+ K66
165
+ K62
166
+ L91
167
+ D57
168
+ C90
169
+ J91
170
+ K56
171
+ C21
172
+ B37
173
+ E88
174
+ I35
175
+ I42
176
+ K61
177
+ K60
178
+ G92
179
+ D46
180
+ J84
181
+ M84
182
+ D18
183
+ I61
184
+ G40
185
+ L02
186
+ F88
187
+ I08
188
+ G62
189
+ F31
190
+ E44
191
+ I15
192
+ K80
193
+ I16
194
+ J69
195
+ J95
196
+ H26
197
+ L40
198
+ L57
199
+ M72
200
+ J30
201
+ H61
202
+ C56
203
+ C77
204
+ I81
205
+ I85
206
+ I86
207
+ K70
208
+ G96
209
+ F12
210
+ M53
211
+ C7B
212
+ C7A
213
+ K58
214
+ K26
215
+ J81
216
+ B18
217
+ A08
218
+ M96
219
+ I97
220
+ C22
221
+ C25
222
+ K86
223
+ K52
224
+ K11
225
+ B00
226
+ A40
227
+ K83
228
+ C24
229
+ D53
230
+ C20
231
+ H90
232
+ D47
233
+ L29
234
+ K81
235
+ K82
236
+ D70
237
+ M10
238
+ F90
239
+ D13
240
+ I71
241
+ F33
242
+ K75
243
+ F22
244
+ F15
245
+ F72
246
+ F13
247
+ J36
248
+ L27
249
+ D61
250
+ C92
251
+ E85
252
+ K12
253
+ L99
254
+ L72
255
+ G58
256
+ F45
257
+ H66
258
+ J11
259
+ F60
260
+ L30
261
+ J86
262
+ J15
263
+ A81
264
+ M40
265
+ L08
266
+ L60
267
+ L82
268
+ M62
269
+ H93
270
+ I72
271
+ F42
272
+ K04
273
+ E80
274
+ L53
275
+ L89
276
+ L98
277
+ H81
278
+ D80
279
+ B35
280
+ C73
281
+ E05
282
+ J39
283
+ I22
284
+ I51
285
+ C18
286
+ C91
287
+ C62
288
+ K64
289
+ K63
290
+ E08
291
+ F09
292
+ K28
293
+ E22
294
+ F25
295
+ M94
296
+ M71
297
+ J20
298
+ K95
299
+ M16
300
+ L85
301
+ B34
302
+ J04
303
+ J47
304
+ M31
305
+ M41
306
+ L71
307
+ M00
308
+ M89
309
+ J94
310
+ C61
311
+ C80
312
+ J93
313
+ K50
314
+ B02
315
+ J06
316
+ I09
317
+ D32
318
+ I33
319
+ L28
320
+ F23
321
+ G12
322
+ E02
323
+ I60
324
+ L95
325
+ H33
326
+ K08
327
+ D73
328
+ I20
329
+ D59
330
+ E79
331
+ J60
332
+ C95
333
+ C94
334
+ F84
335
+ L05
336
+ M30
337
+ J32
338
+ D23
339
+ K42
340
+ D35
341
+ J34
342
+ E26
343
+ I80
344
+ K51
345
+ I36
346
+ K55
347
+ E27
348
+ D75
349
+ D55
350
+ J40
351
+ G90
352
+ D12
353
+ E56
354
+ F51
355
+ G35
356
+ M87
357
+ E06
358
+ I43
359
+ G44
360
+ G95
361
+ C02
362
+ G83
363
+ F79
364
+ I77
365
+ E73
366
+ H05
367
+ H54
368
+ H46
369
+ M08
370
+ M11
371
+ H11
372
+ F28
373
+ M97
374
+ C60
375
+ M99
376
+ M34
377
+ F01
378
+ I66
379
+ H43
380
+ H25
381
+ D89
382
+ G60
383
+ I89
384
+ M20
385
+ E13
386
+ L93
387
+ E61
388
+ A09
389
+ G24
390
+ G21
391
+ M75
392
+ M05
393
+ D60
394
+ B44
395
+ B59
396
+ A49
397
+ A18
398
+ M43
399
+ M23
400
+ K94
401
+ C81
402
+ K35
403
+ F07
404
+ G82
405
+ E74
406
+ C45
407
+ E59
408
+ E60
409
+ A48
410
+ G45
411
+ F30
412
+ H34
413
+ C85
414
+ M32
415
+ I05
416
+ D28
417
+ M24
418
+ E23
419
+ C71
420
+ F40
421
+ D38
422
+ D48
423
+ C64
424
+ H10
425
+ D65
426
+ B49
427
+ H16
428
+ I99
429
+ L70
430
+ C48
431
+ D43
432
+ E07
433
+ L10
434
+ C83
435
+ J70
436
+ I68
437
+ J99
438
+ H15
439
+ B36
440
+ D58
441
+ L23
442
+ I23
443
+ J09
444
+ B94
445
+ I74
446
+ G54
447
+ B99
448
+ G72
449
+ G50
450
+ G97
451
+ D17
452
+ E09
453
+ L13
454
+ G61
455
+ A43
456
+ H02
457
+ H57
458
+ H49
459
+ I38
460
+ G37
461
+ F21
462
+ D56
463
+ K90
464
+ J92
465
+ J12
466
+ B97
467
+ J38
468
+ L80
469
+ H31
470
+ A42
471
+ M13
472
+ M77
473
+ M65
474
+ L88
475
+ C44
476
+ G06
477
+ L25
478
+ D34
479
+ K46
480
+ M60
481
+ I62
482
+ D83
483
+ F64
484
+ D41
485
+ E72
486
+ B60
487
+ J61
488
+ J85
489
+ C10
490
+ A63
491
+ C14
492
+ C09
493
+ F55
494
+ F99
495
+ M76
496
+ A60
497
+ C54
498
+ F91
499
+ F63
500
+ J14
501
+ F06
502
+ C88
503
+ H83
504
+ J31
505
+ I37
506
+ K68
507
+ B45
508
+ G04
509
+ J10
510
+ B85
511
+ C46
512
+ B48
513
+ C40
514
+ J80
515
+ H51
516
+ G46
517
+ M15
518
+ K06
519
+ A69
520
+ J13
521
+ I78
522
+ J00
523
+ M27
524
+ G08
525
+ H92
526
+ E63
527
+ B33
528
+ C19
529
+ E34
530
+ L50
531
+ I06
532
+ K71
533
+ K36
534
+ K14
535
+ H18
536
+ E29
537
+ E54
538
+ D30
539
+ E28
540
+ K30
541
+ B86
542
+ G57
543
+ H21
544
+ H44
545
+ H20
546
+ C15
547
+ G80
548
+ D36
549
+ F34
550
+ D27
551
+ C51
552
+ L90
553
+ D52
554
+ H55
555
+ J62
556
+ C93
557
+ C57
558
+ D3A
559
+ A03
560
+ E84
561
+ D45
562
+ K03
563
+ A31
564
+ B27
565
+ L81
566
+ G63
567
+ D67
568
+ F16
569
+ K41
570
+ K05
571
+ G23
572
+ C41
573
+ K73
574
+ J33
575
+ L21
576
+ D76
577
+ E31
578
+ C82
579
+ B25
580
+ H30
581
+ A07
582
+ B17
583
+ L64
584
+ K27
585
+ L24
586
+ M45
587
+ F48
588
+ A77
589
+ C49
590
+ G71
591
+ A15
592
+ L54
593
+ C23
594
+ G99
595
+ H60
596
+ M12
597
+ F81
598
+ M90
599
+ H36
600
+ D15
601
+ C68
602
+ L74
603
+ C65
604
+ A53
605
+ M95
606
+ E65
607
+ C4A
608
+ H42
609
+ H50
610
+ M88
611
+ H72
612
+ L94
613
+ A19
614
+ C76
615
+ L55
616
+ D71
617
+ D40
618
+ G70
619
+ G52
620
+ L43
621
+ E24
622
+ C52
623
+ L20
624
+ B82
625
+ C37
626
+ D05
627
+ J42
628
+ C53
629
+ J82
630
+ H70
631
+ C74
632
+ D22
633
+ B15
634
+ D02
635
+ B30
636
+ C17
637
+ I76
638
+ B91
639
+ C84
640
+ B78
641
+ L01
642
+ E20
643
+ M92
644
+ J67
645
+ J05
646
+ K13
647
+ A46
648
+ G03
649
+ B09
650
+ F95
651
+ C26
652
+ F53
653
+ C06
654
+ F18
655
+ C72
656
+ D33
657
+ A87
658
+ H47
659
+ I32
660
+ G59
661
+ B16
662
+ K37
663
+ H01
664
+ B01
665
+ G98
666
+ D44
667
+ E50
668
+ H80
669
+ G36
670
+ D74
671
+ M66
672
+ C86
673
+ C32
674
+ C66
675
+ L92
676
+ G65
677
+ D26
678
+ F70
679
+ M26
680
+ C33
681
+ K01
682
+ M18
683
+ D00
684
+ B46
685
+ D37
686
+ A02
687
+ C07
688
+ F71
689
+ G10
690
+ H27
691
+ L63
692
+ K38
693
+ C04
694
+ C08
695
+ J16
696
+ H52
697
+ L65
698
+ L84
699
+ D16
700
+ J03
701
+ L52
702
+ G00
703
+ I75
704
+ H00
705
+ L11
706
+ E01
707
+ H59
708
+ M22
709
+ C96
710
+ B07
711
+ D84
712
+ E32
713
+ A54
714
+ A56
715
+ D39
716
+ E70
717
+ M14
718
+ A52
719
+ F54
720
+ F98
721
+ F68
722
+ A86
723
+ A64
724
+ M61
725
+ I88
726
+ D29
727
+ J22
728
+ F80
729
+ D24
730
+ B53
731
+ J66
732
+ F78
733
+ E75
734
+ M83
735
+ B90
736
+ A44
737
+ E41
738
+ M33
739
+ L59
740
+ M67
741
+ D04
742
+ D09
743
+ K45
744
+ D07
745
+ D01
746
+ M93
747
+ D78
748
+ L12
749
+ I40
750
+ J68
751
+ G11
752
+ L68
753
+ M07
754
+ A36
755
+ F82
756
+ C05
757
+ J35
758
+ F89
759
+ J21
760
+ E71
761
+ G14
762
+ C70
763
+ B10
764
+ C58
765
+ C01
766
+ L44
767
+ C55
768
+ G13
769
+ C13
770
+ A28
771
+ D66
772
+ M36
773
+ B88
774
+ B47
775
+ A74
776
+ B58
777
+ I00
778
+ A85
779
+ L56
780
+ F04
781
+ G94
782
+ A39
783
+ D21
784
+ B57
785
+ B69
786
+ L04
787
+ L51
788
+ M02
789
+ J17
790
+ D82
791
+ C47
792
+ K00
793
+ H73
794
+ J63
795
+ A51
796
+ F65
797
+ F69
798
+ F94
799
+ J41
800
+ D31
801
+ B67
802
+ M01
803
+ G73
804
+ D19
805
+ C12
806
+ D11
807
+ A93
808
+ B65
809
+ L86
810
+ B87
811
+ C75
812
+ C03
813
+ E00
814
+ H71
815
+ C31
816
+ G32
817
+ L83
818
+ H74
819
+ A05
820
+ B50
821
+ D03
822
+ G09
823
+ B54
824
+ E25
825
+ D06
826
+ C11
827
+ A21
828
+ M04
829
+ B08
830
+ D14
831
+ A59
832
+ D10
833
+ A75
834
+ A32
835
+ C00
836
+ M63
837
+ I39
838
+ B83
839
+ B26
840
+ E64
841
+ G53
842
+ A90
843
+ E77
844
+ A70
845
+ G55
846
+ C38
847
+ A84
848
+ E52
849
+ F73
850
+ I01
851
+ A22
852
+ H95
853
+ F52
854
+ G64
855
+ J37
856
+ A37
857
+ D81
858
+ E58
859
+ G05
860
+ H65
861
+ A01
862
+ A26
863
+ E67
864
+ B38
865
+ L87
866
+ M42
867
+ H62
868
+ L75
869
+ A35
870
+ L22
871
+ C63
872
+ A79
873
+ K87
874
+ M91
875
+ L66
876
+ B43
877
+ B40
878
+ B42
879
+ L42
880
+ A24
881
+ K77
882
+ G26
883
+ E68
884
+ C69
885
+ F59
886
+ H75
887
+ H94
888
+ H67
889
+ L26
890
+ C30
891
+ H68
892
+ A55
893
+ A57
894
+ J64
895
+ A50
896
+ B76
897
+ H17
898
+ A06
899
+ E76
900
+ A17
901
+ L41
902
+ B39
903
+ D42
904
+ A92
905
+ A83
906
+ D20
907
+ L58
908
+ B56
909
+ A27
910
+ A80
911
+ A68