tdk-tokenizer / vocab.txt
nurcan's picture
Upload tokenizer
d100c93
raw
history blame contribute delete
273 Bytes
[PAD]
[UNK]
[CLS]
[SEP]
[MASK]
a
b
c
e
f
i
k
l
m
n
p
r
s
u
ı
##c
##ı
##n
##l
##m
##a
##i
##k
##r
##u
##b
##e
##p
##s
ac
##li
acı
el
fi
##ıl
##nıl
##ma
##ir
##is
##kir
##ub
##ps
acub
##lik
##lips
##lilik
acık
acınıl
ellips
fikir
acube
acınılma
ellipsis
fikirlilik