Spaces:
Sleeping
Sleeping
app modified output idioma
Browse files
app.py
CHANGED
@@ -227,39 +227,20 @@ class Model:
|
|
227 |
loss = self.model(input_ids, labels=labels).loss
|
228 |
|
229 |
if (self.idioma=='es'):
|
230 |
-
|
231 |
-
new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'Ġ')
|
232 |
-
new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
|
233 |
-
|
234 |
-
#out1 = self.salida_json(tokens,predicted_tokens_classes) #spanish solo palabras sensibles
|
235 |
-
out1 = self.salida_json(new_tokens,new_identificadores)
|
236 |
-
if etiquetas:
|
237 |
-
out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
|
238 |
-
#out2 = self.salida_texto_anonimizado(ids,predicted_tokens_classes) #solo identificadores
|
239 |
-
else:
|
240 |
-
out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
|
241 |
-
#out2 = self.salida_texto_anonimizado(ids,self.reemplazo_fake(predicted_tokens_classes)) #español texto completo
|
242 |
-
|
243 |
else:
|
244 |
-
|
245 |
new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'▁')
|
246 |
-
new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
|
247 |
|
248 |
-
|
249 |
-
|
250 |
-
out1 = self.salida_json(new_tokens,new_identificadores),
|
251 |
-
if etiquetas:
|
252 |
out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
|
253 |
-
|
254 |
-
out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
|
255 |
-
|
256 |
-
|
257 |
return (
|
258 |
-
|
259 |
-
|
260 |
out1,
|
261 |
str(out2)
|
262 |
-
|
263 |
|
264 |
)
|
265 |
class ModeloDataset:
|
@@ -538,7 +519,7 @@ def procesar(texto,archivo, etiquetas):
|
|
538 |
if len(texto)>0:
|
539 |
print('text')
|
540 |
model.identificacion_idioma(texto)
|
541 |
-
return model.predict(etiquetas),gr.Dataframe(),gr.File()
|
542 |
else:
|
543 |
|
544 |
if archivo.name.split(".")[1]=="csv":
|
@@ -557,7 +538,7 @@ def procesar(texto,archivo, etiquetas):
|
|
557 |
print('out es:',out)
|
558 |
df_new[item] = modelo.unir_array(out)
|
559 |
|
560 |
-
return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False)
|
561 |
#return "", df_new, df_new.to_excel( index=False)
|
562 |
else:
|
563 |
print('json')
|
@@ -581,9 +562,9 @@ def procesar(texto,archivo, etiquetas):
|
|
581 |
|
582 |
|
583 |
#return "", df, df.to_csv(sep='\t', encoding='utf-8',index=False)
|
584 |
-
return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False)
|
585 |
|
586 |
-
demo = gr.Interface(fn=procesar,inputs=["text",gr.File(), "checkbox"] , outputs=["text",gr.Dataframe(interactive=False),"text"])
|
587 |
#
|
588 |
demo.launch(share=True)
|
589 |
|
|
|
227 |
loss = self.model(input_ids, labels=labels).loss
|
228 |
|
229 |
if (self.idioma=='es'):
|
230 |
+
new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'Ġ')
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
231 |
else:
|
|
|
232 |
new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'▁')
|
|
|
233 |
|
234 |
+
new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
|
235 |
+
if etiquetas:
|
|
|
|
|
236 |
out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
|
237 |
+
else:
|
238 |
+
out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
|
239 |
+
|
|
|
240 |
return (
|
241 |
+
|
|
|
242 |
out1,
|
243 |
str(out2)
|
|
|
244 |
|
245 |
)
|
246 |
class ModeloDataset:
|
|
|
519 |
if len(texto)>0:
|
520 |
print('text')
|
521 |
model.identificacion_idioma(texto)
|
522 |
+
return model.predict(etiquetas),gr.Dataframe(),gr.File(),model.idioma
|
523 |
else:
|
524 |
|
525 |
if archivo.name.split(".")[1]=="csv":
|
|
|
538 |
print('out es:',out)
|
539 |
df_new[item] = modelo.unir_array(out)
|
540 |
|
541 |
+
return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False),modelo.idioma
|
542 |
#return "", df_new, df_new.to_excel( index=False)
|
543 |
else:
|
544 |
print('json')
|
|
|
562 |
|
563 |
|
564 |
#return "", df, df.to_csv(sep='\t', encoding='utf-8',index=False)
|
565 |
+
return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False),modelo.idioma
|
566 |
|
567 |
+
demo = gr.Interface(fn=procesar,inputs=["text",gr.File(), "checkbox"] , outputs=["text",gr.Dataframe(interactive=False),"text", gr.Label()])
|
568 |
#
|
569 |
demo.launch(share=True)
|
570 |
|