dayannex commited on
Commit
8dacfca
·
1 Parent(s): 2f2e08d

app modified output idioma

Browse files
Files changed (1) hide show
  1. app.py +11 -30
app.py CHANGED
@@ -227,39 +227,20 @@ class Model:
227
  loss = self.model(input_ids, labels=labels).loss
228
 
229
  if (self.idioma=='es'):
230
-
231
- new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'Ġ')
232
- new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
233
-
234
- #out1 = self.salida_json(tokens,predicted_tokens_classes) #spanish solo palabras sensibles
235
- out1 = self.salida_json(new_tokens,new_identificadores)
236
- if etiquetas:
237
- out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
238
- #out2 = self.salida_texto_anonimizado(ids,predicted_tokens_classes) #solo identificadores
239
- else:
240
- out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
241
- #out2 = self.salida_texto_anonimizado(ids,self.reemplazo_fake(predicted_tokens_classes)) #español texto completo
242
-
243
  else:
244
-
245
  new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'▁')
246
- new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
247
 
248
-
249
-
250
- out1 = self.salida_json(new_tokens,new_identificadores),
251
- if etiquetas:
252
  out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
253
- else:
254
- out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
255
-
256
-
257
  return (
258
-
259
-
260
  out1,
261
  str(out2)
262
-
263
 
264
  )
265
  class ModeloDataset:
@@ -538,7 +519,7 @@ def procesar(texto,archivo, etiquetas):
538
  if len(texto)>0:
539
  print('text')
540
  model.identificacion_idioma(texto)
541
- return model.predict(etiquetas),gr.Dataframe(),gr.File()
542
  else:
543
 
544
  if archivo.name.split(".")[1]=="csv":
@@ -557,7 +538,7 @@ def procesar(texto,archivo, etiquetas):
557
  print('out es:',out)
558
  df_new[item] = modelo.unir_array(out)
559
 
560
- return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False)
561
  #return "", df_new, df_new.to_excel( index=False)
562
  else:
563
  print('json')
@@ -581,9 +562,9 @@ def procesar(texto,archivo, etiquetas):
581
 
582
 
583
  #return "", df, df.to_csv(sep='\t', encoding='utf-8',index=False)
584
- return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False)
585
 
586
- demo = gr.Interface(fn=procesar,inputs=["text",gr.File(), "checkbox"] , outputs=["text",gr.Dataframe(interactive=False),"text"])
587
  #
588
  demo.launch(share=True)
589
 
 
227
  loss = self.model(input_ids, labels=labels).loss
228
 
229
  if (self.idioma=='es'):
230
+ new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'Ġ')
 
 
 
 
 
 
 
 
 
 
 
 
231
  else:
 
232
  new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'▁')
 
233
 
234
+ new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
235
+ if etiquetas:
 
 
236
  out2 = self.salida_texto(new_tokens,new_identificadores)#solo identificadores
237
+ else:
238
+ out2 = self.salida_texto(new_tokens,self.reemplazo_fake(new_identificadores))
239
+
 
240
  return (
241
+
 
242
  out1,
243
  str(out2)
 
244
 
245
  )
246
  class ModeloDataset:
 
519
  if len(texto)>0:
520
  print('text')
521
  model.identificacion_idioma(texto)
522
+ return model.predict(etiquetas),gr.Dataframe(),gr.File(),model.idioma
523
  else:
524
 
525
  if archivo.name.split(".")[1]=="csv":
 
538
  print('out es:',out)
539
  df_new[item] = modelo.unir_array(out)
540
 
541
+ return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False),modelo.idioma
542
  #return "", df_new, df_new.to_excel( index=False)
543
  else:
544
  print('json')
 
562
 
563
 
564
  #return "", df, df.to_csv(sep='\t', encoding='utf-8',index=False)
565
+ return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False),modelo.idioma
566
 
567
+ demo = gr.Interface(fn=procesar,inputs=["text",gr.File(), "checkbox"] , outputs=["text",gr.Dataframe(interactive=False),"text", gr.Label()])
568
  #
569
  demo.launch(share=True)
570