app modified dataset reorden token

app.py

@@ -430,20 +430,7 @@ class ModeloDataset:
             
             return new_identificadores, new_tokens
         #return ids, _predicted_tokens_classes
-    def salida_texto_es( self,ids,pre_tokens):
-        new_labels = []
-        current_word = None
-        i=0
-        for identificador in pre_tokens:
-            if (self.tokenizer.decode(ids[i])!="<s>"):
-                if identificador=='O':
-                    
-                    new_labels.append(self.tokenizer.decode(ids[i]))
-                else:
-                    new_labels.append(' ' + identificador)
-            i=i+1  
-            
-        return new_labels    
+       
     def salida_texto( self,tokens,pre_tokens):
         new_labels = []
         current_word = None
@@ -471,19 +458,7 @@ class ModeloDataset:
            i=i+1
         
         return out   
-    def salida_texto2_es(self, ids,pre_tokens,etiquetas):
-        i=0
-        out=[]
-        for iden in pre_tokens:
-          if i<len(ids):
-           if etiquetas:
-               out.append(self.salida_texto_es( ids[i],np.array(pre_tokens[i])) )
-           else:
-               out.append(self.salida_texto_es( ids[i],self.reemplazo_fake(np.array(pre_tokens[i]))))
-                 
-           i=i+1
-        
-        return out    
+
     def unir_array(self,_out):
         i=0
         salida=[]
@@ -576,21 +551,12 @@ def procesar(texto,archivo, etiquetas):
             print(model.idioma)
             for item in df.columns.values:
                 sentences=df[item]
-                #model.identificacion_idioma(sentences[0])
-              
-                
+                 
                 ides, predicted = modelo.aplicar_modelo(sentences,model.idioma,etiquetas)
-
-                if model.idioma=="es":
-                  
-                  #out=modelo.salida_texto2_es( ides,predicted,etiquetas)
-                  out=modelo.salida_texto2( ides,predicted,etiquetas)#tokens,labels 
-                  print('out es:',out)
-                  df_new[item] = modelo.unir_array(out)
-                else:  
-                  out=modelo.salida_texto2( ides,predicted,etiquetas)#tokens,labels 
-                  print('out en:',out)
-                  df_new[item] = modelo.unir_array(out)
+                out=modelo.salida_texto2( ides,predicted,etiquetas)#tokens,labels 
+                print('out es:',out)
+                df_new[item] = modelo.unir_array(out)
+                
             return "", df_new, df_new.to_csv(sep='\t', encoding='utf-8',index=False)
             #return "", df_new, df_new.to_excel( index=False)
         else:
@@ -607,12 +573,8 @@ def procesar(texto,archivo, etiquetas):
                     sentences=df[item]
                     
                     ides, predicted = modelo.aplicar_modelo(sentences,modelo.idioma,etiquetas)
-
-                    if model.idioma=="es":
-                        out=modelo.salida_texto2_es( ides,predicted,etiquetas)#tokens,labels 
-                    else:
-                        out=modelo.salida_texto2( ides,predicted,etiquetas)#tokens,labels 
-                    
+                    out=modelo.salida_texto2( ides,predicted,etiquetas)#tokens,labels
+                                        
                     print('out:',out)
                     df_new[item] = modelo.unir_array(out)