app modified dataset reorden token

app.py

@@ -242,7 +242,7 @@ class Model:
             
         else:
             
-            new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'_')
+            new_tokens,ig_tokens=self.reordenacion_tokens(tokens,'▁')  
             new_identificadores = self.reordenacion_identificadores(ig_tokens,predicted_tokens_classes)
            
               
@@ -417,7 +417,7 @@ class ModeloDataset:
             new_identificadores=[]
             for item in tokenized_text:
                
-               aux1, aux2= self.reordenacion_tokens(item,"_")
+               aux1, aux2= self.reordenacion_tokens(item,"▁")
                new_tokens.append(aux1)
                ig_tok.append(aux2)