Update app.py
Browse files
app.py
CHANGED
@@ -41,7 +41,6 @@ from beschreibungen import *
|
|
41 |
#Validieren des PW
|
42 |
ANTI_BOT_PW = os.getenv("VALIDATE_PW")
|
43 |
PREPROCESSED_SPLITS=None
|
44 |
-
SPLIT_TO_ORIGINAL_MAPPING = None
|
45 |
|
46 |
###############################
|
47 |
#HF Authentifizierung
|
@@ -69,7 +68,8 @@ vektordatenbank = load_vectorstore()
|
|
69 |
if vektordatenbank is None:
|
70 |
print("Vektorstore neu.......................")
|
71 |
# Initialisieren Sie den Vektorstore bei Bedarf
|
72 |
-
vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
|
|
73 |
else:
|
74 |
SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
|
75 |
|
@@ -213,6 +213,19 @@ def cancel_outputing():
|
|
213 |
def reset_textbox():
|
214 |
return gr.update(value=""),""
|
215 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
216 |
|
217 |
|
218 |
####################################################
|
@@ -295,7 +308,8 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
|
|
295 |
if vektordatenbank is None:
|
296 |
print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
|
297 |
#Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
298 |
-
vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
|
|
299 |
|
300 |
if vektordatenbank:
|
301 |
#Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
|
@@ -362,6 +376,7 @@ async def upload_pdf(file):
|
|
362 |
await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
|
363 |
|
364 |
# Asynchrones Erstellen des Vektorstores
|
|
|
365 |
await loop.run_in_executor(pool, create_vectorstore)
|
366 |
|
367 |
return f"PDF '{filename}' erfolgreich hochgeladen."
|
|
|
41 |
#Validieren des PW
|
42 |
ANTI_BOT_PW = os.getenv("VALIDATE_PW")
|
43 |
PREPROCESSED_SPLITS=None
|
|
|
44 |
|
45 |
###############################
|
46 |
#HF Authentifizierung
|
|
|
68 |
if vektordatenbank is None:
|
69 |
print("Vektorstore neu.......................")
|
70 |
# Initialisieren Sie den Vektorstore bei Bedarf
|
71 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
72 |
+
create_vectorstore()
|
73 |
else:
|
74 |
SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
|
75 |
|
|
|
213 |
def reset_textbox():
|
214 |
return gr.update(value=""),""
|
215 |
|
216 |
+
################################################
|
217 |
+
# Erstellen des Vektorstores
|
218 |
+
################################################
|
219 |
+
def create_vectorstore():
|
220 |
+
global vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
221 |
+
# Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
222 |
+
PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING = document_loading_splitting()
|
223 |
+
if PREPROCESSED_SPLITS:
|
224 |
+
# Vektordatenbank zu den Splits erstellen
|
225 |
+
vektordatenbank = document_storage_chroma(PREPROCESSED_SPLITS)
|
226 |
+
# Speichern der Splits und Metadaten
|
227 |
+
save_splits_and_metadata((PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING))
|
228 |
+
|
229 |
|
230 |
|
231 |
####################################################
|
|
|
308 |
if vektordatenbank is None:
|
309 |
print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
|
310 |
#Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
311 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
312 |
+
create_vectorstore()
|
313 |
|
314 |
if vektordatenbank:
|
315 |
#Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
|
|
|
376 |
await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
|
377 |
|
378 |
# Asynchrones Erstellen des Vektorstores
|
379 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
380 |
await loop.run_in_executor(pool, create_vectorstore)
|
381 |
|
382 |
return f"PDF '{filename}' erfolgreich hochgeladen."
|