Update pages/llm.py
Browse files- pages/llm.py +6 -2
pages/llm.py
CHANGED
@@ -7,6 +7,7 @@ import os
|
|
7 |
from PyPDF2 import PdfReader
|
8 |
from transformers import pipeline
|
9 |
from transformers import AutoModel
|
|
|
10 |
|
11 |
|
12 |
###########
|
@@ -20,6 +21,7 @@ from transformers import AutoModel
|
|
20 |
|
21 |
# PDF in String umwandeln
|
22 |
def get_pdf_text(folder_path):
|
|
|
23 |
text = ""
|
24 |
# Durchsuche alle Dateien im angegebenen Verzeichnis
|
25 |
for filename in os.listdir(folder_path):
|
@@ -32,7 +34,7 @@ def get_pdf_text(folder_path):
|
|
32 |
text += page.extract_text()
|
33 |
#text += '\n'
|
34 |
|
35 |
-
return text
|
36 |
|
37 |
#Chunks erstellen
|
38 |
def get_text_chunks(text):
|
@@ -77,6 +79,8 @@ def get_llm_answer(user_question):
|
|
77 |
#user_question = st.text_area("Stell mir eine Frage: ")
|
78 |
#if os.path.exists("./Store"): #Nutzereingabe nur eingelesen, wenn vectorstore angelegt
|
79 |
# Retriever sucht passende Textausschnitte in den PDFs (unformatiert)
|
|
|
|
|
80 |
retriever=get_vectorstore().as_retriever()
|
81 |
retrieved_docs=retriever.invoke(
|
82 |
user_question
|
@@ -93,7 +97,7 @@ def get_llm_answer(user_question):
|
|
93 |
# Frage beantworten mit Q&A Pipeline
|
94 |
answer = qa_pipeline(question=user_question, context=context, max_length=200)
|
95 |
|
96 |
-
return answer["answer"]
|
97 |
|
98 |
def main():
|
99 |
st.set_page_config(
|
|
|
7 |
from PyPDF2 import PdfReader
|
8 |
from transformers import pipeline
|
9 |
from transformers import AutoModel
|
10 |
+
from googletrans import Translator
|
11 |
|
12 |
|
13 |
###########
|
|
|
21 |
|
22 |
# PDF in String umwandeln
|
23 |
def get_pdf_text(folder_path):
|
24 |
+
translator = Translator()
|
25 |
text = ""
|
26 |
# Durchsuche alle Dateien im angegebenen Verzeichnis
|
27 |
for filename in os.listdir(folder_path):
|
|
|
34 |
text += page.extract_text()
|
35 |
#text += '\n'
|
36 |
|
37 |
+
return translator.translate(text, dest ='en').text
|
38 |
|
39 |
#Chunks erstellen
|
40 |
def get_text_chunks(text):
|
|
|
79 |
#user_question = st.text_area("Stell mir eine Frage: ")
|
80 |
#if os.path.exists("./Store"): #Nutzereingabe nur eingelesen, wenn vectorstore angelegt
|
81 |
# Retriever sucht passende Textausschnitte in den PDFs (unformatiert)
|
82 |
+
translator = Translator()
|
83 |
+
translator.translate(user_question, dest='en')
|
84 |
retriever=get_vectorstore().as_retriever()
|
85 |
retrieved_docs=retriever.invoke(
|
86 |
user_question
|
|
|
97 |
# Frage beantworten mit Q&A Pipeline
|
98 |
answer = qa_pipeline(question=user_question, context=context, max_length=200)
|
99 |
|
100 |
+
return translator.translate(answer["answer"], dest='de')
|
101 |
|
102 |
def main():
|
103 |
st.set_page_config(
|