Update app.py
Browse files
app.py
CHANGED
@@ -23,13 +23,15 @@ embedding_model = SentenceTransformer('all-MiniLM-L6-v2')
|
|
23 |
|
24 |
# Initialisierung von Tokenizer und RAG Modell mit Token
|
25 |
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
|
|
26 |
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
27 |
|
28 |
# Verbindung zur Chroma DB und Laden der Dokumente
|
29 |
-
chroma_db = Chroma(
|
30 |
|
31 |
# Erstellung eines HuggingFacePipeline LLM Modells
|
32 |
-
|
|
|
33 |
|
34 |
|
35 |
# Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
|
@@ -76,6 +78,7 @@ def get_rag_response(question):
|
|
76 |
|
77 |
return response
|
78 |
|
|
|
79 |
|
80 |
|
81 |
# Funktion, die für den Chatbot genutzt wird
|
|
|
23 |
|
24 |
# Initialisierung von Tokenizer und RAG Modell mit Token
|
25 |
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
26 |
+
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", token=hf_token, use_dummy_dataset=True)
|
27 |
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
|
28 |
|
29 |
# Verbindung zur Chroma DB und Laden der Dokumente
|
30 |
+
chroma_db = Chroma(embedding=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
|
31 |
|
32 |
# Erstellung eines HuggingFacePipeline LLM Modells
|
33 |
+
llm_pipeline = pipeline("text2text-generation", model=model, tokenizer=tokenizer, retriever=retriever)
|
34 |
+
llm = HuggingFacePipeline(pipeline=llm_pipeline)
|
35 |
|
36 |
|
37 |
# Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
|
|
|
78 |
|
79 |
return response
|
80 |
|
81 |
+
|
82 |
|
83 |
|
84 |
# Funktion, die für den Chatbot genutzt wird
|