Update utils.py

utils.py

@@ -404,6 +404,63 @@ def rag_chain(llm, prompt,  retriever):
         
     return result
 
+################################################################################
+#langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufüge
+#hier aber mit API-URl zu einem llm auf dem HF Hub
+def rag_chain2(prompt,  retriever):
+    #Langgraph nutzen für ein wenig mehr Intelligenz beim Dokumente suchen
+    relevant_docs=[]
+    most_relevant_docs=[]
+    relevant_docs = retriever.get_relevant_documents(prompt)
+    extracted_docs = extract_document_info(relevant_docs)
+    
+    if (len(extracted_docs)>0):
+        #llm_chain = LLMChain(llm = llm, prompt = RAG_CHAIN_PROMPT)
+        #result = llm_chain.run({"context": relevant_docs, "question": prompt})
+        # Erstelle ein PromptTemplate mit Platzhaltern für Kontext und Frage
+        #RAG_CHAIN_PROMPT = PromptTemplate(template="Context: {context}\n\nQuestion: {question}\n\nAnswer:")
+
+        # Inahlte Abrufen der relevanten Dokumente
+        doc_contents = [doc["content"] for doc in extracted_docs]
+
+        #Berechne die Ähnlichkeiten und finde das relevanteste Dokument
+        question_embedding = embedder_modell.encode(prompt, convert_to_tensor=True)
+        doc_embeddings = embedder_modell.encode(doc_contents, convert_to_tensor=True)
+        similarity_scores = util.pytorch_cos_sim(question_embedding, doc_embeddings)
+        most_relevant_doc_indices = similarity_scores.argsort(descending=True).squeeze().tolist()
+
+        #Erstelle eine Liste der relevantesten Dokumente
+        most_relevant_docs = [extracted_docs[i] for i in most_relevant_doc_indices]
+
+        #Kombiniere die Inhalte aller relevanten Dokumente
+        combined_content = " ".join([doc["content"] for doc in most_relevant_docs])
+        
+        #Formuliere die Eingabe für das Generierungsmodell
+        input_text = f"frage: {prompt} kontext: {combined_content}"
+
+        answer =  query({"inputs": input_text,})
+
+        # Erstelle das Ergebnis-Dictionary
+         result = {
+            "answer": answer,
+            "relevant_docs": most_relevant_docs
+        }
+   
+    else:
+        # keine relevanten Dokumente gefunden
+        result = {
+            "answer": "Keine relevanten Dokumente gefunden",
+            "relevant_docs": most_relevant_docs
+        }
+        
+    return result
+
+
+def query(payload):
+	response = requests.post(API_URL, headers=headers, json=payload)
+	return response.json()
+	
+
 
 def extract_document_info(documents):
     extracted_info = []