Update utils.py
Browse files
utils.py
CHANGED
@@ -67,7 +67,7 @@ from nltk.corpus import stopwords
|
|
67 |
from nltk.tokenize import word_tokenize
|
68 |
from nltk.stem import WordNetLemmatizer, PorterStemmer
|
69 |
from nltk.tokenize import RegexpTokenizer
|
70 |
-
from transformers import BertModel, BertTokenizer
|
71 |
from nltk.stem.snowball import SnowballStemmer
|
72 |
|
73 |
from sklearn.feature_extraction.text import TfidfVectorizer
|
@@ -397,12 +397,19 @@ def rag_chain(llm, prompt, retriever):
|
|
397 |
#############################################
|
398 |
#Verschiedene LLMs ausprobieren
|
399 |
#############################################
|
400 |
-
#Alternative, wenn llm direkt übergeben....................................
|
401 |
#llm_chain = LLMChain(llm = llm, prompt = RAG_CHAIN_PROMPT)
|
402 |
#answer = llm_chain.run({"context": combined_content, "question": prompt})
|
403 |
-
|
|
|
|
|
404 |
answer = query(llm, {"inputs": input_text,})
|
405 |
|
|
|
|
|
|
|
|
|
|
|
406 |
# Erstelle das Ergebnis-Dictionary
|
407 |
result = {
|
408 |
"answer": answer,
|
|
|
67 |
from nltk.tokenize import word_tokenize
|
68 |
from nltk.stem import WordNetLemmatizer, PorterStemmer
|
69 |
from nltk.tokenize import RegexpTokenizer
|
70 |
+
from transformers import BertModel, BertTokenizer, pipeline
|
71 |
from nltk.stem.snowball import SnowballStemmer
|
72 |
|
73 |
from sklearn.feature_extraction.text import TfidfVectorizer
|
|
|
397 |
#############################################
|
398 |
#Verschiedene LLMs ausprobieren
|
399 |
#############################################
|
400 |
+
#1. Alternative, wenn llm direkt übergeben....................................
|
401 |
#llm_chain = LLMChain(llm = llm, prompt = RAG_CHAIN_PROMPT)
|
402 |
#answer = llm_chain.run({"context": combined_content, "question": prompt})
|
403 |
+
|
404 |
+
|
405 |
+
#2. Alternative, wenn mit API_URL ...........................................
|
406 |
answer = query(llm, {"inputs": input_text,})
|
407 |
|
408 |
+
#3. Alternative: mit pipeline
|
409 |
+
#messages = [{"role": "user", "content": input_text},]
|
410 |
+
#pipe = pipeline("text-generation", model="microsoft/Phi-3-mini-128k-instruct", trust_remote_code=True)
|
411 |
+
#answer = pipe(messages)
|
412 |
+
|
413 |
# Erstelle das Ergebnis-Dictionary
|
414 |
result = {
|
415 |
"answer": answer,
|