Update utils.py
Browse files
utils.py
CHANGED
@@ -144,10 +144,14 @@ urls = [
|
|
144 |
##################################################
|
145 |
#Modell und Tokenizer für die Anfrage der RAG Chain
|
146 |
##################################################
|
147 |
-
# Schritt 1:
|
|
|
148 |
embedder_modell = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") #'all-MiniLM-L6-v2')
|
149 |
EMBEDDING_MODELL = "sentence-transformers/all-mpnet-base-v2"
|
150 |
-
|
|
|
|
|
|
|
151 |
modell_rag = AutoModelForSeq2SeqLM.from_pretrained(HF_MODELL)
|
152 |
tokenizer_rag = AutoTokenizer.from_pretrained(HF_MODELL)
|
153 |
|
|
|
144 |
##################################################
|
145 |
#Modell und Tokenizer für die Anfrage der RAG Chain
|
146 |
##################################################
|
147 |
+
# Schritt 1: Embedding Modelle, um relvante Texte zu einem Prompt zu finden
|
148 |
+
#sowohl die texte als auch der Prompt werden embeddet!
|
149 |
embedder_modell = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") #'all-MiniLM-L6-v2')
|
150 |
EMBEDDING_MODELL = "sentence-transformers/all-mpnet-base-v2"
|
151 |
+
|
152 |
+
#Modell und Tokenizer, um die Summary über die relevanten Texte zu machen
|
153 |
+
#mögliche Modelle: "HuggingFaceH4/zephyr-7b-alpha" #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha"
|
154 |
+
HF_MODELL = "HuggingFaceH4/zephyr-7b-alpha"
|
155 |
modell_rag = AutoModelForSeq2SeqLM.from_pretrained(HF_MODELL)
|
156 |
tokenizer_rag = AutoTokenizer.from_pretrained(HF_MODELL)
|
157 |
|