kg

app.py

@@ -11,13 +11,14 @@ def main():
     audit_page = st.Page("audit_page/audit.py", title="Audit", icon="📋", default=True)
     kg_page = st.Page("audit_page/knowledge_graph.py", title="Graphe de connaissance", icon="🧠")
     agents_page = st.Page("agents_page/catalogue.py", title="Catalogue des agents", icon="📇")
+    compte_rendu = st.Page("audit_page/compte_rendu.py", title="Compte rendu", icon="📝")
     recommended_agents = st.Page("agents_page/recommended_agent.py", title="Agents recommandés", icon="⭐")
     chatbot = st.Page("chatbot_page/chatbot.py", title="Chatbot", icon="💬")
     documentation = st.Page("doc_page/documentation.py", title="Documentation", icon="📚")
 
     pg = st.navigation(
         {
-            "Audit de contenus": [audit_page, kg_page],
+            "Audit de contenus": [audit_page, compte_rendu, kg_page],
             "Equipe d'agents IA": [recommended_agents],
             "Chatbot": [chatbot],
             "Documentation": [documentation]

audit_page/compte_rendu.py

@@ -0,0 +1,129 @@
+import streamlit as st
+from textwrap import dedent
+from utils.audit.rag import get_text_from_content_for_doc,get_text_from_content_for_audio
+from utils.audit.response_llm import generate_response_via_langchain
+from langchain_core.messages import AIMessage, HumanMessage
+import pyperclip
+
+
+def cr_main():
+    st.title("Compte rendu")
+
+    if "audit" not in st.session_state or st.session_state.audit == {}:
+        st.error("Veuillez d'abord effectuer un audit pour générer un compte rendu.")
+        return
+    
+    if "cr" not in st.session_state:
+        st.session_state.cr = ""
+    
+    if "cr_chat_history" not in st.session_state:
+        st.session_state.cr_chat_history = [
+        ]
+    
+    audit = st.session_state.audit_simplified
+    content = st.session_state.audit["content"]
+
+    if audit["type de fichier"] == "pdf":
+        text = get_text_from_content_for_doc(content)
+    elif audit["type de fichier"] == "audio":
+        text = get_text_from_content_for_audio(content)
+
+    prompt_cr = dedent(f'''
+
+    À partir du document ci-dessous, générez un compte rendu détaillé contenant les sections suivantes :
+
+    2. **Résumé** : Fournissez un résumé concis du document, en mettant en avant les points principaux, les relations essentielles, les concepts , les dates et les lieux, les conclusions et les détails importants.
+
+    3. **Notes** :
+    - Présentez les points clés sous forme de liste à puces avec des émojis pertinents pour souligner la nature de chaque point.
+    - Incluez des sous-points (sans émojis) sous les points principaux pour offrir des détails ou explications supplémentaires.
+
+    4. **Actions** : Identifiez et listez les actions spécifiques, tâches ou étapes recommandées ou nécessaires selon le contenu du document.
+
+    **Document :**
+                       
+    {text}
+
+    **Format de sortie :**
+
+
+    ### Résumé :
+    [Fournissez un résumé concis du document ici.]
+
+    ### Notes :
+    - 📌 **Point Principal 1**
+    - Sous-point A
+    - Sous-point B
+    - 📈 **Point Principal 2**
+    - Sous-point C
+    - Sous-point D
+    - 📝 **Point Principal 3**
+    - Sous-point E
+    - Sous-point F
+
+    ### Actions :
+    1. [Action 1]
+    2. [Action 2]
+    3. [Action 3]
+    4. ...
+
+    ---
+    ''')
+
+    
+
+    if st.button("Générer compte rendu"):
+
+        with st.spinner("Génération du compte rendu..."):
+            cr = generate_response_via_langchain(prompt_cr,stream=False,model="gpt-4o")
+            st.session_state.cr =  cr
+            st.session_state.cr_chat_history = []
+
+    else: 
+        cr = st.session_state.cr
+    
+    if cr:
+        col1, col2 = st.columns([2.5, 1.5])
+
+        with col1.container(border=True,height=800):
+            st.markdown("##### Compte rendu")
+            st.markdown("### Mots clés extraits:")
+            st.write(f"- {audit['Mots clés'].strip()}")
+            st.write(cr)
+            if st.button("📋",key="copy_transcription"):
+                pyperclip.copy(content["transcription"])
+                st.success("Transcription copiée dans le presse-papier")
+            
+        with col2.container(border=True,height=800):
+            st.markdown("##### Dialoguer avec le CR")
+
+            user_query = st.chat_input("Par ici ...")
+            if user_query is not None and user_query != "":
+                st.session_state.cr_chat_history.append(HumanMessage(content=user_query))
+
+            with st.container(height=650, border=False):
+                for message in st.session_state.cr_chat_history:
+                    if isinstance(message, AIMessage):
+                        with st.chat_message("AI"):
+                            st.markdown(message.content)
+                    elif isinstance(message, HumanMessage):
+                        with st.chat_message("Moi"):
+                            st.write(message.content)
+            
+                #check if last message is human message
+                if len(st.session_state.cr_chat_history) > 0:
+                    last_message = st.session_state.cr_chat_history[-1]
+                    if isinstance(last_message, HumanMessage):
+                        with st.chat_message("AI"):
+                            retreive = st.session_state.vectorstore.as_retriever()
+                            context = retreive.invoke(last_message.content)
+                            wrapped_prompt = f'''Étant donné le contexte suivant {context} et le compte rendu du document {cr}, {last_message.content}'''
+                            response = st.write_stream(generate_response_via_langchain(wrapped_prompt,stream=True))
+                            st.session_state.cr_chat_history.append(AIMessage(content=response))
+
+                
+cr_main()
+
+
+
+    

audit_page/knowledge_graph.py

@@ -6,6 +6,7 @@ import random
 import math
 from utils.audit.response_llm import generate_response_via_langchain
 from langchain_core.messages import AIMessage, HumanMessage
+from langchain_core.prompts import PromptTemplate
 
 def if_node_exists(nodes, node_id):
     """
@@ -150,8 +151,13 @@ def kg_main():
         st.error("Veuillez d'abord effectuer un audit pour visualiser le graphe de connaissance.")
         return
     
+    if "cr" not in st.session_state:
+        st.error("Veuillez d'abord effectuer un compte rendu pour visualiser le graphe de connaissance.")
+        return
+    
     if "graph" not in st.session_state:
         st.session_state.graph = None
+
     st.title("Graphe de connaissance")
 
     if "node_types" not in st.session_state:
@@ -164,12 +170,14 @@ def kg_main():
         st.session_state.chat_graph_history = []
     
     audit = st.session_state.audit_simplified
-    content = st.session_state.audit["content"]
+    # content = st.session_state.audit["content"]
 
-    if audit["type de fichier"] == "pdf":
-        text = get_text_from_content_for_doc(content)
-    elif audit["type de fichier"] == "audio":
-        text = get_text_from_content_for_audio(content)
+    # if audit["type de fichier"] == "pdf":
+    #     text = get_text_from_content_for_doc(content)
+    # elif audit["type de fichier"] == "audio":
+    #     text = get_text_from_content_for_audio(content)
+
+    text = st.session_state.cr + "mots clés" + audit["Mots clés"]
     
     #summary_prompt = f"Voici un ensemble de documents : {text}. À partir de ces documents, veuillez fournir des résumés concis en vous concentrant sur l'extraction des relations essentielles et des événements. Il est crucial d'inclure les dates des actions ou des événements, car elles seront utilisées pour l'analyse chronologique. Par exemple : 'Sam a été licencié par le conseil d'administration d'OpenAI le 17 novembre 2023 (17 novembre, vendredi)', ce qui illustre la relation entre Sam et OpenAI ainsi que la date de l'événement."
 
@@ -179,7 +187,9 @@ def kg_main():
         #     st.session_state.summary = sum
 
         with st.spinner("Génération du graphe..."):
-            graph = get_graph(text)
+            keywords_list = audit["Mots clés"].strip().split(",")
+            allowed_nodes_types =keywords_list+ ["Person","Organization","Location","Event","Date","Time","Ressource","Concept"]
+            graph = get_graph(text,allowed_nodes=allowed_nodes_types)
             st.session_state.graph = graph
         
         node_types = get_node_types(graph[0])
@@ -212,34 +222,39 @@ def kg_main():
         with col2.container(border=True,height=800):
             st.markdown("##### Dialoguer avec le graphe")
 
-            for message in st.session_state.chat_graph_history:
-                if isinstance(message, AIMessage):
-                    with st.chat_message("AI"):
-                        st.markdown(message.content)
-                elif isinstance(message, HumanMessage):
-                    with st.chat_message("Moi"):
-                        st.write(message.content)
-            
-            #check if last message is human message
-            if len(st.session_state.chat_graph_history) > 0:
-                last_message = st.session_state.chat_graph_history[-1]
-                if isinstance(last_message, HumanMessage):
-                    with st.chat_message("AI"):
-                        retreive = st.session_state.vectorstore.as_retriever()
-                        context = retreive.invoke(last_message.content)
-                        wrapped_prompt = f"Étant donné le contexte suivant {context}, {last_message.content}"
-                        response = st.write_stream(generate_response_via_langchain(wrapped_prompt,stream=True))
-                        st.session_state.chat_graph_history.append(AIMessage(content=response))
-
-            if selected is not None:
-                    with st.chat_message("AI"):
-                        st.markdown(f" EXPLORER LES DONNEES CONTENUES DANS **{selected}**")
-
-                        prompts = [f"Extrait moi toutes les informations du noeud ''{selected}'' ➡️",
-                                f"Montre moi les conversations autour du noeud ''{selected}'' ➡️"]
-                        
-                        for i,prompt in enumerate(prompts):
-                            button = st.button(prompt,key=f"p_{i}",on_click=lambda i=i: st.session_state.chat_graph_history.append(HumanMessage(content=prompts[i])))
+            user_query = st.chat_input("Par ici ...")
+            if user_query is not None and user_query != "":
+                st.session_state.chat_graph_history.append(HumanMessage(content=user_query))
+
+            with st.container(height=650, border=False):
+                for message in st.session_state.chat_graph_history:
+                    if isinstance(message, AIMessage):
+                        with st.chat_message("AI"):
+                            st.markdown(message.content)
+                    elif isinstance(message, HumanMessage):
+                        with st.chat_message("Moi"):
+                            st.write(message.content)
+                
+                #check if last message is human message
+                if len(st.session_state.chat_graph_history) > 0:
+                    last_message = st.session_state.chat_graph_history[-1]
+                    if isinstance(last_message, HumanMessage):
+                        with st.chat_message("AI"):
+                            retreive = st.session_state.vectorstore.as_retriever()
+                            context = retreive.invoke(last_message.content)
+                            wrapped_prompt = f"Étant donné le contexte suivant {context}, et le graph de connaissance: {graph}, {last_message.content}"
+                            response = st.write_stream(generate_response_via_langchain(wrapped_prompt,stream=True))
+                            st.session_state.chat_graph_history.append(AIMessage(content=response))
+
+                if selected is not None:
+                        with st.chat_message("AI"):
+                            st.markdown(f" EXPLORER LES DONNEES CONTENUES DANS **{selected}**")
+
+                            prompts = [f"Extrait moi toutes les informations du noeud ''{selected}'' ➡️",
+                                    f"Montre moi les conversations autour du noeud ''{selected}'' ➡️"]
+                            
+                            for i,prompt in enumerate(prompts):
+                                button = st.button(prompt,key=f"p_{i}",on_click=lambda i=i: st.session_state.chat_graph_history.append(HumanMessage(content=prompts[i])))
             
             
 

utils/audit/audit_doc.py

@@ -170,8 +170,8 @@ def audit_descriptif_pdf(file,max_img_width) -> dict:
     text = " ".join([page["texte"] for page in doc_content.values()])
     key_words = extract_keywords(text)
     list_key_words_text = "\n".join(key_words[:10])
-    prompt = f'''Voici une liste de mots et phrases provenant d'un document :
-        - {list_key_words_text}
+    prompt = f'''Voici le document:
+        - {text}
         Veuillez extraire les cinq mots clés les plus pertinents de cette liste. Chaque mot clé doit contenir au maximum deux mots.
 
         TA REPONSE DOIT RESPECTER LE FORMAT SUIVANT :

utils/kg/construct_kg.py

@@ -3,11 +3,14 @@ from langchain_experimental.graph_transformers import LLMGraphTransformer
 from langchain_openai import ChatOpenAI
 from langchain_core.documents import Document
 
-def get_graph(text):
+def get_graph(text,allowed_nodes=None,prompt=None):
     
     llm = ChatOpenAI(temperature=0, model_name="gpt-4o")
 
-    llm_transformer = LLMGraphTransformer(llm=llm)
+    if allowed_nodes:
+        llm_transformer =   LLMGraphTransformer(llm=llm,allowed_nodes=allowed_nodes)
+    else:
+        llm_transformer = LLMGraphTransformer(llm=llm)
     documents = [Document(page_content=text)]
 
     graph_documents = llm_transformer.convert_to_graph_documents(documents)