RAG_ChatBot (1).ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "gpuType": "T4"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU",
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "95135ba6ca104151abab245f938b46a1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_7c0719ab78e3479393e2e160f7bd7a4c",
              "IPY_MODEL_1395931983524aa58dfb7a603c952748",
              "IPY_MODEL_e05f535e386e482da0450c2ca0594c42"
            ],
            "layout": "IPY_MODEL_b5318f98281a43d388ff7868a2e69cbd"
          }
        },
        "7c0719ab78e3479393e2e160f7bd7a4c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_00d64df484074630a2be9bedbcaec9ab",
            "placeholder": "​",
            "style": "IPY_MODEL_8be96f5efde442bbb1e44e8658d2fa6f",
            "value": "Loading checkpoint shards: 100%"
          }
        },
        "1395931983524aa58dfb7a603c952748": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_68c6d56e98734bc7a49859ec57f462ad",
            "max": 2,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_e5b15807c72d4e69be4051c90d9649d4",
            "value": 2
          }
        },
        "e05f535e386e482da0450c2ca0594c42": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f04d5e153ee94795bd6a7848be30789a",
            "placeholder": "​",
            "style": "IPY_MODEL_f4d5244ed5634e99b4e1719d77bd1676",
            "value": " 2/2 [00:27<00:00, 11.71s/it]"
          }
        },
        "b5318f98281a43d388ff7868a2e69cbd": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "00d64df484074630a2be9bedbcaec9ab": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "8be96f5efde442bbb1e44e8658d2fa6f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "68c6d56e98734bc7a49859ec57f462ad": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "e5b15807c72d4e69be4051c90d9649d4": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "f04d5e153ee94795bd6a7848be30789a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f4d5244ed5634e99b4e1719d77bd1676": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "code",
      "execution_count": 2,
      "metadata": {
        "id": "ZZzhbHyTbFed"
      },
      "outputs": [],
      "source": [
        "!pip install -q transformers sentence_transformers faiss-cpu torch PyPDF2 nltk"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install -U langchain-community\n",
        "from langchain.vectorstores import Qdrant\n",
        "from langchain.embeddings import HuggingFaceBgeEmbeddings\n",
        "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
        "from langchain.document_loaders import PyPDFDirectoryLoader,TextLoader"
      ],
      "metadata": {
        "id": "jlkvzNn_bzX1",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "3b899e09-e0af-4d7c-f122-9edda8c44b52"
      },
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Requirement already satisfied: langchain-community in /usr/local/lib/python3.10/dist-packages (0.3.11)\n",
            "Requirement already satisfied: PyYAML>=5.3 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (6.0.2)\n",
            "Requirement already satisfied: SQLAlchemy<3,>=1.4 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (2.0.36)\n",
            "Requirement already satisfied: aiohttp<4.0.0,>=3.8.3 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (3.11.9)\n",
            "Requirement already satisfied: dataclasses-json<0.7,>=0.5.7 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (0.6.7)\n",
            "Requirement already satisfied: httpx-sse<0.5.0,>=0.4.0 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (0.4.0)\n",
            "Requirement already satisfied: langchain<0.4.0,>=0.3.11 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (0.3.11)\n",
            "Requirement already satisfied: langchain-core<0.4.0,>=0.3.24 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (0.3.24)\n",
            "Requirement already satisfied: langsmith<0.3,>=0.1.125 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (0.1.147)\n",
            "Requirement already satisfied: numpy<2,>=1.22.4 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (1.26.4)\n",
            "Requirement already satisfied: pydantic-settings<3.0.0,>=2.4.0 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (2.6.1)\n",
            "Requirement already satisfied: requests<3,>=2 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (2.32.3)\n",
            "Requirement already satisfied: tenacity!=8.4.0,<10,>=8.1.0 in /usr/local/lib/python3.10/dist-packages (from langchain-community) (9.0.0)\n",
            "Requirement already satisfied: aiohappyeyeballs>=2.3.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (2.4.4)\n",
            "Requirement already satisfied: aiosignal>=1.1.2 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (1.3.1)\n",
            "Requirement already satisfied: async-timeout<6.0,>=4.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (4.0.3)\n",
            "Requirement already satisfied: attrs>=17.3.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (24.2.0)\n",
            "Requirement already satisfied: frozenlist>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (1.5.0)\n",
            "Requirement already satisfied: multidict<7.0,>=4.5 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (6.1.0)\n",
            "Requirement already satisfied: propcache>=0.2.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (0.2.1)\n",
            "Requirement already satisfied: yarl<2.0,>=1.17.0 in /usr/local/lib/python3.10/dist-packages (from aiohttp<4.0.0,>=3.8.3->langchain-community) (1.18.3)\n",
            "Requirement already satisfied: marshmallow<4.0.0,>=3.18.0 in /usr/local/lib/python3.10/dist-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community) (3.23.1)\n",
            "Requirement already satisfied: typing-inspect<1,>=0.4.0 in /usr/local/lib/python3.10/dist-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community) (0.9.0)\n",
            "Requirement already satisfied: langchain-text-splitters<0.4.0,>=0.3.0 in /usr/local/lib/python3.10/dist-packages (from langchain<0.4.0,>=0.3.11->langchain-community) (0.3.2)\n",
            "Requirement already satisfied: pydantic<3.0.0,>=2.7.4 in /usr/local/lib/python3.10/dist-packages (from langchain<0.4.0,>=0.3.11->langchain-community) (2.10.3)\n",
            "Requirement already satisfied: jsonpatch<2.0,>=1.33 in /usr/local/lib/python3.10/dist-packages (from langchain-core<0.4.0,>=0.3.24->langchain-community) (1.33)\n",
            "Requirement already satisfied: packaging<25,>=23.2 in /usr/local/lib/python3.10/dist-packages (from langchain-core<0.4.0,>=0.3.24->langchain-community) (24.2)\n",
            "Requirement already satisfied: typing-extensions>=4.7 in /usr/local/lib/python3.10/dist-packages (from langchain-core<0.4.0,>=0.3.24->langchain-community) (4.12.2)\n",
            "Requirement already satisfied: httpx<1,>=0.23.0 in /usr/local/lib/python3.10/dist-packages (from langsmith<0.3,>=0.1.125->langchain-community) (0.28.0)\n",
            "Requirement already satisfied: orjson<4.0.0,>=3.9.14 in /usr/local/lib/python3.10/dist-packages (from langsmith<0.3,>=0.1.125->langchain-community) (3.10.12)\n",
            "Requirement already satisfied: requests-toolbelt<2.0.0,>=1.0.0 in /usr/local/lib/python3.10/dist-packages (from langsmith<0.3,>=0.1.125->langchain-community) (1.0.0)\n",
            "Requirement already satisfied: python-dotenv>=0.21.0 in /usr/local/lib/python3.10/dist-packages (from pydantic-settings<3.0.0,>=2.4.0->langchain-community) (1.0.1)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests<3,>=2->langchain-community) (3.4.0)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests<3,>=2->langchain-community) (3.10)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests<3,>=2->langchain-community) (2.2.3)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests<3,>=2->langchain-community) (2024.8.30)\n",
            "Requirement already satisfied: greenlet!=0.4.17 in /usr/local/lib/python3.10/dist-packages (from SQLAlchemy<3,>=1.4->langchain-community) (3.1.1)\n",
            "Requirement already satisfied: anyio in /usr/local/lib/python3.10/dist-packages (from httpx<1,>=0.23.0->langsmith<0.3,>=0.1.125->langchain-community) (3.7.1)\n",
            "Requirement already satisfied: httpcore==1.* in /usr/local/lib/python3.10/dist-packages (from httpx<1,>=0.23.0->langsmith<0.3,>=0.1.125->langchain-community) (1.0.7)\n",
            "Requirement already satisfied: h11<0.15,>=0.13 in /usr/local/lib/python3.10/dist-packages (from httpcore==1.*->httpx<1,>=0.23.0->langsmith<0.3,>=0.1.125->langchain-community) (0.14.0)\n",
            "Requirement already satisfied: jsonpointer>=1.9 in /usr/local/lib/python3.10/dist-packages (from jsonpatch<2.0,>=1.33->langchain-core<0.4.0,>=0.3.24->langchain-community) (3.0.0)\n",
            "Requirement already satisfied: annotated-types>=0.6.0 in /usr/local/lib/python3.10/dist-packages (from pydantic<3.0.0,>=2.7.4->langchain<0.4.0,>=0.3.11->langchain-community) (0.7.0)\n",
            "Requirement already satisfied: pydantic-core==2.27.1 in /usr/local/lib/python3.10/dist-packages (from pydantic<3.0.0,>=2.7.4->langchain<0.4.0,>=0.3.11->langchain-community) (2.27.1)\n",
            "Requirement already satisfied: mypy-extensions>=0.3.0 in /usr/local/lib/python3.10/dist-packages (from typing-inspect<1,>=0.4.0->dataclasses-json<0.7,>=0.5.7->langchain-community) (1.0.0)\n",
            "Requirement already satisfied: sniffio>=1.1 in /usr/local/lib/python3.10/dist-packages (from anyio->httpx<1,>=0.23.0->langsmith<0.3,>=0.1.125->langchain-community) (1.3.1)\n",
            "Requirement already satisfied: exceptiongroup in /usr/local/lib/python3.10/dist-packages (from anyio->httpx<1,>=0.23.0->langsmith<0.3,>=0.1.125->langchain-community) (1.2.2)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import torch\n",
        "from transformers import AutoTokenizer, AutoModelForCausalLM\n",
        "from sentence_transformers import SentenceTransformer\n",
        "!pip install faiss-cpu\n",
        "!pip install sentence-transformers\n",
        "import faiss\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "!\n",
        "import PyPDF2\n",
        "import os\n",
        "import nltk\n",
        "# nltk.download('punkt')\n",
        "nltk.download('punkt_tab')\n",
        "from nltk.tokenize import sent_tokenize\n",
        "from google.colab import userdata"
      ],
      "metadata": {
        "id": "PPBaElOGb0um",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "712aa030-a0eb-450f-fb31-dd7e0151b297"
      },
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Requirement already satisfied: faiss-cpu in /usr/local/lib/python3.10/dist-packages (1.9.0.post1)\n",
            "Requirement already satisfied: numpy<3.0,>=1.25.0 in /usr/local/lib/python3.10/dist-packages (from faiss-cpu) (1.26.4)\n",
            "Requirement already satisfied: packaging in /usr/local/lib/python3.10/dist-packages (from faiss-cpu) (24.2)\n",
            "Requirement already satisfied: sentence-transformers in /usr/local/lib/python3.10/dist-packages (3.2.1)\n",
            "Requirement already satisfied: transformers<5.0.0,>=4.41.0 in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (4.46.3)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (4.66.6)\n",
            "Requirement already satisfied: torch>=1.11.0 in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (2.5.1+cu121)\n",
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (1.5.2)\n",
            "Requirement already satisfied: scipy in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (1.13.1)\n",
            "Requirement already satisfied: huggingface-hub>=0.20.0 in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (0.26.3)\n",
            "Requirement already satisfied: Pillow in /usr/local/lib/python3.10/dist-packages (from sentence-transformers) (11.0.0)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (3.16.1)\n",
            "Requirement already satisfied: fsspec>=2023.5.0 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (2024.10.0)\n",
            "Requirement already satisfied: packaging>=20.9 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (24.2)\n",
            "Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (6.0.2)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (2.32.3)\n",
            "Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.20.0->sentence-transformers) (4.12.2)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.10/dist-packages (from torch>=1.11.0->sentence-transformers) (3.4.2)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from torch>=1.11.0->sentence-transformers) (3.1.4)\n",
            "Requirement already satisfied: sympy==1.13.1 in /usr/local/lib/python3.10/dist-packages (from torch>=1.11.0->sentence-transformers) (1.13.1)\n",
            "Requirement already satisfied: mpmath<1.4,>=1.1.0 in /usr/local/lib/python3.10/dist-packages (from sympy==1.13.1->torch>=1.11.0->sentence-transformers) (1.3.0)\n",
            "Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.41.0->sentence-transformers) (1.26.4)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.41.0->sentence-transformers) (2024.9.11)\n",
            "Requirement already satisfied: tokenizers<0.21,>=0.20 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.41.0->sentence-transformers) (0.20.3)\n",
            "Requirement already satisfied: safetensors>=0.4.1 in /usr/local/lib/python3.10/dist-packages (from transformers<5.0.0,>=4.41.0->sentence-transformers) (0.4.5)\n",
            "Requirement already satisfied: joblib>=1.2.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn->sentence-transformers) (1.4.2)\n",
            "Requirement already satisfied: threadpoolctl>=3.1.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn->sentence-transformers) (3.5.0)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->torch>=1.11.0->sentence-transformers) (3.0.2)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.20.0->sentence-transformers) (3.4.0)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.20.0->sentence-transformers) (3.10)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.20.0->sentence-transformers) (2.2.3)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.20.0->sentence-transformers) (2024.8.30)\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "[nltk_data] Downloading package punkt_tab to /root/nltk_data...\n",
            "[nltk_data]   Package punkt_tab is already up-to-date!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "HUGGING_FACE_ACCESS_TOKEN = userdata.get('HF_TOKEN_Z')\n",
        "\n",
        "model_name = 'google/gemma-2-2b-it'\n",
        "\n",
        "model = AutoModelForCausalLM.from_pretrained(\n",
        "    model_name,\n",
        "    torch_dtype=torch.float16,\n",
        "    token=HUGGING_FACE_ACCESS_TOKEN\n",
        "    ).to('cuda')\n",
        "\n",
        "tokenizer = AutoTokenizer.from_pretrained(model_name, token=HUGGING_FACE_ACCESS_TOKEN)"
      ],
      "metadata": {
        "id": "j_41WiGgb37x",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 49,
          "referenced_widgets": [
            "95135ba6ca104151abab245f938b46a1",
            "7c0719ab78e3479393e2e160f7bd7a4c",
            "1395931983524aa58dfb7a603c952748",
            "e05f535e386e482da0450c2ca0594c42",
            "b5318f98281a43d388ff7868a2e69cbd",
            "00d64df484074630a2be9bedbcaec9ab",
            "8be96f5efde442bbb1e44e8658d2fa6f",
            "68c6d56e98734bc7a49859ec57f462ad",
            "e5b15807c72d4e69be4051c90d9649d4",
            "f04d5e153ee94795bd6a7848be30789a",
            "f4d5244ed5634e99b4e1719d77bd1676"
          ]
        },
        "outputId": "ab4bff38-76d8-4f60-bb91-36e628fec941"
      },
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "Loading checkpoint shards:   0%|          | 0/2 [00:00<?, ?it/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "95135ba6ca104151abab245f938b46a1"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "def extract_text_from_pdf(pdf_path):\n",
        "    try:\n",
        "        with open(pdf_path, 'rb') as file:\n",
        "            reader = PyPDF2.PdfReader(file)\n",
        "            text = \"\".join([page.extract_text() for page in reader.pages])\n",
        "        return text\n",
        "    except Exception as e:\n",
        "        print(f\"Error reading {pdf_path}: {e}\")\n",
        "        return \"\"\n",
        "\n",
        "def split_text_into_chunks(text, max_chunk_size=1000):\n",
        "    sentences = sent_tokenize(text)\n",
        "    chunks = []\n",
        "    current_chunk = \"\"\n",
        "\n",
        "    for sentence in sentences:\n",
        "        if len(current_chunk) + len(sentence) <= max_chunk_size:\n",
        "            current_chunk += sentence + \" \"\n",
        "        else:\n",
        "            chunks.append(current_chunk.strip())\n",
        "            current_chunk = sentence + \" \"\n",
        "\n",
        "    if current_chunk:\n",
        "        chunks.append(current_chunk.strip())\n",
        "\n",
        "    return chunks"
      ],
      "metadata": {
        "id": "Hg_hYwQ6b5xU"
      },
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ],
      "metadata": {
        "id": "f8iaap2ib7Vl",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "58a4a282-6796-4097-dee9-d0f3b74f3394"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount(\"/content/drive\", force_remount=True).\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# check list pdfs and replace with yourpath\n",
        "\n",
        "os.chdir('/content/drive/MyDrive/Data')\n",
        "!ls"
      ],
      "metadata": {
        "id": "Ry1jQWXCb82A",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "44771696-6c6d-42d1-b8e9-b6dd0f3a877a"
      },
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "data_cleaned_aisc.pdf\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "encoder = SentenceTransformer('all-MiniLM-L6-v2')\n",
        "\n",
        "# Process PDF files\n",
        "pdf_directory = \"/content/drive/MyDrive/Data\"\n",
        "df_documents = pd.DataFrame(columns=['path', 'text_chunks', 'embeddings'])\n",
        "\n",
        "for filename in os.listdir(pdf_directory):\n",
        "    if filename.endswith(\".pdf\"):\n",
        "        print(filename)\n",
        "        pdf_path = os.path.join(pdf_directory, filename)\n",
        "        text = extract_text_from_pdf(pdf_path)\n",
        "        chunks = split_text_into_chunks(text)\n",
        "        document_embeddings = encoder.encode(chunks)\n",
        "        new_row = pd.DataFrame({'path': [pdf_path], 'text_chunks': [chunks], 'embeddings': [document_embeddings]})\n",
        "        df_documents = pd.concat([df_documents, new_row], ignore_index=True)\n",
        "\n",
        "df_documents"
      ],
      "metadata": {
        "id": "JUqcsy6sb-Y0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 106
        },
        "outputId": "9c235f52-88a1-4ad8-c07e-94227745cad3"
      },
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "data_cleaned_aisc.pdf\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "                                                path  \\\n",
              "0  /content/drive/MyDrive/Data/data_cleaned_aisc.pdf   \n",
              "\n",
              "                                         text_chunks  \\\n",
              "0  [Keo - Pad tản nhiệt là gì? Keo - Pad tản nhiệ...   \n",
              "\n",
              "                                          embeddings  \n",
              "0  [[0.0036073995, -0.059478104, 0.06371901, -0.0...  "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-9cc63421-bb32-46ec-a442-27cbbf2da9f9\" class=\"colab-df-container\">\n",
              "    <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>path</th>\n",
              "      <th>text_chunks</th>\n",
              "      <th>embeddings</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>/content/drive/MyDrive/Data/data_cleaned_aisc.pdf</td>\n",
              "      <td>[Keo - Pad tản nhiệt là gì? Keo - Pad tản nhiệ...</td>\n",
              "      <td>[[0.0036073995, -0.059478104, 0.06371901, -0.0...</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "    <div class=\"colab-df-buttons\">\n",
              "\n",
              "  <div class=\"colab-df-container\">\n",
              "    <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-9cc63421-bb32-46ec-a442-27cbbf2da9f9')\"\n",
              "            title=\"Convert this dataframe to an interactive table.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\" viewBox=\"0 -960 960 960\">\n",
              "    <path d=\"M120-120v-720h720v720H120Zm60-500h600v-160H180v160Zm220 220h160v-160H400v160Zm0 220h160v-160H400v160ZM180-400h160v-160H180v160Zm440 0h160v-160H620v160ZM180-180h160v-160H180v160Zm440 0h160v-160H620v160Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "\n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    .colab-df-buttons div {\n",
              "      margin-bottom: 4px;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "    <script>\n",
              "      const buttonEl =\n",
              "        document.querySelector('#df-9cc63421-bb32-46ec-a442-27cbbf2da9f9 button.colab-df-convert');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      async function convertToInteractive(key) {\n",
              "        const element = document.querySelector('#df-9cc63421-bb32-46ec-a442-27cbbf2da9f9');\n",
              "        const dataTable =\n",
              "          await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                    [key], {});\n",
              "        if (!dataTable) return;\n",
              "\n",
              "        const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "          '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "          + ' to learn more about interactive tables.';\n",
              "        element.innerHTML = '';\n",
              "        dataTable['output_type'] = 'display_data';\n",
              "        await google.colab.output.renderOutput(dataTable, element);\n",
              "        const docLink = document.createElement('div');\n",
              "        docLink.innerHTML = docLinkHtml;\n",
              "        element.appendChild(docLink);\n",
              "      }\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "\n",
              "  <div id=\"id_c5591e82-595e-4add-9b94-d608b8a3b092\">\n",
              "    <style>\n",
              "      .colab-df-generate {\n",
              "        background-color: #E8F0FE;\n",
              "        border: none;\n",
              "        border-radius: 50%;\n",
              "        cursor: pointer;\n",
              "        display: none;\n",
              "        fill: #1967D2;\n",
              "        height: 32px;\n",
              "        padding: 0 0 0 0;\n",
              "        width: 32px;\n",
              "      }\n",
              "\n",
              "      .colab-df-generate:hover {\n",
              "        background-color: #E2EBFA;\n",
              "        box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "        fill: #174EA6;\n",
              "      }\n",
              "\n",
              "      [theme=dark] .colab-df-generate {\n",
              "        background-color: #3B4455;\n",
              "        fill: #D2E3FC;\n",
              "      }\n",
              "\n",
              "      [theme=dark] .colab-df-generate:hover {\n",
              "        background-color: #434B5C;\n",
              "        box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "        filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "        fill: #FFFFFF;\n",
              "      }\n",
              "    </style>\n",
              "    <button class=\"colab-df-generate\" onclick=\"generateWithVariable('df_documents')\"\n",
              "            title=\"Generate code using this dataframe.\"\n",
              "            style=\"display:none;\">\n",
              "\n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M7,19H8.4L18.45,9,17,7.55,7,17.6ZM5,21V16.75L18.45,3.32a2,2,0,0,1,2.83,0l1.4,1.43a1.91,1.91,0,0,1,.58,1.4,1.91,1.91,0,0,1-.58,1.4L9.25,21ZM18.45,9,17,7.55Zm-12,3A5.31,5.31,0,0,0,4.9,8.1,5.31,5.31,0,0,0,1,6.5,5.31,5.31,0,0,0,4.9,4.9,5.31,5.31,0,0,0,6.5,1,5.31,5.31,0,0,0,8.1,4.9,5.31,5.31,0,0,0,12,6.5,5.46,5.46,0,0,0,6.5,12Z\"/>\n",
              "  </svg>\n",
              "    </button>\n",
              "    <script>\n",
              "      (() => {\n",
              "      const buttonEl =\n",
              "        document.querySelector('#id_c5591e82-595e-4add-9b94-d608b8a3b092 button.colab-df-generate');\n",
              "      buttonEl.style.display =\n",
              "        google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "      buttonEl.onclick = () => {\n",
              "        google.colab.notebook.generateWithVariable('df_documents');\n",
              "      }\n",
              "      })();\n",
              "    </script>\n",
              "  </div>\n",
              "\n",
              "    </div>\n",
              "  </div>\n"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "dataframe",
              "variable_name": "df_documents",
              "summary": "{\n  \"name\": \"df_documents\",\n  \"rows\": 1,\n  \"fields\": [\n    {\n      \"column\": \"path\",\n      \"properties\": {\n        \"dtype\": \"string\",\n        \"num_unique_values\": 1,\n        \"samples\": [\n          \"/content/drive/MyDrive/Data/data_cleaned_aisc.pdf\"\n        ],\n        \"semantic_type\": \"\",\n        \"description\": \"\"\n      }\n    },\n    {\n      \"column\": \"text_chunks\",\n      \"properties\": {\n        \"dtype\": \"object\",\n        \"semantic_type\": \"\",\n        \"description\": \"\"\n      }\n    },\n    {\n      \"column\": \"embeddings\",\n      \"properties\": {\n        \"dtype\": \"object\",\n        \"semantic_type\": \"\",\n        \"description\": \"\"\n      }\n    }\n  ]\n}"
            }
          },
          "metadata": {},
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "all_embeddings = np.vstack(df_documents['embeddings'].tolist())\n",
        "dimension = all_embeddings.shape[1]\n",
        "index = faiss.IndexFlatL2(dimension)\n",
        "index.add(all_embeddings)"
      ],
      "metadata": {
        "id": "eQljqN_ScAuQ"
      },
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def find_most_similar_chunks(query, top_k=3):\n",
        "    query_embedding = encoder.encode([query])\n",
        "    distances, indices = index.search(query_embedding, top_k)\n",
        "    results = []\n",
        "    total_chunks = sum(len(chunks) for chunks in df_documents['text_chunks'])\n",
        "    for i, idx in enumerate(indices[0]):\n",
        "        if idx < total_chunks:\n",
        "            doc_idx = 0\n",
        "            chunk_idx = idx\n",
        "            while chunk_idx >= len(df_documents['text_chunks'].iloc[doc_idx]):\n",
        "                chunk_idx -= len(df_documents['text_chunks'].iloc[doc_idx])\n",
        "                doc_idx += 1\n",
        "            results.append({\n",
        "                'document': df_documents['path'].iloc[doc_idx],\n",
        "                'chunk': df_documents['text_chunks'].iloc[doc_idx][chunk_idx],\n",
        "                'distance': distances[0][i]\n",
        "            })\n",
        "    return results\n",
        "\n",
        "def generate_response(query, context, max_length=1000):\n",
        "    # query_template = \"Bạn là một chatbot tư vấn khách hàng. Hãy trả lời câu hỏi sau dựa trên ngữ cảnh, nếu ngữ cảnh không cung cấp câu trả lời hoặc không chắc chắn hãy trả lời 'Tôi không biết thông tin này, tuy nhiên đoạn thông tin dưới phần tham khảo có thể có câu trả lời cho bạn!' đừng cố tạo ra câu trả lời không có trong ngữ cảnh.\\nNgữ cảnh: {context} \\nCâu hỏi: {question}\\nTrả lời: \"\n",
        "    # query_template = \"Tham khảo ngữ cảnh:{context}\\n\\n### Câu hỏi:{question}\\n\\n### Trả lời:\"\n",
        "    prompt = f\"Context: {context}\\n\\nQuestion: {query}\\n\\nAnswer:\"\n",
        "    input_ids = tokenizer(prompt, return_tensors=\"pt\").input_ids.to('cuda')\n",
        "\n",
        "    with torch.no_grad():\n",
        "        output = model.generate(input_ids, max_new_tokens=max_length, num_return_sequences=1)\n",
        "\n",
        "    decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "\n",
        "    # Extracting the answer part by removing the prompt portion\n",
        "    answer_start = decoded_output.find(\"Answer:\") + len(\"Answer:\")\n",
        "    answer = decoded_output[answer_start:].strip()\n",
        "\n",
        "    return answer\n",
        "\n",
        "def query_documents(query):\n",
        "    similar_chunks = find_most_similar_chunks(query)\n",
        "    context = \" \".join([result['chunk'].replace(\"\\n\", \"\") for result in similar_chunks])\n",
        "    response = generate_response(query, context)\n",
        "    return response, similar_chunks"
      ],
      "metadata": {
        "id": "J0IAR3JxcC_m"
      },
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "query = \"Keo-Pad tản nhiệt là gì?\"\n",
        "answer, relevant_chunks = query_documents(query)\n",
        "\n",
        "print(f\"Query: {query}\\n\\n-----\\n\")\n",
        "print(f\"Generated answer: {answer}\\n\\n-----\\n\")\n",
        "print(\"Relevant chunks:\")\n",
        "for chunk in relevant_chunks:\n",
        "    print(f\"Document: {chunk['document']}\")\n",
        "    print(f\"Chunk: {chunk['chunk']}\".replace(\"\\n\", \"\"))\n",
        "    print(f\"Distance: {chunk['distance']}\")\n",
        "    print()"
      ],
      "metadata": {
        "id": "eIDf8cKtcFZZ",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "e37229c5-531f-4687-d178-ee5daa94af49"
      },
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Query: Keo-Pad tản nhiệt là gì?\n",
            "\n",
            "-----\n",
            "\n",
            "Generated answer: Keo-Pad tản nhiệt là một loại vật liệu được sử dụng để lấp đầy khoảng hở giữa bộ xử lý và bộ tản nhiệt, giúp cải thiện khả năng truy ền nhiệt từ bộ xử lý đến bộ tản nhiệt, từ đó giúp giảm nhiệt độ của bộ xử lý.\n",
            "\n",
            "-----\n",
            "\n",
            "Relevant chunks:\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Có nhiều loại keo - pad tản nhiệt khác nhau trên th ị trường, bao g ồm keo - pad tản nhiệt silicon, keo - pad tản nhiệt carbon, keo - pad tản nhiệt kim loại lỏng và keo - pad tản nhiệt silicon ceramic. Keo - pad tản nhiệt silicon là gì? Keo - Pad tản nhiệt silicon là m ột loại keo - pad tản nhiệt được làm từ silicon, có đ ộ bền cao, khả năng dẫn nhiệt tốt và giá thành h ợp lý. Keo - pad tản nhiệt carbon là gì? Keo - Pad tản nhiệt carbon là m ột loại keo - pad tản nhiệt được làm từ carbon, có kh ả năng dẫn nhiệt tốt và độ bền cao, nhưng giá thành tương đ ối cao. Keo - pad tản nhiệt kim loại lỏng là gì? Keo - Pad tản nhiệt kim loại lỏng là một loại keo - pad tản nhiệt được làm từ kim loại lỏng, có khả năng dẫn nhiệt tốt nhất trong các lo ại keo - pad tản nhiệt, nhưng giá thành cao và có thể gây ra nguy cơ rò r ỉ nếu không s ử dụng đúng cách. Keo - pad tản nhiệt silicon ceramic là gì?\n",
            "Distance: 0.6636487245559692\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Keo - Pad tản nhiệt là gì? Keo - Pad tản nhiệt là một loại vật liệu được sử dụng để lấp đầy khoảng hở giữa bộ xử lý và bộ tản nhiệt, giúp cải thiện khả năng truy ền nhiệt từ bộ xử lý đến bộ tản nhiệt, từ đó giúp giảm nhiệt độ của bộ xử lý Thành phần của keo - pad tản nhiệt là gì? ',  Keo - Pad tản nhiệt được làm từ nhiều loại vật liệu khác nhau, bao g ồm chất làm ẩm, chất kết dính, ch ất độn và chất làm tăng đ ộ cứng. Thành ph ần cụ thể của keo - pad tản nhiệt có thể thay đổi tùy thuộc vào mục đích sử dụng. Keo - pad tản nhiệt được sử dụng như th ế nào? Keo - Pad tản nhiệt được sử dụng bằng cách thoa m ột lớp mỏng lên bề mặt của bộ xử lý, sau đó dán b ộ tản nhiệt lên trên. L ớp keo - pad tản nhiệt sẽ lấp đầy khoảng hở giữa bộ xử lý và bộ tản nhiệt, giúp cải thiện khả năng truy ền nhiệt từ bộ xử lý đến bộ tản nhiệt. Những loại keo - pad tản nhiệt phổ biến là gì?\n",
            "Distance: 0.6936659812927246\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Keo - Pad tản nhiệt silicon ceramic là m ột loại keo - pad tản nhiệt được làm từ silicon và ceramic, có kh ả năng dẫn nhiệt tốt, độ bền cao và giá thành h ợp lý. Loại keo - pad tản nhiệt nào phù h ợp với tôi? Lựa chọn loại keo - pad tản nhiệt phù hợp phụ thuộc vào nhi ều yếu tố, bao gồm loại bộ xử lý, loại bộ tản nhiệt, mức nhiệt độ hoạt động mong mu ốn và ngân sách c ủa bạn. Bạn nên tham khảo ý kiến của chuyên gia ho ặc đọc các bài đánh giá đ ể lựa chọn loại keo - pad tản nhiệt phù hợp nhất. Tôi nên mua keo - pad tản nhiệt ở đâu? Bạn có thể mua keo - pad tản nhiệt tại các cửa hàng bán linh ki ện máy tính ho ặc các trang thương m ại điện tử. Tuy nhiên, b ạn nên chọn mua sản phẩm từ những nhà cung c ấp uy tín để đảm bảo chất lượng và tránh mua ph ải hàng giả, hàng kém ch ất lượng.' Quần jeans nam có nh ững loại vải nào? Quần jeans nam có nhi ều loại vải khác nhau, ph ổ biến nhất là vải denim, v ải kaki, vải bố và vải nhung. Đặc điểm của từng loại vải là gì?\n",
            "Distance: 0.7591948509216309\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "query = \"Tôi muốn quần áo mặc cho mùa đông cho trẻ em\"\n",
        "answer, relevant_chunks = query_documents(query)\n",
        "\n",
        "print(f\"Query: {query}\\n\\n-----\\n\")\n",
        "print(f\"Generated answer: {answer}\\n\\n-----\\n\")\n",
        "print(\"Relevant chunks:\")\n",
        "for chunk in relevant_chunks:\n",
        "    print(f\"Document: {chunk['document']}\")\n",
        "    print(f\"Chunk: {chunk['chunk']}\".replace(\"\\n\", \"\"))\n",
        "    print(f\"Distance: {chunk['distance']}\")\n",
        "    print()"
      ],
      "metadata": {
        "id": "u0T-08hneR77",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "8987764c-21af-42df-df87-4477ee275314"
      },
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Query: Tôi muốn quần áo mặc cho mùa đông cho trẻ em\n",
            "\n",
            "-----\n",
            "\n",
            "Generated answer: Bạn muốn tìm quần áo mùa đông cho trẻ em, vậy nên cần lưu ý những điều sau:\n",
            "\n",
            "**1. Chất liệu:** \n",
            "   - Chọn quần áo làm từ chất liệu ấm áp, giữ nhiệt tốt như: Fleece, Thicken Wool, Cotton, Flannel.\n",
            "   -  Kiểm tra xem chất liệu có mềm mại, dễ chịu cho trẻ không.\n",
            "\n",
            "**2. Thiết kế:** \n",
            "   -  Tùy theo độ tuổi và sở thích của trẻ, lựa chọn quần áo có thiết kế phù hợp. \n",
            "   -  Kiểm tra xem quần áo có đủ các lớp để giữ ấm, tránh bị lạnh.\n",
            "\n",
            "**3. Độ bền:** \n",
            "   -  Chọn quần áo có độ bền cao, dễ dàng giặt sạch. \n",
            "   -  Kiểm tra xem quần áo có đường may chắc chắn, khóa kéo và phụ kiện tốt.\n",
            "\n",
            "**4. Màu sắc:** \n",
            "   -  Lựa chọn màu sắc phù hợp với sở thích của trẻ. \n",
            "   -  Màu sắc tươi sáng, dễ nhìn sẽ giúp trẻ cảm thấy vui vẻ.\n",
            "\n",
            "**5. Giá cả:** \n",
            "   -  Lựa chọn quần áo phù hợp với ngân sách của gia đình. \n",
            "   -  Lưu ý giá cả có thể thay đổi tùy theo thương hiệu và chất liệu.\n",
            "\n",
            "**6. Thương hiệu:** \n",
            "   -  Lựa chọn thương hiệu uy tín, có chất lượng tốt. \n",
            "   -  Tham khảo ý kiến từ người thân, bạn bè để chọn được thương hiệu phù hợp.\n",
            "\n",
            "**7. Lưu ý:** \n",
            "   -  Lưu ý đến kích thước quần áo phù hợp với chiều cao và cân nặng của trẻ. \n",
            "   -  Kiểm tra xem quần áo có đủ các lớp để giữ ấm, tránh bị lạnh. \n",
            "   -  Lưu ý đến các thông tin về bảo hành, chế độ đổi trả của cửa hàng.\n",
            "\n",
            "-----\n",
            "\n",
            "Relevant chunks:\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: ', '' '', '' 'Nếu tôi muốn tìm phụ kiện cưới được làm từ chất liệu cao cấp nhưng v ẫn nằm trong t ầm giá của mình thì có nh ững lựa chọn nào?\n",
            "Distance: 0.6322872042655945\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Nếu bạn muốn mua một chiếc áo khoác gió v ừa túi tiền hơn, bạn có thể tìm các sản phẩm của các thương hi ệu Việt Nam như Weill, Mucino, Canifa, An Phư ớc, ...Với mức giá từ 200.000 đ ồng đến 500.000 đ ồng, bạn vẫn có thể sở hữu một chiếc áo khoác gió chất lượng tốt. ', '' '', '' 'C ảm ơn chuyên gia, tôi đã hi ểu hơn về cách chọn áo khoác gió ch ất lượng cao. Tôi s ẽ tham khảo những thông tin này đ ể mua được chiếc áo khoác gió ưng ý. ', '' '', '' 'Rất vui vì tôi có th ể giúp bạn chọn được chiếc áo khoác gió ch ất lượng cao phù h ợp với nhu cầu của mình. Chúc b ạn mua sắm vui vẻ!' '' '', '' 'Tôi mu ốn biết cách đánh giá ch ất lượng viên nén cà phê. B ạn có thể giúp tôi không? ', '' '', '' 'Chắc chắn rồi. Có một số cách để đánh giá ch ất lượng viên nén cà phê. B ạn có thể kiểm tra bao bì, thành ph ần, hương v ị, độ tươi và tính nh ất quán của viên nén. ', '' '', '' 'Tôi nên kiểm tra những gì trên bao bì viên nén cà phê?\n",
            "Distance: 0.6948944330215454\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Chọn chất liệu phù hợp Bạn nên chọn Balo được làm từ chất liệu cao cấp, có khả năng chống thấm nước và độ bền cao.\\n\\n3. Kiểm tra chất lượng Bạn nên kiểm tra kỹ chất lượng của Balo trư ớc khi mua, bao g ồm đường may, khóa kéo và ph ụ kiện.'\n",
            "Distance: 0.6998488903045654\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "query = \"Chủ tịch Hồ Chí Minh là ai?\"\n",
        "answer, relevant_chunks = query_documents(query)\n",
        "\n",
        "print(f\"Query: {query}\\n\\n-----\\n\")\n",
        "print(f\"Generated answer: {answer}\\n\\n-----\\n\")\n",
        "print(\"Relevant chunks:\")\n",
        "for chunk in relevant_chunks:\n",
        "    print(f\"Document: {chunk['document']}\")\n",
        "    print(f\"Chunk: {chunk['chunk']}\".replace(\"\\n\", \"\"))\n",
        "    print(f\"Distance: {chunk['distance']}\")\n",
        "    print()"
      ],
      "metadata": {
        "id": "7Tw9KouChHAS",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "ca577e46-5042-412a-c8ae-fd175f14c699"
      },
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Query: Chủ tịch Hồ Chí Minh là ai?\n",
            "\n",
            "-----\n",
            "\n",
            "Generated answer: Chủ tịch Hồ Chí Minh là một nhà cách mạng, chính trị gia, và nhà văn Việt Nam.\n",
            "\n",
            "-----\n",
            "\n",
            "Relevant chunks:\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: ', '' '', '' 'M ột số thương hi ệu đồng hồ trẻ em được đánh giá cao bao g ồm Casio, Citizen, Seiko, Timex, Daniel Wellington, Skmei, APELA, Olympia Star,...', '' '', '' 'Có đ ồng hồ trẻ em nào có th ể sử dụng cho trẻ nhỏ từ 2-3 tuổi không? ', '' '', '' 'Có, m ột số thương hi ệu đồng hồ trẻ em có sản xuất đồng hồ dành riêng cho trẻ nhỏ từ 2-3 tuổi với thiết kế đơn giản, dây đeo m ềm mại. ', '' '', '' 'M ột chiếc đồng hồ thông minh dành cho tr ẻ em có nh ững tính năng h ữu ích nào? ', '' '', '' 'Đ ồng hồ thông minh dành cho tr ẻ em thường có các tính năng như g ọi điện, nhắn tin, định vị GPS, theo dõi hoạt động, chơi trò chơi, k ết nối với thiết bị di động,... giúp ph ụ huynh có th ể quản lý và giám sát tr ẻ dễ dàng hơn. ', '' '', '' 'Đ ồng hồ trẻ em nên có m ức chống nước như thế nào? ', '' '', '' 'Tùy thu ộc vào nhu c ầu sử dụng, nhưng b ạn nên chọn đồng hồ trẻ em có kh ả năng chống nước ít nhất là 3 ATM (30 mét) đ ể có thể chịu được nước bắn vào hoặc rửa tay.'\n",
            "Distance: 0.7290650606155396\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: Nội dung sách ph ải được trình bày khoa h ọc, logic.\\n\\n* Hình ảnh minh h ọa Hình ảnh minh họa trong sách phải được in sắc nét, rõ ràng. Hình ảnh phải phù hợp với nội dung sách và giúp ngư ời đọc dễ hiểu hơn. ', '' '', '' 'Đ ặc điểm nào thể hiện sản phẩm này chú tr ọng đến tính xác th ực của thông tin? ', '' '', '' 'Sách Bà m ẹ - Em bé chú tr ọng đến tính xác th ực của thông tin thông qua các đặc điểm sau\\n\\n* Tác giả Sách được viết bởi các chuyên gia có uy tín trong lĩnh v ực sức khỏe bà mẹ và trẻ em. Các chuyên gia này đã có nhi ều năm kinh nghi ệm và kiến thức chuyên môn v ững chắc.\\n\\n* Dữ liệu Sách sử dụng các dữ liệu khoa học để hỗ trợ cho các thông tin đư ợc trình bày. Các d ữ liệu này được thu thập từ các nghiên c ứu đáng tin cậy.\\n\\n* Tài liệu tham kh ảo Sách cung c ấp danh sách các tài li ệu tham kh ảo để người đọc có thể tìm hiểu thêm thông tin v ề các chủ đề được đề cập trong sách. ', '' '', '' 'L ợi ích của việc sử dụng sách Bà m ẹ - Em bé là gì?\n",
            "Distance: 0.7367197275161743\n",
            "\n",
            "Document: /content/drive/MyDrive/Data/data_cleaned_aisc.pdf\n",
            "Chunk: ', '' '', '' 'Đ ể đánh giá ch ất lượng Bia Nội Địa, bạn có thể dựa trên các tiêu chí sau \\n\\n* **Mùi hương** Bia có mùi thơm đ ặc trưng, không có mùi chua hay hôi. \\n* **Vị** Bia có v ị đắng nhẹ, hơi ngọt và có hậu vị dễ chịu.\\n* **Màu s ắc** Bia có màu vàng óng, trong su ốt và không có c ặn.\\n* **Bọt** Bia có lớp bọt dày, mịn và tan d ần sau một thời gian.\\n* **Độ cồn** Bia có đ ộ cồn từ 4% đến 6%. ', '' '', '' 'Nh ững đặc điểm nào của Bia Nội Địa thể hiện đây là sản phẩm chất lượng cao?\n",
            "Distance: 0.7405332326889038\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install flask flask-ngrok"
      ],
      "metadata": {
        "id": "ghDyh70Eyntt",
        "outputId": "0f358e02-de83-4dea-dd66-b699f1a97af8",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Requirement already satisfied: flask in /usr/local/lib/python3.10/dist-packages (3.0.3)\n",
            "Requirement already satisfied: flask-ngrok in /usr/local/lib/python3.10/dist-packages (0.0.25)\n",
            "Requirement already satisfied: Werkzeug>=3.0.0 in /usr/local/lib/python3.10/dist-packages (from flask) (3.1.3)\n",
            "Requirement already satisfied: Jinja2>=3.1.2 in /usr/local/lib/python3.10/dist-packages (from flask) (3.1.4)\n",
            "Requirement already satisfied: itsdangerous>=2.1.2 in /usr/local/lib/python3.10/dist-packages (from flask) (2.2.0)\n",
            "Requirement already satisfied: click>=8.1.3 in /usr/local/lib/python3.10/dist-packages (from flask) (8.1.7)\n",
            "Requirement already satisfied: blinker>=1.6.2 in /usr/local/lib/python3.10/dist-packages (from flask) (1.9.0)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from flask-ngrok) (2.32.3)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from Jinja2>=3.1.2->flask) (3.0.2)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests->flask-ngrok) (3.4.0)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->flask-ngrok) (3.10)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->flask-ngrok) (2.2.3)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->flask-ngrok) (2024.8.30)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install pyngrok"
      ],
      "metadata": {
        "id": "humLGSVY0Nn2",
        "outputId": "206f0451-e512-4783-e4c4-25befa6a5b92",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting pyngrok\n",
            "  Downloading pyngrok-7.2.1-py3-none-any.whl.metadata (8.3 kB)\n",
            "Requirement already satisfied: PyYAML>=5.1 in /usr/local/lib/python3.10/dist-packages (from pyngrok) (6.0.2)\n",
            "Downloading pyngrok-7.2.1-py3-none-any.whl (22 kB)\n",
            "Installing collected packages: pyngrok\n",
            "Successfully installed pyngrok-7.2.1\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install gradio"
      ],
      "metadata": {
        "id": "G-vwpY1B1Sc4",
        "outputId": "95db1828-d5b0-4d5d-9a1e-ff78bf2adf3e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        }
      },
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting gradio\n",
            "  Downloading gradio-5.8.0-py3-none-any.whl.metadata (16 kB)\n",
            "Collecting aiofiles<24.0,>=22.0 (from gradio)\n",
            "  Downloading aiofiles-23.2.1-py3-none-any.whl.metadata (9.7 kB)\n",
            "Requirement already satisfied: anyio<5.0,>=3.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (3.7.1)\n",
            "Collecting fastapi<1.0,>=0.115.2 (from gradio)\n",
            "  Downloading fastapi-0.115.6-py3-none-any.whl.metadata (27 kB)\n",
            "Collecting ffmpy (from gradio)\n",
            "  Downloading ffmpy-0.4.0-py3-none-any.whl.metadata (2.9 kB)\n",
            "Collecting gradio-client==1.5.1 (from gradio)\n",
            "  Downloading gradio_client-1.5.1-py3-none-any.whl.metadata (7.1 kB)\n",
            "Requirement already satisfied: httpx>=0.24.1 in /usr/local/lib/python3.10/dist-packages (from gradio) (0.28.0)\n",
            "Requirement already satisfied: huggingface-hub>=0.25.1 in /usr/local/lib/python3.10/dist-packages (from gradio) (0.26.3)\n",
            "Requirement already satisfied: jinja2<4.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (3.1.4)\n",
            "Collecting markupsafe~=2.0 (from gradio)\n",
            "  Downloading MarkupSafe-2.1.5-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (3.0 kB)\n",
            "Requirement already satisfied: numpy<3.0,>=1.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (1.26.4)\n",
            "Requirement already satisfied: orjson~=3.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (3.10.12)\n",
            "Requirement already satisfied: packaging in /usr/local/lib/python3.10/dist-packages (from gradio) (24.2)\n",
            "Requirement already satisfied: pandas<3.0,>=1.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (2.2.2)\n",
            "Requirement already satisfied: pillow<12.0,>=8.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (11.0.0)\n",
            "Requirement already satisfied: pydantic>=2.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (2.10.3)\n",
            "Collecting pydub (from gradio)\n",
            "  Downloading pydub-0.25.1-py2.py3-none-any.whl.metadata (1.4 kB)\n",
            "Collecting python-multipart>=0.0.18 (from gradio)\n",
            "  Downloading python_multipart-0.0.19-py3-none-any.whl.metadata (1.8 kB)\n",
            "Requirement already satisfied: pyyaml<7.0,>=5.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (6.0.2)\n",
            "Collecting ruff>=0.2.2 (from gradio)\n",
            "  Downloading ruff-0.8.2-py3-none-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (25 kB)\n",
            "Collecting safehttpx<0.2.0,>=0.1.6 (from gradio)\n",
            "  Downloading safehttpx-0.1.6-py3-none-any.whl.metadata (4.2 kB)\n",
            "Collecting semantic-version~=2.0 (from gradio)\n",
            "  Downloading semantic_version-2.10.0-py2.py3-none-any.whl.metadata (9.7 kB)\n",
            "Collecting starlette<1.0,>=0.40.0 (from gradio)\n",
            "  Downloading starlette-0.41.3-py3-none-any.whl.metadata (6.0 kB)\n",
            "Collecting tomlkit<0.14.0,>=0.12.0 (from gradio)\n",
            "  Downloading tomlkit-0.13.2-py3-none-any.whl.metadata (2.7 kB)\n",
            "Requirement already satisfied: typer<1.0,>=0.12 in /usr/local/lib/python3.10/dist-packages (from gradio) (0.15.0)\n",
            "Requirement already satisfied: typing-extensions~=4.0 in /usr/local/lib/python3.10/dist-packages (from gradio) (4.12.2)\n",
            "Collecting uvicorn>=0.14.0 (from gradio)\n",
            "  Downloading uvicorn-0.32.1-py3-none-any.whl.metadata (6.6 kB)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.10/dist-packages (from gradio-client==1.5.1->gradio) (2024.10.0)\n",
            "Collecting websockets<15.0,>=10.0 (from gradio-client==1.5.1->gradio)\n",
            "  Downloading websockets-14.1-cp310-cp310-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (6.7 kB)\n",
            "Requirement already satisfied: idna>=2.8 in /usr/local/lib/python3.10/dist-packages (from anyio<5.0,>=3.0->gradio) (3.10)\n",
            "Requirement already satisfied: sniffio>=1.1 in /usr/local/lib/python3.10/dist-packages (from anyio<5.0,>=3.0->gradio) (1.3.1)\n",
            "Requirement already satisfied: exceptiongroup in /usr/local/lib/python3.10/dist-packages (from anyio<5.0,>=3.0->gradio) (1.2.2)\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.10/dist-packages (from httpx>=0.24.1->gradio) (2024.8.30)\n",
            "Requirement already satisfied: httpcore==1.* in /usr/local/lib/python3.10/dist-packages (from httpx>=0.24.1->gradio) (1.0.7)\n",
            "Requirement already satisfied: h11<0.15,>=0.13 in /usr/local/lib/python3.10/dist-packages (from httpcore==1.*->httpx>=0.24.1->gradio) (0.14.0)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.25.1->gradio) (3.16.1)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.25.1->gradio) (2.32.3)\n",
            "Requirement already satisfied: tqdm>=4.42.1 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub>=0.25.1->gradio) (4.66.6)\n",
            "Requirement already satisfied: python-dateutil>=2.8.2 in /usr/local/lib/python3.10/dist-packages (from pandas<3.0,>=1.0->gradio) (2.8.2)\n",
            "Requirement already satisfied: pytz>=2020.1 in /usr/local/lib/python3.10/dist-packages (from pandas<3.0,>=1.0->gradio) (2024.2)\n",
            "Requirement already satisfied: tzdata>=2022.7 in /usr/local/lib/python3.10/dist-packages (from pandas<3.0,>=1.0->gradio) (2024.2)\n",
            "Requirement already satisfied: annotated-types>=0.6.0 in /usr/local/lib/python3.10/dist-packages (from pydantic>=2.0->gradio) (0.7.0)\n",
            "Requirement already satisfied: pydantic-core==2.27.1 in /usr/local/lib/python3.10/dist-packages (from pydantic>=2.0->gradio) (2.27.1)\n",
            "Requirement already satisfied: click>=8.0.0 in /usr/local/lib/python3.10/dist-packages (from typer<1.0,>=0.12->gradio) (8.1.7)\n",
            "Requirement already satisfied: shellingham>=1.3.0 in /usr/local/lib/python3.10/dist-packages (from typer<1.0,>=0.12->gradio) (1.5.4)\n",
            "Requirement already satisfied: rich>=10.11.0 in /usr/local/lib/python3.10/dist-packages (from typer<1.0,>=0.12->gradio) (13.9.4)\n",
            "Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.10/dist-packages (from python-dateutil>=2.8.2->pandas<3.0,>=1.0->gradio) (1.16.0)\n",
            "Requirement already satisfied: markdown-it-py>=2.2.0 in /usr/local/lib/python3.10/dist-packages (from rich>=10.11.0->typer<1.0,>=0.12->gradio) (3.0.0)\n",
            "Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /usr/local/lib/python3.10/dist-packages (from rich>=10.11.0->typer<1.0,>=0.12->gradio) (2.18.0)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.25.1->gradio) (3.4.0)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->huggingface-hub>=0.25.1->gradio) (2.2.3)\n",
            "Requirement already satisfied: mdurl~=0.1 in /usr/local/lib/python3.10/dist-packages (from markdown-it-py>=2.2.0->rich>=10.11.0->typer<1.0,>=0.12->gradio) (0.1.2)\n",
            "Downloading gradio-5.8.0-py3-none-any.whl (57.2 MB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m57.2/57.2 MB\u001b[0m \u001b[31m12.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading gradio_client-1.5.1-py3-none-any.whl (320 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m320.2/320.2 kB\u001b[0m \u001b[31m25.2 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading aiofiles-23.2.1-py3-none-any.whl (15 kB)\n",
            "Downloading fastapi-0.115.6-py3-none-any.whl (94 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m94.8/94.8 kB\u001b[0m \u001b[31m9.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading MarkupSafe-2.1.5-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (25 kB)\n",
            "Downloading python_multipart-0.0.19-py3-none-any.whl (24 kB)\n",
            "Downloading ruff-0.8.2-py3-none-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (11.2 MB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m11.2/11.2 MB\u001b[0m \u001b[31m68.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading safehttpx-0.1.6-py3-none-any.whl (8.7 kB)\n",
            "Downloading semantic_version-2.10.0-py2.py3-none-any.whl (15 kB)\n",
            "Downloading starlette-0.41.3-py3-none-any.whl (73 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m73.2/73.2 kB\u001b[0m \u001b[31m8.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading tomlkit-0.13.2-py3-none-any.whl (37 kB)\n",
            "Downloading uvicorn-0.32.1-py3-none-any.whl (63 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m63.8/63.8 kB\u001b[0m \u001b[31m7.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading ffmpy-0.4.0-py3-none-any.whl (5.8 kB)\n",
            "Downloading pydub-0.25.1-py2.py3-none-any.whl (32 kB)\n",
            "Downloading websockets-14.1-cp310-cp310-manylinux_2_5_x86_64.manylinux1_x86_64.manylinux_2_17_x86_64.manylinux2014_x86_64.whl (168 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m168.2/168.2 kB\u001b[0m \u001b[31m17.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hInstalling collected packages: pydub, websockets, uvicorn, tomlkit, semantic-version, ruff, python-multipart, markupsafe, ffmpy, aiofiles, starlette, safehttpx, gradio-client, fastapi, gradio\n",
            "  Attempting uninstall: markupsafe\n",
            "    Found existing installation: MarkupSafe 3.0.2\n",
            "    Uninstalling MarkupSafe-3.0.2:\n",
            "      Successfully uninstalled MarkupSafe-3.0.2\n",
            "Successfully installed aiofiles-23.2.1 fastapi-0.115.6 ffmpy-0.4.0 gradio-5.8.0 gradio-client-1.5.1 markupsafe-2.1.5 pydub-0.25.1 python-multipart-0.0.19 ruff-0.8.2 safehttpx-0.1.6 semantic-version-2.10.0 starlette-0.41.3 tomlkit-0.13.2 uvicorn-0.32.1 websockets-14.1\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.colab-display-data+json": {
              "pip_warning": {
                "packages": [
                  "markupsafe"
                ]
              },
              "id": "c5460d831b954259abaf1f971d89285d"
            }
          },
          "metadata": {}
        }
      ]
    }
  ]
}