Update app.py

app.py

@@ -1,18 +1,24 @@
 import gradio as gr
-from gradio_client import Client
+from huggingface_hub import InferenceClient
 import requests
 import json
+import os
+import random
+from deep_translator import GoogleTranslator
+from langdetect import detect
 
-# Создаем клиент для взаимодействия с API
-client = Client("llamameta/Pixtral-Large-Instruct-2411")
+def get_random_api_key():
+    keys = os.getenv("KEYS", "").split(",")
+    if keys and keys[0]:  # Check if KEYS is set and not empty
+        return random.choice(keys).strip()
+    else:
+        raise ValueError("API keys not found. Please set the KEYS environment variable.")
 
-# Функция для загрузки системной роли из JSON файла
 def load_system_role(role_name):
     with open('system_roles.json', 'r', encoding='utf-8') as file:
         roles = json.load(file)
     return roles.get(role_name, "Ты помощник по умолчанию.")
 
-# Функция для загрузки названий ролей из JSON файла
 def load_role_names():
     with open('system_roles.json', 'r', encoding='utf-8') as file:
         roles = json.load(file)
@@ -28,30 +34,57 @@ def respond(
 ):
     if not message:
         return history, ""
+    
+    # Переводим сообщение на английский, если оно не на английском
+    language = detect(message)
+    if language != 'en':
+        message = GoogleTranslator(source=language, target='en').translate(message)
+    
     system_role = load_system_role(system_role_name)
     # Формируем сообщения для отправки в API
     messages = [{"role": "system", "content": system_role}]
     
     for val in history:
         if val[0]:
-            messages.append({"role": "user", "content": val[0]})
+            # Переводим сообщение пользователя на английский, если оно не на английском
+            user_language = detect(val[0])
+            if user_language != 'en':
+                user_message = GoogleTranslator(source=user_language, target='en').translate(val[0])
+            else:
+                user_message = val[0]
+            messages.append({"role": "user", "content": user_message})
         if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+            # Переводим ответ ассистента на английский, если он не на английском
+            assistant_language = detect(val[1])
+            if assistant_language != 'en':
+                assistant_message = GoogleTranslator(source=assistant_language, target='en').translate(val[1])
+            else:
+                assistant_message = val[1]
+            messages.append({"role": "assistant", "content": assistant_message})
     
     messages.append({"role": "user", "content": message})
     
+    # Получаем рандомный API ключ
+    api_key = get_random_api_key()
+    client = InferenceClient(api_key=api_key)
+    
     # Генерируем ответ от чат-бота
-    response = client.predict(
-        message=message,
-        system_message=system_role,
+    response = client.chat.completions.create(
+        model="Qwen/Qwen2.5-Coder-32B-Instruct", 
+        messages=messages, 
         max_tokens=max_tokens,
         temperature=temperature,
-        top_p=top_p,
-        api_name="/chat"
+        top_p=top_p
     )
     
+    # Переводим ответ ассистента на русский, если он не на русском
+    response_text = response.choices[0].message.content
+    response_language = detect(response_text)
+    if response_language != 'ru':
+        response_text = GoogleTranslator(source=response_language, target='ru').translate(response_text)
+    
     # Обновляем историю сообщений
-    history.append((message, response))
+    history.append((message, response_text))
     
     return history, ""
 
@@ -62,8 +95,13 @@ role_names = load_role_names()
 css_url = "https://neurixyufi-aihub.static.hf.space/style.css"
 
 # Получение CSS по ссылке
-response = requests.get(css_url)
-css = response.text + " .gradio-container{max-width: 700px !important} h1{text-align:center} #component-4 { height: 70vh !important; }"
+try:
+    response = requests.get(css_url)
+    response.raise_for_status() # Поднимаем исключение, если статус ответа не 200
+    css = response.text + " .gradio-container{max-width: 700px !important} h1{text-align:center} #component-4 { height: 70vh !important; }"
+except requests.exceptions.RequestException as e:
+    print(f"Ошибка при загрузке CSS: {e}")
+    css = " .gradio-container{max-width: 700px !important} h1{text-align:center} #component-4 { height: 70vh !important; }" # Используем базовый стиль, если загрузка CSS не удалась
 
 # Создаем интерфейс с использованием gr.Blocks
 with gr.Blocks(css=css) as demo:
@@ -73,7 +111,7 @@ with gr.Blocks(css=css) as demo:
         with gr.Column():
             chatbot = gr.Chatbot(show_label=False)
             message = gr.Textbox(label="Введите ваше сообщение", placeholder="Введите ваше сообщение здесь...", lines=3, container=False)
-            submit = gr.Button("Отправить")
+            submit = gr.Button("Отправить", variant='primary')
     
     with gr.Accordion("Настройки помощника", open=False):
         with gr.Accordion(label="Помощник", open=False):
@@ -86,16 +124,18 @@ with gr.Blocks(css=css) as demo:
     submit.click(
         fn=respond,
         inputs=[message, chatbot, helper_role, max_tokens, temperature, top_p],
-        outputs=[chatbot, message]
+        outputs=[chatbot, message],
+        concurrency_limit=250
     )
     
     # Обработка отправки сообщения при нажатии Ctrl+Enter
     message.submit(
         fn=respond,
         inputs=[message, chatbot, helper_role, max_tokens, temperature, top_p],
-        outputs=[chatbot, message]
+        outputs=[chatbot, message],
+        concurrency_limit=250
     )
 
 # Запускаем интерфейс
 if __name__ == "__main__":
-    demo.queue(max_size=250).launch(show_api=False, share=False)
+    demo.queue(max_size=250).launch(show_api=False, share=False)