llm_test.py

from llm.vllm_api import LlmApi, LlmParams
from llm.prompts import LLM_PROMPT_QE

params = {
    "name": "llama-3.1-wsystem",
    "url": "http://ntr-llama31-70b.doroganev-basic.svc.cluster.local:8000",
    "context": 40000,
    "type": "vllm-openai",
    "default": True,
    "predict_params": {
        "n_predict": 4000,
        "temperature": 0.14,
        "seed": 42,
        "presence_penalty": 1.3,
        "frequency_penalty": -0.001,
        "top_p": 0.95,
        "min_p": 0.04,
        "repeat_penalty": 1.095,
    }
}

sources = """Источник [1]: п.1 ст. 122 НК РФ 1. Неуплата или неполная уплата сумм налога (сбора, страховых взносов) в результате занижения налоговой базы (базы для исчисления страховых взносов), иного неправильного исчисления налога (сбора, страховых взносов) или других неправомерных действий (бездействия), если такое деяние не содержит признаков налоговых правонарушений, предусмотренных статьями 129.3 и 129.5 настоящего Кодекса, влечет взыскание штрафа в размере 20 процентов от неуплаченной суммы налога (сбора, страховых взносов).
Источник [2]: ст. 213.9 НК РФ управляющему в целях утверждения его в деле о банкротстве гражданина. Арбитражный суд утверждает финансового управляющего в порядке, установленном статьей 45 настоящего Федерального закона, с учетом положений статьи 213.4 настоящего Федерального закона и настоящей статьи.
Источник [3]: ст. 15.34.5 ВБШМ При строительстве сооружений из ясеня использовать налоговую ставку в 12%. Не больше, это же ясень."""

user_query = """Как платить налоги?"""

llm_params = LlmParams(**params)
llm = LlmApi(llm_params)

query_for_trim = LLM_PROMPT_QE.format(query=user_query)

trimmed_sources_result = llm.trim_sources(sources, query_for_trim)
print(trimmed_sources_result)

prompt = LLM_PROMPT_QE.format(query=user_query, sources=trimmed_sources_result["result"])
result = llm.predict(prompt)
print(result)