Uploaded model

Developed by: KanNaga
License: apache-2.0
Finetuned from model : llm-jp/llm-jp-3-13b

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

【概要】

当モデルは、東大松尾・岩澤研究室主催の大規模言語モデル応用講座のコンペのお題で作成したLLMである。 LLMの仕様としては、llm-jp-3-13bをQLoRA（Fine Turning）を行うことで、パラメータを一部更新したモデルである。

【推論方法】

Google Colab 上では、以下のコードを実行してください。

準備１．Hugging Faceアカウントトークンの設定

Hugging Faceアカウントを作成し、自分のトークンを発行する。その発行したトークンを、 Google Colab の左バーにある「シークレット」（🗝マーク）に登録する。名前は、"HF_TOKEN"が望ましい。（以下、その前提とする。）

準備２．推論対象のタスクフォルダのアップロード

当モデルにおいて推論したいタスクが入った jsonl ファイルを、
左バーにあるファイルのところへドラッグ＆ドロップ等でアップロードする。

必要ライブラリ、クラスのインストール

!pip uninstall unsloth -y  
!pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"  
!pip install --upgrade torch  
!pip install --upgrade xformers  
import torch  
if torch.cuda.get_device_capability()[0] >= 8:  
    !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"  
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig  
from unsloth import FastLanguageModel  
import torch

Hugging Face トークンの設定

from google.colab import userdata  
HF_TOKEN = userdata.get("HF_TOKEN")

モデルのロード

model_id = "KanNaga/my_first_it_model_llm-jp-3-13b-it-v5"
model, tokenizer = FastLanguageModel.from_pretrained(  
    model_name = model_id,  
    dtype = None,  
    load_in_4bit = True,  
    trust_remote_code = True  
)

推論させるデータセットの読み込み(jsonファイルの場合)

以下のコードにおける "File_Path" の部分には、ファイルパスを入れる。

import json  
datasets = []  
with open("File_Path", "r") as f:  
  item = ""  
  for line in f:  
    line = line.strip()  
    item += line  
    if item.endswith("}"):  
      datasets.append(json.loads(item))  
      item = ""

データセットの推論を行う。

from tqdm import tqdm  
FastLanguageModel.for_inference(model)  
results = []  
for dt in tqdm(datasets):  
  input = dt["input"]  
  prompt = f"""### ここから先の指示に従って回答を生成してください。\n{input}\n### 回答\n"""  
  inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)  
  outputs = model.generate(**inputs, max_new_tokens=512, use_cache=True, do_sample=False, repetition_penalty=1.2)  
  prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]  
  results.append({"task_id": dt["task_id"], "input": input, "output": prediction})

推論結果をjsonファイルで保存する。

with open(f"output.jsonl", "w", encoding='utf-8') as f:  
  for result in results:  
    json.dump(result, f, ensure_ascii=False)  
    f.write('\n')

KanNaga
/

my_first_it_model_llm-jp-3-13b-it-v5