Upload inference_code.py

inference_code.py

@@ -0,0 +1,91 @@
+# -*- coding: utf-8 -*-
+# 推論
+
+### パッケージインストール
+"""
+
+# 必要なライブラリインストール（バージョン指定は一例）
+!pip install -U transformers peft bitsandbytes accelerate
+
+# 推論
+import json
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+from peft import PeftModel
+
+# Hugging Faceトークン、ベースモデル、LoRAアダプタIDの設定
+HF_TOKEN = ""
+base_model_id = "llm-jp/llm-jp-3-13b"  # ベースモデルID
+adapter_repo_id = "  # アップロード済みLoRAアダプタのID
+
+# BitsAndBytesConfigで4bit量子化設定
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16
+)
+
+# トークナイザとモデルをHugging Face Hubからロード
+tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True, token=HF_TOKEN)
+model = AutoModelForCausalLM.from_pretrained(
+    base_model_id,
+    quantization_config=bnb_config,
+    device_map="auto",
+    trust_remote_code=True,
+    token=HF_TOKEN
+)
+
+# LoRAアダプタ適用
+model = PeftModel.from_pretrained(model, adapter_repo_id, token=HF_TOKEN)
+model.eval()
+
+# 推論時のパラメータ
+max_new_tokens = 200
+temperature = 0.7
+top_p = 0.9
+do_sample = True
+
+# タスクデータ読み込み（elyza-tasks-100-TV_0.jsonlは同一フォルダにアップロード）
+datasets = []
+with open("./elyza-tasks-100-TV_0.jsonl", "r", encoding="utf-8") as f:
+    for line in f:
+        line = line.strip()
+        if not line:
+            continue
+        data = json.loads(line)
+        datasets.append(data)
+
+def generate_output(input_text):
+    # プロンプトフォーマット
+    prompt = f"### 指示\n{input_text}\n### 回答\n"
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+    if "token_type_ids" in inputs:
+        del inputs["token_type_ids"]
+
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=max_new_tokens,
+            do_sample=do_sample,
+            top_p=top_p,
+            temperature=temperature,
+            pad_token_id=tokenizer.eos_token_id
+        )
+    output_text = tokenizer.decode(outputs[0][inputs.input_ids.size(1):], skip_special_tokens=True)
+    return output_text.strip()
+
+results = []
+for data in datasets:
+    task_id = data["task_id"]
+    input_text = data["input"]
+    output_text = generate_output(input_text)
+    results.append({"task_id": task_id, "output": output_text})
+
+# JSONL形式で保存
+with open("submission_attempt.jsonl", "w", encoding="utf-8") as f:
+    for r in results:
+        json.dump(r, f, ensure_ascii=False)
+        f.write("\n")
+
+print("推論完了。'submission_attempt.jsonl'を生成しました。")
+