Fine-Tuned Model: llm-jp-3-13b-it
モデル概要
本モデルは、llm-jp/llm-jp-3-13bをベースモデルとし、LoRA方式を用いてファインチューニングを実施しました。日本語データセットを活用し、日本語に特化した自然言語処理タスクに対応できるよう最適化されています。特に、テキスト生成や質問応答、指示追従タスクにおいて高い性能を発揮します。
特徴
ベースモデル: llm-jp/llm-jp-3-13b 学習方式: LoRAアダプターを使用 量子化: 4-bit量子化を適用 最大シーケンス長: 512トークン
主な用途
テキスト生成: 高品質な日本語の生成 質問応答: 指示追従型の応答生成 カスタムタスク: 特定用途における自然な会話生成
モデルの読み込みと使用
以下のコードを使用してモデルをロードできます。
from unsloth import FastLanguageModel import torch
モデル設定
model_id = "llm-jp-3-13b-it" # Fine-TunedモデルID load_in_4bit = True # 4-bit量子化 max_seq_length = 512
モデルとトークナイザーのロード
model, tokenizer = FastLanguageModel.from_pretrained( model_name=model_id, dtype=None, load_in_4bit=load_in_4bit, trust_remote_code=True, )
テキスト生成例
input_text = "生成AIの可能性について説明してください。" inputs = tokenizer(input_text, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0], skip_special_tokens=True))
トレーニング詳細
フレームワーク: Hugging Face Transformers
設定
エポック数: 未記載 バッチサイズ: 1（勾配累積を使用） 学習率: 5e-5 LoRAパラメータ: r=32, alpha=32, dropout=0.05 量子化方式: 4-bit その他: 勾配チェックポイントやRoPEをサポート
必要なライブラリ
以下をインストールしてください。
pip install unsloth pip install torch xformers
パフォーマンス
本モデルは以下のタスクで高い性能を発揮します。 テキスト生成 質問応答 会話応答生成
ライセンス
ベースモデル: Apache 2.0 本モデル: Apache 2.0
注意事項
本モデルは研究・教育目的で提供されています。商用利用を行う場合は、関連するライセンス条件を遵守してください。 モデルの出力内容に関する責任は利用者が負うものとします。
base_model: llm-jp/llm-jp-3-13b tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl license: apache-2.0 language:
- en Uploaded model Developed by: kakerukc0506 License: apache-2.0 Finetuned from model : llm-jp/llm-jp-3-13b This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.