| # Fine-Tuned Model: llm-jp-3-13b-it | |
| # モデル概要 | |
| 本モデルは、llm-jp/llm-jp-3-13bをベースモデルとし、LoRA方式を用いてファインチューニングを実施しました。日本語データセットを活用し、日本語に特化した自然言語処理タスクに対応できるよう最適化されています。特に、テキスト生成や質問応答、指示追従タスクにおいて高い性能を発揮します。 | |
| # 特徴 | |
| ベースモデル: llm-jp/llm-jp-3-13b | |
| 学習方式: LoRAアダプターを使用 | |
| 量子化: 4-bit量子化を適用 | |
| 最大シーケンス長: 512トークン | |
| # 主な用途 | |
| テキスト生成: 高品質な日本語の生成 | |
| 質問応答: 指示追従型の応答生成 | |
| カスタムタスク: 特定用途における自然な会話生成 | |
| # モデルの読み込みと使用 | |
| 以下のコードを使用してモデルをロードできます。 | |
| from unsloth import FastLanguageModel | |
| import torch | |
| # モデル設定 | |
| model_id = "llm-jp-3-13b-it" # Fine-TunedモデルID | |
| load_in_4bit = True # 4-bit量子化 | |
| max_seq_length = 512 | |
| # モデルとトークナイザーのロード | |
| model, tokenizer = FastLanguageModel.from_pretrained( | |
| model_name=model_id, | |
| dtype=None, | |
| load_in_4bit=load_in_4bit, | |
| trust_remote_code=True, | |
| ) | |
| # テキスト生成例 | |
| input_text = "生成AIの可能性について説明してください。" | |
| inputs = tokenizer(input_text, return_tensors="pt").to("cuda") | |
| outputs = model.generate(**inputs, max_new_tokens=256) | |
| print(tokenizer.decode(outputs[0], skip_special_tokens=True)) | |
| # トレーニング詳細 | |
| フレームワーク: Hugging Face Transformers | |
| # 設定 | |
| エポック数: 未記載 | |
| バッチサイズ: 1（勾配累積を使用） | |
| 学習率: 5e-5 | |
| LoRAパラメータ: r=32, alpha=32, dropout=0.05 | |
| 量子化方式: 4-bit | |
| その他: 勾配チェックポイントやRoPEをサポート | |
| # 必要なライブラリ | |
| 以下をインストールしてください。 | |
| pip install unsloth | |
| pip install torch xformers | |
| # パフォーマンス | |
| 本モデルは以下のタスクで高い性能を発揮します。 | |
| テキスト生成 | |
| 質問応答 | |
| 会話応答生成 | |
| # ライセンス | |
| ベースモデル: Apache 2.0 | |
| 本モデル: Apache 2.0 | |
| # 注意事項 | |
| 本モデルは研究・教育目的で提供されています。商用利用を行う場合は、関連するライセンス条件を遵守してください。 | |
| モデルの出力内容に関する責任は利用者が負うものとします。 | |
| base_model: llm-jp/llm-jp-3-13b | |
| tags: | |
| - text-generation-inference | |
| - transformers | |
| - unsloth | |
| - llama | |
| - trl | |
| license: apache-2.0 | |
| language: | |
| - en | |
| Uploaded model | |
| Developed by: kakerukc0506 | |
| License: apache-2.0 | |
| Finetuned from model : llm-jp/llm-jp-3-13b | |
| This llama model was trained 2x faster with Unsloth and Huggingface's TRL library. |