| # Fine-Tuned Model: llm-jp-3-13b-it | |
| # モデル概要 | |
| 本モデルは、llm-jp/llm-jp-3-13bをベースモデルとし、LoRA方式を用いてファインチューニングを実施しました。日本語データセットを活用し、日本語に特化した自然言語処理タスクに対応できるよう最適化されています。特に、テキスト生成や質問応答、指示追従タスクにおいて高い性能を発揮します。 | |
| # 特徴 | |
| ベースモデル: llm-jp/llm-jp-3-13b | |
| 学習方式: LoRAアダプターを使用 | |
| 量子化: 4-bit量子化を適用 | |
| 最大シーケンス長: 512トークン | |
| # 主な用途 | |
| テキスト生成: 高品質な日本語の生成 | |
| 質問応答: 指示追従型の応答生成 | |
| カスタムタスク: 特定用途における自然な会話生成 | |
| # モデルの読み込みと使用 | |
| 以下のコードを使用してモデルをロードできます。 | |
| ``` | |
| # Google Colab の場合は上記の環境構築手順を行なわず、単にこのセルから実行していってください。 | |
| !pip uninstall unsloth -y | |
| !pip install --upgrade --no-cache-dir "xxxx" | |
| ``` | |
| # Google Colab のデフォルトで入っているパッケージをアップグレード | |
| ``` | |
| !pip install --upgrade torch | |
| !pip install --upgrade xformers | |
| ``` | |
| # モデル設定 | |
| ``` | |
| model_id = "llm-jp-3-13b-it" # Fine-TunedモデルID | |
| load_in_4bit = True # 4-bit量子化 | |
| max_seq_length = 512 | |
| ``` | |
| ``` | |
| # Install Flash Attention 2 for softcapping support | |
| import torch | |
| if torch.cuda.get_device_capability()[0] >= 8: | |
| !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3" | |
| ``` | |
| # モデルとトークナイザーのロード | |
| ``` | |
| model, tokenizer = FastLanguageModel.from_pretrained( | |
| model_name=model_id, | |
| dtype=None, | |
| load_in_4bit=load_in_4bit, | |
| trust_remote_code=True, | |
| ) | |
| ``` | |
| # llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。 | |
| ``` | |
| from unsloth import FastLanguageModel | |
| import torch | |
| max_seq_length = 512 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能 | |
| dtype = None # Noneにしておけば自動で設定 | |
| load_in_4bit = True # 今回は13Bモデルを扱うためTrue | |
| model_id = "llm-jp/llm-jp-3-13b" | |
| new_model_id = "llm-jp-3-13b-it" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning | |
| # FastLanguageModel インスタンスを作成 | |
| model, tokenizer = FastLanguageModel.from_pretrained( | |
| model_name=model_id, | |
| dtype=dtype, | |
| load_in_4bit=load_in_4bit, | |
| trust_remote_code=True, | |
| ) | |
| # SFT用のモデルを用意 | |
| model = FastLanguageModel.get_peft_model( | |
| model, | |
| r = 32, | |
| target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", | |
| "gate_proj", "up_proj", "down_proj",], | |
| lora_alpha = 32, | |
| lora_dropout = 0.05, | |
| bias = "none", | |
| use_gradient_checkpointing = "unsloth", | |
| random_state = 3407, | |
| use_rslora = False, | |
| loftq_config = None, | |
| max_seq_length = max_seq_length, | |
| ) | |
| ``` | |
| # 学習に用いるデータセットの指定(今回はLLM-jp の公開している Ichikara Instruction を使用。) | |
| ``` | |
| from datasets import load_dataset | |
| dataset = load_dataset("json", data_files="/content/ichikara-instruction-003-001-1.json") | |
| ``` | |
| # 学習時のプロンプトフォーマットの定義 | |
| ``` | |
| prompt = """### 指示 | |
| {} | |
| ### 回答 | |
| {}""" | |
| """ | |
| formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる | |
| """ | |
| EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン） | |
| def formatting_prompts_func(examples): | |
| input = examples["text"] # 入力データ | |
| output = examples["output"] # 出力データ | |
| text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成 | |
| return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す | |
| pass | |
| # # 各データにフォーマットを適用 | |
| dataset = dataset.map( | |
| formatting_prompts_func, | |
| num_proc= 4, # 並列処理数を指定 | |
| ) | |
| dataset | |
| ``` | |
| # テキスト生成例 | |
| ``` | |
| """ | |
| training_arguments: 学習の設定 | |
| - output_dir: | |
| -トレーニング後のモデルを保存するディレクトリ | |
| - per_device_train_batch_size: | |
| - デバイスごとのトレーニングバッチサイズ | |
| - per_device_eval_batch_size: | |
| - デバイスごとの評価バッチサイズ | |
| - gradient_accumulation_steps: | |
| - 勾配を更新する前にステップを積み重ねる回数 | |
| - optim: | |
| - オプティマイザの設定 | |
| - num_train_epochs: | |
| - エポック数 | |
| - eval_strategy: | |
| - 評価の戦略 ("no"/"steps"/"epoch") | |
| - eval_steps: | |
| - eval_strategyが"steps"のとき、評価を行うstep間隔 | |
| - logging_strategy: | |
| - ログ記録の戦略 | |
| - logging_steps: | |
| - ログを出力するステップ間隔 | |
| - warmup_steps: | |
| - 学習率のウォームアップステップ数 | |
| - save_steps: | |
| - モデルを保存するステップ間隔 | |
| - save_total_limit: | |
| - 保存しておくcheckpointの数 | |
| - max_steps: | |
| - トレーニングの最大ステップ数 | |
| - learning_rate: | |
| - 学習率 | |
| - fp16: | |
| - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです） | |
| - bf16: | |
| - BFloat16の使用設定 | |
| - group_by_length: | |
| - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化) | |
| - report_to: | |
| - ログの送信先 ("wandb"/"tensorboard"など) | |
| """ | |
| from trl import SFTTrainer | |
| from transformers import TrainingArguments | |
| from unsloth import is_bfloat16_supported | |
| trainer = SFTTrainer( | |
| model = model, | |
| tokenizer = tokenizer, | |
| train_dataset=dataset["train"], | |
| max_seq_length = max_seq_length, | |
| dataset_text_field="formatted_text", | |
| packing = False, | |
| args = TrainingArguments( | |
| per_device_train_batch_size = 2, | |
| gradient_accumulation_steps = 4, | |
| num_train_epochs = 1, | |
| logging_steps = 10, | |
| warmup_steps = 10, | |
| save_steps=100, | |
| save_total_limit=2, | |
| max_steps=-1, | |
| learning_rate = 2e-4, | |
| fp16 = not is_bfloat16_supported(), | |
| bf16 = is_bfloat16_supported(), | |
| group_by_length=True, | |
| seed = 3407, | |
| output_dir = "outputs", | |
| report_to = "none", | |
| ), | |
| ) | |
| ``` | |
| # 現在のメモリ使用量を表示 | |
| ``` | |
| gpu_stats = torch.cuda.get_device_properties(0) | |
| start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3) | |
| max_memory = round(gpu_stats.total_memory / 1024 / 1024 / 1024, 3) | |
| print(f"GPU = {gpu_stats.name}. Max memory = {max_memory} GB.") | |
| print(f"{start_gpu_memory} GB of memory reserved.") | |
| ``` | |
| # title 学習実行 | |
| ``` | |
| trainer_stats = trainer.train() | |
| ``` | |
| # データセットの読み込み | |
| ``` | |
| import json | |
| datasets = [] | |
| with open("/content/elyza-tasks-100-TV_0.jsonl", "r") as f: | |
| item = "" | |
| for line in f: | |
| line = line.strip() | |
| item += line | |
| if item.endswith("}"): | |
| datasets.append(json.loads(item)) | |
| item = "" | |
| ``` | |
| # 学習したモデルを用いてタスクを実行 | |
| ``` | |
| from tqdm import tqdm | |
| ``` | |
| # 推論するためにモデルのモードを変更 | |
| ``` | |
| FastLanguageModel.for_inference(model) | |
| results = [] | |
| for dt in tqdm(datasets): | |
| input = dt["input"] | |
| prompt = f"""### 指示\n{input}\n### 回答\n""" | |
| inputs = tokenizer([prompt], return_tensors = "pt").to(model.device) | |
| outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2) | |
| prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1] | |
| results.append({"task_id": dt["task_id"], "input": input, "output": prediction}) | |
| ``` | |
| # jsonlで出力 | |
| ``` | |
| with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f: | |
| for result in results: | |
| json.dump(result, f, ensure_ascii=False) | |
| f.write('\n') | |
| ``` | |
| # トレーニング詳細 | |
| フレームワーク: Hugging Face Transformers | |
| # 設定 | |
| エポック数: 未記載 | |
| バッチサイズ: 1（勾配累積を使用） | |
| 学習率: 5e-5 | |
| LoRAパラメータ: r=32, alpha=32, dropout=0.05 | |
| 量子化方式: 4-bit | |
| その他: 勾配チェックポイントやRoPEをサポート | |
| # パフォーマンス | |
| 本モデルは以下のタスクで高い性能を発揮します。 | |
| テキスト生成 | |
| 質問応答 | |
| 会話応答生成 | |
| # ライセンス | |
| ベースモデル: Apache 2.0 | |
| 本モデル: Apache 2.0 | |
| # 注意事項 | |
| 本モデルは研究・教育目的で提供されています。商用利用を行う場合は、関連するライセンス条件を遵守してください。 | |
| モデルの出力内容に関する責任は利用者が負うものとします。 | |
| base_model: llm-jp/llm-jp-3-13b | |
| tags: | |
| - text-generation-inference | |
| - transformers | |
| - unsloth | |
| - llama | |
| - trl | |
| license: apache-2.0 | |
| language: | |
| - en | |
| Uploaded model | |
| Developed by: kakerukc0506 | |
| License: apache-2.0 | |
| Finetuned from model : llm-jp/llm-jp-3-13b | |
| This llama model was trained 2x faster with Unsloth and Huggingface's TRL library. |