sncffcns commited on
Commit
c91ded2
·
verified ·
1 Parent(s): 3efb11d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +247 -0
README.md CHANGED
@@ -20,3 +20,250 @@ language:
20
  This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
21
 
22
  [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
21
 
22
  [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
23
+
24
+ # パッケージのインストール
25
+ !pip uninstall unsloth -y
26
+ !pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
27
+ !pip install --upgrade torch
28
+ !pip install --upgrade xformers
29
+
30
+ # notebookでインタラクティブな表示を可能とする(ただし、うまく動かない場合あり)
31
+ !pip install ipywidgets --upgrade
32
+
33
+ # Install Flash Attention 2 for softcapping support
34
+ import torch
35
+ if torch.cuda.get_device_capability()[0] >= 8:
36
+ !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
37
+
38
+ # llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
39
+
40
+ from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
41
+ from unsloth import FastLanguageModel
42
+ import torch
43
+ max_seq_length = 512 # unslothではRoPEをサポートしているのでコンテキスト長は自由に設定可能
44
+ dtype = None # Noneにしておけば自動で設定
45
+ load_in_4bit = True # 今回は8Bクラスのモデルを扱うためTrue
46
+
47
+ model_id = "llm-jp/llm-jp-3-13b"
48
+ new_model_id = "llm-jp-3-13b-it" #Fine-Tuningしたモデルにつけたい名前、it: Instruction Tuning
49
+ # FastLanguageModel インスタンスを作成
50
+ model, tokenizer = FastLanguageModel.from_pretrained(
51
+ model_name=model_id,
52
+ dtype=dtype,
53
+ load_in_4bit=load_in_4bit,
54
+ trust_remote_code=True,
55
+ )
56
+
57
+ # SFT用のモデルを用意
58
+ model = FastLanguageModel.get_peft_model(
59
+ model,
60
+ r = 32,
61
+ target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
62
+ "gate_proj", "up_proj", "down_proj",],
63
+ lora_alpha = 32,
64
+ lora_dropout = 0.05,
65
+ bias = "none",
66
+ use_gradient_checkpointing = "unsloth",
67
+ random_state = 3407,
68
+ use_rslora = False,
69
+ loftq_config = None,
70
+ max_seq_length = max_seq_length,
71
+ )
72
+
73
+ # Hugging Face Token を指定
74
+ from google.colab import userdata
75
+ HF_TOKEN=userdata.get('HF_TOKEN_WRITE')
76
+
77
+ # 学習に用いるデータセットの指定
78
+ # 今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。
79
+ # Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。
80
+
81
+ # 下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。
82
+ # 今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開(!unzip など)し、データセットのパスを適切に指定してください。
83
+ # omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。
84
+ # Google Colab の場合も左のサイドバーよりドラッグ&ドロップでアップデートしてください。
85
+
86
+ # https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/
87
+ # 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
88
+
89
+ from datasets import load_dataset
90
+
91
+ dataset = load_dataset("json", data_files="/content/ichikara-instruction-003-001-1.json")
92
+
93
+ # 学習時のプロンプトフォーマットの定義
94
+ prompt = """### 指示
95
+ {}
96
+ ### 回答
97
+ {}"""
98
+
99
+
100
+
101
+ """
102
+ formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
103
+ """
104
+ EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン(文末トークン)
105
+ def formatting_prompts_func(examples):
106
+ input = examples["text"] # 入力データ
107
+ output = examples["output"] # 出力データ
108
+ text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
109
+ return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
110
+ pass
111
+
112
+ # # 各データにフォーマットを適用
113
+ dataset = dataset.map(
114
+ formatting_prompts_func,
115
+ num_proc= 4, # 並列処理数を指定
116
+ )
117
+
118
+ dataset
119
+
120
+ # データを確認
121
+ print(dataset["train"]["formatted_text"][3])
122
+
123
+ """
124
+ training_arguments: 学習の設定
125
+
126
+ - output_dir:
127
+ -トレーニング後のモデルを保存するディレクトリ
128
+
129
+ - per_device_train_batch_size:
130
+ - デバイスごとのトレーニングバッチサイズ
131
+
132
+ - per_device_eval_batch_size:
133
+ - デバイスごとの評価バッチサイズ
134
+
135
+ - gradient_accumulation_steps:
136
+ - 勾配を更新する前にステップを積み重ねる回数
137
+
138
+ - optim:
139
+ - オプティマイザの設定
140
+
141
+ - num_train_epochs:
142
+ - エポック数
143
+
144
+ - eval_strategy:
145
+ - 評価の戦略 ("no"/"steps"/"epoch")
146
+
147
+ - eval_steps:
148
+ - eval_strategyが"steps"のとき、評価を行うstep間隔
149
+
150
+ - logging_strategy:
151
+ - ログ記録の戦略
152
+
153
+ - logging_steps:
154
+ - ログを出力するステップ間隔
155
+
156
+ - warmup_steps:
157
+ - 学習率のウォームアップステップ数
158
+
159
+ - save_steps:
160
+ - モデルを保存するステップ間隔
161
+
162
+ - save_total_limit:
163
+ - 保存しておくcheckpointの数
164
+
165
+ - max_steps:
166
+ - トレーニングの最大ステップ数
167
+
168
+ - learning_rate:
169
+ - 学習率
170
+
171
+ - fp16:
172
+ - 16bit浮動小数点の使用設定(第8回演習を参考にすると良いです)
173
+
174
+ - bf16:
175
+ - BFloat16の使用設定
176
+
177
+ - group_by_length:
178
+ - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
179
+
180
+ - report_to:
181
+ - ログの送信先 ("wandb"/"tensorboard"など)
182
+ """
183
+ from trl import SFTTrainer
184
+ from transformers import TrainingArguments
185
+ from unsloth import is_bfloat16_supported
186
+
187
+ trainer = SFTTrainer(
188
+ model = model,
189
+ tokenizer = tokenizer,
190
+ train_dataset=dataset["train"],
191
+ max_seq_length = max_seq_length,
192
+ dataset_text_field="formatted_text",
193
+ packing = False,
194
+ args = TrainingArguments(
195
+ per_device_train_batch_size = 2,
196
+ gradient_accumulation_steps = 4,
197
+ num_train_epochs = 1,
198
+ logging_steps = 10,
199
+ warmup_steps = 10,
200
+ save_steps=100,
201
+ save_total_limit=2,
202
+ max_steps=-1,
203
+ learning_rate = 2e-4,
204
+ fp16 = not is_bfloat16_supported(),
205
+ bf16 = is_bfloat16_supported(),
206
+ group_by_length=True,
207
+ seed = 3407,
208
+ output_dir = "outputs",
209
+ report_to = "none",
210
+ ),
211
+ )
212
+
213
+ #@title 現在のメモリ使用量を表示
214
+ gpu_stats = torch.cuda.get_device_properties(0)
215
+ start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3)
216
+ max_memory = round(gpu_stats.total_memory / 1024 / 1024 / 1024, 3)
217
+ print(f"GPU = {gpu_stats.name}. Max memory = {max_memory} GB.")
218
+ print(f"{start_gpu_memory} GB of memory reserved.")
219
+
220
+ #@title 学習実行
221
+ trainer_stats = trainer.train()
222
+
223
+ # ELYZA-tasks-100-TVの読み込み。事前にファイルをアップロードしてください
224
+ # データセットの読み込み。
225
+ # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
226
+ import json
227
+ datasets = []
228
+ with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
229
+ item = ""
230
+ for line in f:
231
+ line = line.strip()
232
+ item += line
233
+ if item.endswith("}"):
234
+ datasets.append(json.loads(item))
235
+ item = ""
236
+
237
+ # 学習したモデルを用いてタスクを実行
238
+ from tqdm import tqdm
239
+
240
+ # 推論するためにモデルのモードを変更
241
+ FastLanguageModel.for_inference(model)
242
+
243
+ results = []
244
+ for dt in tqdm(datasets):
245
+ input = dt["input"]
246
+
247
+ prompt = f"""### 指示\n{input}\n### 回答\n"""
248
+
249
+ inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
250
+
251
+ outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
252
+ prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
253
+
254
+ results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
255
+
256
+ # jsonlで保存
257
+ with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
258
+ for result in results:
259
+ json.dump(result, f, ensure_ascii=False)
260
+ f.write('\n')
261
+
262
+ # モデルとトークナイザーをHugging Faceにアップロード。
263
+ model.push_to_hub_merged(
264
+ new_model_id,
265
+ tokenizer=tokenizer,
266
+ save_method="lora",
267
+ token=HF_TOKEN,
268
+ private=True
269
+ )