| { | |
| "best_metric": 0.7950819672131147, | |
| "best_model_checkpoint": "./save_phi2_ft_lora/checkpoint-700", | |
| "epoch": 2.0, | |
| "eval_steps": 100, | |
| "global_step": 700, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02857142857142857, | |
| "grad_norm": 0.18488438427448273, | |
| "learning_rate": 5e-06, | |
| "loss": 1.9926, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.05714285714285714, | |
| "grad_norm": 0.20217478275299072, | |
| "learning_rate": 1e-05, | |
| "loss": 2.0428, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.08571428571428572, | |
| "grad_norm": 0.22868461906909943, | |
| "learning_rate": 1.5e-05, | |
| "loss": 2.1981, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.11428571428571428, | |
| "grad_norm": 0.31630581617355347, | |
| "learning_rate": 2e-05, | |
| "loss": 2.1773, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.14285714285714285, | |
| "grad_norm": 0.46189257502555847, | |
| "learning_rate": 2.5e-05, | |
| "loss": 2.0399, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.17142857142857143, | |
| "grad_norm": 1.0216264724731445, | |
| "learning_rate": 3e-05, | |
| "loss": 2.1152, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.6140756607055664, | |
| "learning_rate": 3.5e-05, | |
| "loss": 2.0064, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.22857142857142856, | |
| "grad_norm": 0.7276609539985657, | |
| "learning_rate": 4e-05, | |
| "loss": 1.9443, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.2571428571428571, | |
| "grad_norm": 0.694882869720459, | |
| "learning_rate": 4.5e-05, | |
| "loss": 1.9579, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.2857142857142857, | |
| "grad_norm": 0.7517616748809814, | |
| "learning_rate": 5e-05, | |
| "loss": 1.9891, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.2857142857142857, | |
| "eval_accuracy": 0.7295081967213115, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.2857142857142857, | |
| "eval_loss": 1.9115574359893799, | |
| "eval_runtime": 333.2149, | |
| "eval_samples_per_second": 1.098, | |
| "eval_steps_per_second": 1.098, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.3142857142857143, | |
| "grad_norm": 0.8051323294639587, | |
| "learning_rate": 4.9166666666666665e-05, | |
| "loss": 1.8878, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.34285714285714286, | |
| "grad_norm": 0.8047056198120117, | |
| "learning_rate": 4.8333333333333334e-05, | |
| "loss": 1.9324, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.37142857142857144, | |
| "grad_norm": 0.7180447578430176, | |
| "learning_rate": 4.75e-05, | |
| "loss": 1.939, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.8593822717666626, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 1.821, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.42857142857142855, | |
| "grad_norm": 0.837947428226471, | |
| "learning_rate": 4.5833333333333334e-05, | |
| "loss": 1.8796, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.45714285714285713, | |
| "grad_norm": 0.8277564644813538, | |
| "learning_rate": 4.5e-05, | |
| "loss": 1.8104, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4857142857142857, | |
| "grad_norm": 0.8004774451255798, | |
| "learning_rate": 4.4166666666666665e-05, | |
| "loss": 1.9447, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.5142857142857142, | |
| "grad_norm": 0.907889187335968, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 1.9153, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.5428571428571428, | |
| "grad_norm": 0.8122074604034424, | |
| "learning_rate": 4.25e-05, | |
| "loss": 1.8258, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.5714285714285714, | |
| "grad_norm": 0.8643149137496948, | |
| "learning_rate": 4.166666666666667e-05, | |
| "loss": 1.9096, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.5714285714285714, | |
| "eval_accuracy": 0.7759562841530054, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.5714285714285714, | |
| "eval_loss": 1.8283634185791016, | |
| "eval_runtime": 333.2589, | |
| "eval_samples_per_second": 1.098, | |
| "eval_steps_per_second": 1.098, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.7891345024108887, | |
| "learning_rate": 4.0833333333333334e-05, | |
| "loss": 1.8198, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.6285714285714286, | |
| "grad_norm": 0.9142560362815857, | |
| "learning_rate": 4e-05, | |
| "loss": 1.822, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.6571428571428571, | |
| "grad_norm": 0.8956629037857056, | |
| "learning_rate": 3.9166666666666665e-05, | |
| "loss": 1.9947, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.6857142857142857, | |
| "grad_norm": 0.8790289163589478, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 1.8011, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.7142857142857143, | |
| "grad_norm": 0.7958552837371826, | |
| "learning_rate": 3.7500000000000003e-05, | |
| "loss": 1.8926, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.7428571428571429, | |
| "grad_norm": 0.924050509929657, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 1.7819, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.7714285714285715, | |
| "grad_norm": 0.8796949982643127, | |
| "learning_rate": 3.5833333333333335e-05, | |
| "loss": 1.9019, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.886051595211029, | |
| "learning_rate": 3.5e-05, | |
| "loss": 1.9703, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.8285714285714286, | |
| "grad_norm": 0.927409291267395, | |
| "learning_rate": 3.4166666666666666e-05, | |
| "loss": 1.7759, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.8571428571428571, | |
| "grad_norm": 0.9948813915252686, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 1.8922, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8571428571428571, | |
| "eval_accuracy": 0.7841530054644809, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8571428571428571, | |
| "eval_loss": 1.7880818843841553, | |
| "eval_runtime": 333.1304, | |
| "eval_samples_per_second": 1.099, | |
| "eval_steps_per_second": 1.099, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8857142857142857, | |
| "grad_norm": 1.0474625825881958, | |
| "learning_rate": 3.2500000000000004e-05, | |
| "loss": 1.8395, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.9142857142857143, | |
| "grad_norm": 0.9924995303153992, | |
| "learning_rate": 3.1666666666666666e-05, | |
| "loss": 1.7693, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.9428571428571428, | |
| "grad_norm": 0.9499343037605286, | |
| "learning_rate": 3.0833333333333335e-05, | |
| "loss": 1.7355, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.9714285714285714, | |
| "grad_norm": 0.956279456615448, | |
| "learning_rate": 3e-05, | |
| "loss": 1.8403, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 1.0404754877090454, | |
| "learning_rate": 2.916666666666667e-05, | |
| "loss": 1.697, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 1.0285714285714285, | |
| "grad_norm": 1.0445646047592163, | |
| "learning_rate": 2.8333333333333335e-05, | |
| "loss": 1.7473, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 1.0571428571428572, | |
| "grad_norm": 0.9327600002288818, | |
| "learning_rate": 2.7500000000000004e-05, | |
| "loss": 1.667, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.0857142857142856, | |
| "grad_norm": 0.9816291332244873, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 1.7852, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 1.1142857142857143, | |
| "grad_norm": 1.0297495126724243, | |
| "learning_rate": 2.5833333333333336e-05, | |
| "loss": 1.7682, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 1.1428571428571428, | |
| "grad_norm": 1.0091726779937744, | |
| "learning_rate": 2.5e-05, | |
| "loss": 1.7433, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.1428571428571428, | |
| "eval_accuracy": 0.7650273224043715, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.1428571428571428, | |
| "eval_loss": 1.7643077373504639, | |
| "eval_runtime": 333.0906, | |
| "eval_samples_per_second": 1.099, | |
| "eval_steps_per_second": 1.099, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.1714285714285715, | |
| "grad_norm": 1.0174561738967896, | |
| "learning_rate": 2.4166666666666667e-05, | |
| "loss": 1.8829, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 1.0341657400131226, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 1.7196, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 1.2285714285714286, | |
| "grad_norm": 0.9410291314125061, | |
| "learning_rate": 2.25e-05, | |
| "loss": 1.7932, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 1.2571428571428571, | |
| "grad_norm": 1.0426926612854004, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 1.78, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 1.2857142857142856, | |
| "grad_norm": 1.0770841836929321, | |
| "learning_rate": 2.0833333333333336e-05, | |
| "loss": 1.6309, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 1.3142857142857143, | |
| "grad_norm": 1.0598176717758179, | |
| "learning_rate": 2e-05, | |
| "loss": 1.7488, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 1.342857142857143, | |
| "grad_norm": 1.1742558479309082, | |
| "learning_rate": 1.9166666666666667e-05, | |
| "loss": 1.8233, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 1.3714285714285714, | |
| "grad_norm": 1.126645803451538, | |
| "learning_rate": 1.8333333333333333e-05, | |
| "loss": 1.7465, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.9148754477500916, | |
| "learning_rate": 1.75e-05, | |
| "loss": 1.7949, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 1.4285714285714286, | |
| "grad_norm": 1.107389211654663, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 1.7432, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 1.4285714285714286, | |
| "eval_accuracy": 0.7868852459016393, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 1.4285714285714286, | |
| "eval_loss": 1.748939871788025, | |
| "eval_runtime": 333.192, | |
| "eval_samples_per_second": 1.098, | |
| "eval_steps_per_second": 1.098, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 1.457142857142857, | |
| "grad_norm": 1.2002185583114624, | |
| "learning_rate": 1.5833333333333333e-05, | |
| "loss": 1.7826, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 1.4857142857142858, | |
| "grad_norm": 1.1252415180206299, | |
| "learning_rate": 1.5e-05, | |
| "loss": 1.7597, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 1.5142857142857142, | |
| "grad_norm": 1.1889337301254272, | |
| "learning_rate": 1.4166666666666668e-05, | |
| "loss": 1.7937, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 1.5428571428571427, | |
| "grad_norm": 1.2100496292114258, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 1.8168, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 1.5714285714285714, | |
| "grad_norm": 1.190521478652954, | |
| "learning_rate": 1.25e-05, | |
| "loss": 1.788, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 1.0327638387680054, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 1.7767, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 1.6285714285714286, | |
| "grad_norm": 1.1176255941390991, | |
| "learning_rate": 1.0833333333333334e-05, | |
| "loss": 1.6956, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 1.657142857142857, | |
| "grad_norm": 1.1072781085968018, | |
| "learning_rate": 1e-05, | |
| "loss": 1.6686, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 1.6857142857142857, | |
| "grad_norm": 1.0272276401519775, | |
| "learning_rate": 9.166666666666666e-06, | |
| "loss": 1.8453, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 1.7142857142857144, | |
| "grad_norm": 1.065024495124817, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 1.671, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.7142857142857144, | |
| "eval_accuracy": 0.7896174863387978, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.7142857142857144, | |
| "eval_loss": 1.7397360801696777, | |
| "eval_runtime": 333.0589, | |
| "eval_samples_per_second": 1.099, | |
| "eval_steps_per_second": 1.099, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.7428571428571429, | |
| "grad_norm": 1.1745575666427612, | |
| "learning_rate": 7.5e-06, | |
| "loss": 1.829, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 1.7714285714285714, | |
| "grad_norm": 1.0269488096237183, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 1.7173, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 1.1062535047531128, | |
| "learning_rate": 5.833333333333334e-06, | |
| "loss": 1.8612, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 1.8285714285714287, | |
| "grad_norm": 1.2334086894989014, | |
| "learning_rate": 5e-06, | |
| "loss": 1.7248, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 1.8571428571428572, | |
| "grad_norm": 1.1001238822937012, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 1.5851, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 1.8857142857142857, | |
| "grad_norm": 1.128665566444397, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 1.7088, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 1.9142857142857141, | |
| "grad_norm": 1.0871235132217407, | |
| "learning_rate": 2.5e-06, | |
| "loss": 1.654, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 1.9428571428571428, | |
| "grad_norm": 1.0558490753173828, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 1.7141, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 1.9714285714285715, | |
| "grad_norm": 1.0383915901184082, | |
| "learning_rate": 8.333333333333333e-07, | |
| "loss": 1.6771, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 1.1970326900482178, | |
| "learning_rate": 0.0, | |
| "loss": 1.7946, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.7950819672131147, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 1.7362613677978516, | |
| "eval_runtime": 333.1874, | |
| "eval_samples_per_second": 1.098, | |
| "eval_steps_per_second": 1.098, | |
| "step": 700 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 700, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 2, | |
| "save_steps": 100, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 9.2031141543936e+16, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |