| { | |
| "best_metric": 0.9857142857142858, | |
| "best_model_checkpoint": "videomae-base-finetuned-ucf101-subset/checkpoint-262", | |
| "epoch": 15.0625, | |
| "eval_steps": 500, | |
| "global_step": 600, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.016666666666666666, | |
| "grad_norm": 40.60966873168945, | |
| "learning_rate": 5e-06, | |
| "loss": 2.3147, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 39.558536529541016, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 2.3452, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.05, | |
| "grad_norm": 32.80515670776367, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 2.3375, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.06166666666666667, | |
| "eval_accuracy": 0.3, | |
| "eval_loss": 2.1297292709350586, | |
| "eval_runtime": 14.9862, | |
| "eval_samples_per_second": 4.671, | |
| "eval_steps_per_second": 2.335, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 1.0041666666666667, | |
| "grad_norm": 34.64106369018555, | |
| "learning_rate": 3e-05, | |
| "loss": 2.2415, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.0208333333333333, | |
| "grad_norm": 30.87928009033203, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 2.0496, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.0375, | |
| "grad_norm": 44.94259262084961, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 1.9814, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.0541666666666667, | |
| "grad_norm": 46.46764373779297, | |
| "learning_rate": 4.9444444444444446e-05, | |
| "loss": 1.7263, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.0625, | |
| "eval_accuracy": 0.4714285714285714, | |
| "eval_loss": 1.4907487630844116, | |
| "eval_runtime": 14.1788, | |
| "eval_samples_per_second": 4.937, | |
| "eval_steps_per_second": 2.468, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 2.0083333333333333, | |
| "grad_norm": 43.959442138671875, | |
| "learning_rate": 4.851851851851852e-05, | |
| "loss": 1.534, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 2.025, | |
| "grad_norm": 60.82181167602539, | |
| "learning_rate": 4.759259259259259e-05, | |
| "loss": 0.9525, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 2.0416666666666665, | |
| "grad_norm": 133.8238983154297, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 0.9864, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 2.058333333333333, | |
| "grad_norm": 13.586677551269531, | |
| "learning_rate": 4.5740740740740745e-05, | |
| "loss": 0.675, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 2.0616666666666665, | |
| "eval_accuracy": 0.8714285714285714, | |
| "eval_loss": 0.6070234179496765, | |
| "eval_runtime": 14.2964, | |
| "eval_samples_per_second": 4.896, | |
| "eval_steps_per_second": 2.448, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 3.0125, | |
| "grad_norm": 13.054574012756348, | |
| "learning_rate": 4.481481481481482e-05, | |
| "loss": 0.4665, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 3.029166666666667, | |
| "grad_norm": 30.4702091217041, | |
| "learning_rate": 4.388888888888889e-05, | |
| "loss": 0.5337, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 3.0458333333333334, | |
| "grad_norm": 35.49639892578125, | |
| "learning_rate": 4.296296296296296e-05, | |
| "loss": 0.4164, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 3.0625, | |
| "grad_norm": 56.043636322021484, | |
| "learning_rate": 4.203703703703704e-05, | |
| "loss": 0.3702, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 3.0625, | |
| "eval_accuracy": 0.8571428571428571, | |
| "eval_loss": 0.4089375138282776, | |
| "eval_runtime": 13.6864, | |
| "eval_samples_per_second": 5.115, | |
| "eval_steps_per_second": 2.557, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 4.016666666666667, | |
| "grad_norm": 12.556026458740234, | |
| "learning_rate": 4.111111111111111e-05, | |
| "loss": 0.2295, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 4.033333333333333, | |
| "grad_norm": 13.941768646240234, | |
| "learning_rate": 4.018518518518519e-05, | |
| "loss": 0.2965, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 4.05, | |
| "grad_norm": 41.09981918334961, | |
| "learning_rate": 3.925925925925926e-05, | |
| "loss": 0.205, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 4.0616666666666665, | |
| "eval_accuracy": 0.8285714285714286, | |
| "eval_loss": 0.4284772574901581, | |
| "eval_runtime": 14.5564, | |
| "eval_samples_per_second": 4.809, | |
| "eval_steps_per_second": 2.404, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 5.004166666666666, | |
| "grad_norm": 117.39291381835938, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 0.4055, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 5.020833333333333, | |
| "grad_norm": 2.8961985111236572, | |
| "learning_rate": 3.740740740740741e-05, | |
| "loss": 0.1491, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 5.0375, | |
| "grad_norm": 79.30088806152344, | |
| "learning_rate": 3.648148148148148e-05, | |
| "loss": 0.2832, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 5.054166666666666, | |
| "grad_norm": 10.952079772949219, | |
| "learning_rate": 3.555555555555556e-05, | |
| "loss": 0.3209, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 5.0625, | |
| "eval_accuracy": 0.8714285714285714, | |
| "eval_loss": 0.2749238610267639, | |
| "eval_runtime": 14.0313, | |
| "eval_samples_per_second": 4.989, | |
| "eval_steps_per_second": 2.494, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 6.008333333333334, | |
| "grad_norm": 9.235201835632324, | |
| "learning_rate": 3.4629629629629626e-05, | |
| "loss": 0.0852, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 6.025, | |
| "grad_norm": 84.64111328125, | |
| "learning_rate": 3.3703703703703706e-05, | |
| "loss": 0.1142, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 6.041666666666667, | |
| "grad_norm": 0.5492846965789795, | |
| "learning_rate": 3.277777777777778e-05, | |
| "loss": 0.1349, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 6.058333333333334, | |
| "grad_norm": 140.50184631347656, | |
| "learning_rate": 3.185185185185185e-05, | |
| "loss": 0.1253, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 6.0616666666666665, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.057075172662734985, | |
| "eval_runtime": 14.2009, | |
| "eval_samples_per_second": 4.929, | |
| "eval_steps_per_second": 2.465, | |
| "step": 262 | |
| }, | |
| { | |
| "epoch": 7.0125, | |
| "grad_norm": 0.2642664313316345, | |
| "learning_rate": 3.0925925925925924e-05, | |
| "loss": 0.0833, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 7.029166666666667, | |
| "grad_norm": 2.2428064346313477, | |
| "learning_rate": 3e-05, | |
| "loss": 0.0912, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 7.045833333333333, | |
| "grad_norm": 147.85494995117188, | |
| "learning_rate": 2.916666666666667e-05, | |
| "loss": 0.1708, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 7.0625, | |
| "grad_norm": 97.06065368652344, | |
| "learning_rate": 2.824074074074074e-05, | |
| "loss": 0.1052, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 7.0625, | |
| "eval_accuracy": 0.9428571428571428, | |
| "eval_loss": 0.25496336817741394, | |
| "eval_runtime": 14.0383, | |
| "eval_samples_per_second": 4.986, | |
| "eval_steps_per_second": 2.493, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 8.016666666666667, | |
| "grad_norm": 245.78524780273438, | |
| "learning_rate": 2.7314814814814816e-05, | |
| "loss": 0.1947, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 8.033333333333333, | |
| "grad_norm": 0.1738840937614441, | |
| "learning_rate": 2.6388888888888892e-05, | |
| "loss": 0.0709, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 8.05, | |
| "grad_norm": 0.3364226222038269, | |
| "learning_rate": 2.5462962962962965e-05, | |
| "loss": 0.1586, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 8.061666666666667, | |
| "eval_accuracy": 0.9428571428571428, | |
| "eval_loss": 0.15877273678779602, | |
| "eval_runtime": 14.2723, | |
| "eval_samples_per_second": 4.905, | |
| "eval_steps_per_second": 2.452, | |
| "step": 337 | |
| }, | |
| { | |
| "epoch": 9.004166666666666, | |
| "grad_norm": 0.4605671763420105, | |
| "learning_rate": 2.4537037037037038e-05, | |
| "loss": 0.0733, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 9.020833333333334, | |
| "grad_norm": 0.2502746284008026, | |
| "learning_rate": 2.361111111111111e-05, | |
| "loss": 0.0837, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 9.0375, | |
| "grad_norm": 138.0084228515625, | |
| "learning_rate": 2.2685185185185187e-05, | |
| "loss": 0.0763, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 9.054166666666667, | |
| "grad_norm": 195.00050354003906, | |
| "learning_rate": 2.175925925925926e-05, | |
| "loss": 0.0498, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 9.0625, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.0736168846487999, | |
| "eval_runtime": 14.1385, | |
| "eval_samples_per_second": 4.951, | |
| "eval_steps_per_second": 2.476, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 10.008333333333333, | |
| "grad_norm": 0.12006565928459167, | |
| "learning_rate": 2.0833333333333336e-05, | |
| "loss": 0.0031, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 10.025, | |
| "grad_norm": 0.14158445596694946, | |
| "learning_rate": 1.990740740740741e-05, | |
| "loss": 0.0029, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 10.041666666666666, | |
| "grad_norm": 16.165096282958984, | |
| "learning_rate": 1.8981481481481482e-05, | |
| "loss": 0.0038, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 10.058333333333334, | |
| "grad_norm": 0.09076345711946487, | |
| "learning_rate": 1.8055555555555555e-05, | |
| "loss": 0.0958, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 10.061666666666667, | |
| "eval_accuracy": 0.9571428571428572, | |
| "eval_loss": 0.0911145731806755, | |
| "eval_runtime": 13.8647, | |
| "eval_samples_per_second": 5.049, | |
| "eval_steps_per_second": 2.524, | |
| "step": 412 | |
| }, | |
| { | |
| "epoch": 11.0125, | |
| "grad_norm": 0.08926841616630554, | |
| "learning_rate": 1.712962962962963e-05, | |
| "loss": 0.0632, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 11.029166666666667, | |
| "grad_norm": 1.1672407388687134, | |
| "learning_rate": 1.6203703703703704e-05, | |
| "loss": 0.0147, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 11.045833333333333, | |
| "grad_norm": 0.1521017849445343, | |
| "learning_rate": 1.527777777777778e-05, | |
| "loss": 0.0023, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 11.0625, | |
| "grad_norm": 169.15692138671875, | |
| "learning_rate": 1.4351851851851853e-05, | |
| "loss": 0.1095, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 11.0625, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.04475517198443413, | |
| "eval_runtime": 13.9431, | |
| "eval_samples_per_second": 5.02, | |
| "eval_steps_per_second": 2.51, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 12.016666666666667, | |
| "grad_norm": 0.07323776185512543, | |
| "learning_rate": 1.3425925925925928e-05, | |
| "loss": 0.0025, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 12.033333333333333, | |
| "grad_norm": 0.0956377387046814, | |
| "learning_rate": 1.25e-05, | |
| "loss": 0.0022, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 12.05, | |
| "grad_norm": 0.058753661811351776, | |
| "learning_rate": 1.1574074074074075e-05, | |
| "loss": 0.0065, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 12.061666666666667, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.07342205196619034, | |
| "eval_runtime": 14.172, | |
| "eval_samples_per_second": 4.939, | |
| "eval_steps_per_second": 2.47, | |
| "step": 487 | |
| }, | |
| { | |
| "epoch": 13.004166666666666, | |
| "grad_norm": 0.06305082142353058, | |
| "learning_rate": 1.0648148148148148e-05, | |
| "loss": 0.0028, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 13.020833333333334, | |
| "grad_norm": 0.09090595692396164, | |
| "learning_rate": 9.722222222222223e-06, | |
| "loss": 0.0019, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 13.0375, | |
| "grad_norm": 0.07484514266252518, | |
| "learning_rate": 8.796296296296297e-06, | |
| "loss": 0.0019, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 13.054166666666667, | |
| "grad_norm": 0.15628193318843842, | |
| "learning_rate": 7.87037037037037e-06, | |
| "loss": 0.0019, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 13.0625, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.06033051386475563, | |
| "eval_runtime": 14.1525, | |
| "eval_samples_per_second": 4.946, | |
| "eval_steps_per_second": 2.473, | |
| "step": 525 | |
| }, | |
| { | |
| "epoch": 14.008333333333333, | |
| "grad_norm": 0.06830224394798279, | |
| "learning_rate": 6.944444444444445e-06, | |
| "loss": 0.0018, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 14.025, | |
| "grad_norm": 0.060837119817733765, | |
| "learning_rate": 6.0185185185185185e-06, | |
| "loss": 0.0018, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 14.041666666666666, | |
| "grad_norm": 0.07549452781677246, | |
| "learning_rate": 5.092592592592592e-06, | |
| "loss": 0.0018, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 14.058333333333334, | |
| "grad_norm": 0.06918464601039886, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 0.0018, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 14.061666666666667, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.06074228137731552, | |
| "eval_runtime": 13.3332, | |
| "eval_samples_per_second": 5.25, | |
| "eval_steps_per_second": 2.625, | |
| "step": 562 | |
| }, | |
| { | |
| "epoch": 15.0125, | |
| "grad_norm": 0.06286273896694183, | |
| "learning_rate": 3.2407407407407406e-06, | |
| "loss": 0.0019, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 15.029166666666667, | |
| "grad_norm": 0.10902930796146393, | |
| "learning_rate": 2.3148148148148148e-06, | |
| "loss": 0.0017, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 15.045833333333333, | |
| "grad_norm": 0.0527629554271698, | |
| "learning_rate": 1.388888888888889e-06, | |
| "loss": 0.0017, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 15.0625, | |
| "grad_norm": 0.06202620267868042, | |
| "learning_rate": 4.6296296296296297e-07, | |
| "loss": 0.0018, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 15.0625, | |
| "eval_accuracy": 0.9857142857142858, | |
| "eval_loss": 0.06344007700681686, | |
| "eval_runtime": 15.1761, | |
| "eval_samples_per_second": 4.613, | |
| "eval_steps_per_second": 2.306, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 15.0625, | |
| "step": 600, | |
| "total_flos": 5.981536752500736e+18, | |
| "train_loss": 0.41279132544994357, | |
| "train_runtime": 2181.466, | |
| "train_samples_per_second": 2.2, | |
| "train_steps_per_second": 0.275 | |
| }, | |
| { | |
| "epoch": 15.0625, | |
| "eval_accuracy": 0.9290322580645162, | |
| "eval_loss": 0.331973135471344, | |
| "eval_runtime": 31.5623, | |
| "eval_samples_per_second": 4.911, | |
| "eval_steps_per_second": 2.471, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 15.0625, | |
| "eval_accuracy": 0.9290322580645162, | |
| "eval_loss": 0.331973135471344, | |
| "eval_runtime": 31.6029, | |
| "eval_samples_per_second": 4.905, | |
| "eval_steps_per_second": 2.468, | |
| "step": 600 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 600, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 9223372036854775807, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 5.981536752500736e+18, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |