{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 15000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 1.8224557638168335,
      "learning_rate": 0.00019895986131484198,
      "loss": 0.5652,
      "step": 200
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 1.010162353515625,
      "learning_rate": 0.00019789305240698761,
      "loss": 0.5615,
      "step": 400
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.7284229397773743,
      "learning_rate": 0.00019682624349913323,
      "loss": 0.5847,
      "step": 600
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.9393308758735657,
      "learning_rate": 0.00019575943459127886,
      "loss": 0.5545,
      "step": 800
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.915951669216156,
      "learning_rate": 0.00019469262568342445,
      "loss": 0.5794,
      "step": 1000
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.9032522439956665,
      "learning_rate": 0.0001936258167755701,
      "loss": 0.6067,
      "step": 1200
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.6736401915550232,
      "learning_rate": 0.0001925590078677157,
      "loss": 0.5701,
      "step": 1400
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.775130271911621,
      "learning_rate": 0.0001914921989598613,
      "loss": 0.5895,
      "step": 1600
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.1148632764816284,
      "learning_rate": 0.00019042539005200695,
      "loss": 0.6095,
      "step": 1800
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.9489474296569824,
      "learning_rate": 0.00018935858114415256,
      "loss": 0.6109,
      "step": 2000
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.783237874507904,
      "learning_rate": 0.0001882917722362982,
      "loss": 0.5866,
      "step": 2200
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.6665730476379395,
      "learning_rate": 0.00018722496332844378,
      "loss": 0.5762,
      "step": 2400
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.291765570640564,
      "learning_rate": 0.00018615815442058942,
      "loss": 0.6123,
      "step": 2600
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.536110520362854,
      "learning_rate": 0.00018509134551273503,
      "loss": 0.5878,
      "step": 2800
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.170196771621704,
      "learning_rate": 0.00018402453660488067,
      "loss": 0.5954,
      "step": 3000
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.9499145150184631,
      "learning_rate": 0.00018295772769702628,
      "loss": 0.6159,
      "step": 3200
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.2118113040924072,
      "learning_rate": 0.0001818909187891719,
      "loss": 0.639,
      "step": 3400
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.9366052150726318,
      "learning_rate": 0.00018082410988131753,
      "loss": 0.6232,
      "step": 3600
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 1.1474961042404175,
      "learning_rate": 0.00017975730097346312,
      "loss": 0.5993,
      "step": 3800
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.5155959129333496,
      "learning_rate": 0.00017869049206560876,
      "loss": 0.6139,
      "step": 4000
    },
    {
      "epoch": 0.56,
      "grad_norm": 2.1921544075012207,
      "learning_rate": 0.00017762368315775437,
      "loss": 0.6352,
      "step": 4200
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 1.1144263744354248,
      "learning_rate": 0.0001765568742499,
      "loss": 0.6004,
      "step": 4400
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.6893116235733032,
      "learning_rate": 0.00017549006534204562,
      "loss": 0.6312,
      "step": 4600
    },
    {
      "epoch": 0.64,
      "grad_norm": 1.4080637693405151,
      "learning_rate": 0.00017442325643419123,
      "loss": 0.6002,
      "step": 4800
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.4908393621444702,
      "learning_rate": 0.00017335644752633687,
      "loss": 0.603,
      "step": 5000
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.5237169861793518,
      "learning_rate": 0.00017228963861848245,
      "loss": 0.6179,
      "step": 5200
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.4859675168991089,
      "learning_rate": 0.0001712228297106281,
      "loss": 0.6421,
      "step": 5400
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 1.4541916847229004,
      "learning_rate": 0.0001701560208027737,
      "loss": 0.615,
      "step": 5600
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 2.2076306343078613,
      "learning_rate": 0.00016908921189491934,
      "loss": 0.6419,
      "step": 5800
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.6922993659973145,
      "learning_rate": 0.00016802240298706495,
      "loss": 0.6234,
      "step": 6000
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.6677654385566711,
      "learning_rate": 0.00016695559407921057,
      "loss": 0.5954,
      "step": 6200
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.704343855381012,
      "learning_rate": 0.0001658887851713562,
      "loss": 0.6175,
      "step": 6400
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.9924121499061584,
      "learning_rate": 0.0001648219762635018,
      "loss": 0.6172,
      "step": 6600
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.5889892578125,
      "learning_rate": 0.00016375516735564743,
      "loss": 0.6131,
      "step": 6800
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.3223360776901245,
      "learning_rate": 0.00016268835844779304,
      "loss": 0.632,
      "step": 7000
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.9497195482254028,
      "learning_rate": 0.00016162154953993868,
      "loss": 0.6314,
      "step": 7200
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 1.2201488018035889,
      "learning_rate": 0.0001605547406320843,
      "loss": 0.6003,
      "step": 7400
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.9246127605438232,
      "learning_rate": 0.0001594879317242299,
      "loss": 0.5296,
      "step": 7600
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.8949518203735352,
      "learning_rate": 0.00015842112281637554,
      "loss": 0.4514,
      "step": 7800
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.639042317867279,
      "learning_rate": 0.00015735431390852112,
      "loss": 0.4582,
      "step": 8000
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.9326872229576111,
      "learning_rate": 0.00015628750500066676,
      "loss": 0.4339,
      "step": 8200
    },
    {
      "epoch": 1.12,
      "grad_norm": 1.5695537328720093,
      "learning_rate": 0.00015522069609281237,
      "loss": 0.4511,
      "step": 8400
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.8884285092353821,
      "learning_rate": 0.000154153887184958,
      "loss": 0.4151,
      "step": 8600
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.9930616617202759,
      "learning_rate": 0.00015308707827710362,
      "loss": 0.4551,
      "step": 8800
    },
    {
      "epoch": 1.2,
      "grad_norm": 1.1548641920089722,
      "learning_rate": 0.00015202026936924923,
      "loss": 0.4594,
      "step": 9000
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.7928484082221985,
      "learning_rate": 0.00015095346046139487,
      "loss": 0.4704,
      "step": 9200
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 2.5043861865997314,
      "learning_rate": 0.00014988665155354046,
      "loss": 0.5059,
      "step": 9400
    },
    {
      "epoch": 1.28,
      "grad_norm": 1.363883376121521,
      "learning_rate": 0.0001488198426456861,
      "loss": 0.4488,
      "step": 9600
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 1.1422014236450195,
      "learning_rate": 0.0001477530337378317,
      "loss": 0.4636,
      "step": 9800
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.7344350218772888,
      "learning_rate": 0.00014668622482997735,
      "loss": 0.4694,
      "step": 10000
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 2.64691162109375,
      "learning_rate": 0.00014561941592212296,
      "loss": 0.4494,
      "step": 10200
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.8812822103500366,
      "learning_rate": 0.00014455260701426857,
      "loss": 0.4881,
      "step": 10400
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 2.2142817974090576,
      "learning_rate": 0.0001434857981064142,
      "loss": 0.4651,
      "step": 10600
    },
    {
      "epoch": 1.44,
      "grad_norm": 1.6976217031478882,
      "learning_rate": 0.0001424189891985598,
      "loss": 0.4591,
      "step": 10800
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 1.3944759368896484,
      "learning_rate": 0.00014135218029070543,
      "loss": 0.475,
      "step": 11000
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 1.502564787864685,
      "learning_rate": 0.00014028537138285104,
      "loss": 0.4752,
      "step": 11200
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.7984268069267273,
      "learning_rate": 0.00013921856247499668,
      "loss": 0.4641,
      "step": 11400
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 1.7251499891281128,
      "learning_rate": 0.0001381517535671423,
      "loss": 0.4791,
      "step": 11600
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 1.0267277956008911,
      "learning_rate": 0.0001370849446592879,
      "loss": 0.4511,
      "step": 11800
    },
    {
      "epoch": 1.6,
      "grad_norm": 2.1689605712890625,
      "learning_rate": 0.00013601813575143354,
      "loss": 0.4613,
      "step": 12000
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 1.6752183437347412,
      "learning_rate": 0.00013495132684357913,
      "loss": 0.4765,
      "step": 12200
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 0.49789512157440186,
      "learning_rate": 0.00013388451793572477,
      "loss": 0.4735,
      "step": 12400
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.8861690759658813,
      "learning_rate": 0.00013281770902787038,
      "loss": 0.4647,
      "step": 12600
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 1.4024194478988647,
      "learning_rate": 0.00013175090012001602,
      "loss": 0.4566,
      "step": 12800
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 1.691872239112854,
      "learning_rate": 0.00013068409121216163,
      "loss": 0.4646,
      "step": 13000
    },
    {
      "epoch": 1.76,
      "grad_norm": 1.8841276168823242,
      "learning_rate": 0.00012961728230430724,
      "loss": 0.47,
      "step": 13200
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 2.0173470973968506,
      "learning_rate": 0.00012855047339645288,
      "loss": 0.5013,
      "step": 13400
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.7734861373901367,
      "learning_rate": 0.00012748366448859846,
      "loss": 0.474,
      "step": 13600
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.8500189781188965,
      "learning_rate": 0.0001264168555807441,
      "loss": 0.4881,
      "step": 13800
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 1.2855855226516724,
      "learning_rate": 0.0001253500466728897,
      "loss": 0.4784,
      "step": 14000
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 2.410865306854248,
      "learning_rate": 0.00012428323776503535,
      "loss": 0.4673,
      "step": 14200
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.5624301433563232,
      "learning_rate": 0.00012321642885718096,
      "loss": 0.4781,
      "step": 14400
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 2.08925461769104,
      "learning_rate": 0.0001221496199493266,
      "loss": 0.4613,
      "step": 14600
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 2.586411476135254,
      "learning_rate": 0.00012108281104147221,
      "loss": 0.5001,
      "step": 14800
    },
    {
      "epoch": 2.0,
      "grad_norm": 1.7612062692642212,
      "learning_rate": 0.00012001600213361781,
      "loss": 0.4566,
      "step": 15000
    }
  ],
  "logging_steps": 200,
  "max_steps": 37500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.1669474815034573e+17,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}