w2v2_ablation_with_4-layer-ling_head-best_on_tp0.025_tl10_fp0.001_fl16

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.4122
• Wer: 0.0792

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 16
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• total_train_batch_size: 32
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
115.505	0.94	100	81.4452	18.6578
51.5639	1.89	200	5.2045	1.0
5.0643	2.83	300	5.2778	1.0
4.769	3.77	400	4.8450	1.0
4.5284	4.72	500	4.6743	1.0
4.424	5.66	600	4.6898	1.0
4.368	6.6	700	4.5734	1.0
4.2534	7.55	800	4.3091	1.0
4.0562	8.49	900	3.9265	0.9752
3.5949	9.43	1000	2.8375	0.6954
2.3633	10.38	1100	1.4117	0.2572
1.331	11.32	1200	0.9633	0.1877
0.9938	12.26	1300	0.7780	0.1505
0.8026	13.21	1400	0.6777	0.1499
0.7257	14.15	1500	0.5969	0.1356
0.6029	15.09	1600	0.5835	0.1203
0.5681	16.04	1700	0.5685	0.1325
0.5349	16.98	1800	0.5383	0.1270
0.4683	17.92	1900	0.5036	0.1126
0.4761	18.87	2000	0.5119	0.1173
0.4224	19.81	2100	0.5188	0.1277
0.4313	20.75	2200	0.5012	0.1180
0.3931	21.7	2300	0.4858	0.1200
0.3891	22.64	2400	0.4647	0.1120
0.3914	23.58	2500	0.4528	0.1144
0.3504	24.53	2600	0.4701	0.1044
0.3616	25.47	2700	0.4736	0.1048
0.3184	26.42	2800	0.4503	0.1084
0.3244	27.36	2900	0.4476	0.1024
0.3153	28.3	3000	0.4354	0.1101
0.3065	29.25	3100	0.4419	0.0965
0.3146	30.19	3200	0.4464	0.0997
0.3153	31.13	3300	0.4289	0.0859
0.269	32.08	3400	0.4388	0.1040
0.2974	33.02	3500	0.4407	0.1024
0.2943	33.96	3600	0.4631	0.0962
0.2728	34.91	3700	0.4320	0.0962
0.2816	35.85	3800	0.4459	0.0984
0.2647	36.79	3900	0.4249	0.0966
0.2788	37.74	4000	0.4118	0.0954
0.2786	38.68	4100	0.4420	0.1003
0.2669	39.62	4200	0.4459	0.1147
0.2569	40.57	4300	0.4257	0.0885
0.2616	41.51	4400	0.4151	0.0928
0.2724	42.45	4500	0.4109	0.0948
0.2332	43.4	4600	0.4189	0.0909
0.2225	44.34	4700	0.4212	0.0952
0.2431	45.28	4800	0.4214	0.0941
0.2369	46.23	4900	0.4097	0.0930
0.2326	47.17	5000	0.4093	0.0944
0.2019	48.11	5100	0.4003	0.0950
0.2074	49.06	5200	0.4333	0.0938
0.1947	50.0	5300	0.4136	0.0952
0.1965	50.94	5400	0.4271	0.0851
0.2035	51.89	5500	0.4170	0.0861
0.2072	52.83	5600	0.4090	0.0831
0.2022	53.77	5700	0.4258	0.0858
0.1807	54.72	5800	0.4159	0.0833
0.1912	55.66	5900	0.4286	0.0846
0.1805	56.6	6000	0.4354	0.0805
0.1906	57.55	6100	0.4126	0.0829
0.1799	58.49	6200	0.4310	0.0823
0.1861	59.43	6300	0.4363	0.0873
0.1823	60.38	6400	0.4247	0.0814
0.1951	61.32	6500	0.4414	0.0866
0.1852	62.26	6600	0.4278	0.0798
0.1877	63.21	6700	0.4242	0.0836
0.1818	64.15	6800	0.4220	0.0826
0.177	65.09	6900	0.4151	0.0861
0.1773	66.04	7000	0.4220	0.0856
0.1682	66.98	7100	0.4215	0.0813
0.1659	67.92	7200	0.4229	0.0807
0.1879	68.87	7300	0.4152	0.0819
0.1704	69.81	7400	0.4113	0.0839
0.155	70.75	7500	0.4139	0.0843
0.1563	71.7	7600	0.4159	0.0834
0.1489	72.64	7700	0.4119	0.0827
0.1501	73.58	7800	0.4113	0.0819
0.1363	74.53	7900	0.4110	0.0820
0.154	75.47	8000	0.4130	0.0788
0.1595	76.42	8100	0.4154	0.0789
0.1574	77.36	8200	0.4149	0.0808
0.1407	78.3	8300	0.4152	0.0827
0.1759	79.25	8400	0.4149	0.0829
0.1512	80.19	8500	0.4198	0.0831
0.1544	81.13	8600	0.4087	0.0786
0.1523	82.08	8700	0.4139	0.0797
0.1346	83.02	8800	0.4116	0.0782
0.1429	83.96	8900	0.4113	0.0782
0.135	84.91	9000	0.4119	0.0802
0.1461	85.85	9100	0.4162	0.0800
0.1389	86.79	9200	0.4166	0.0802
0.1458	87.74	9300	0.4182	0.0804
0.144	88.68	9400	0.4169	0.0792
0.1415	89.62	9500	0.4156	0.0792
0.1472	90.57	9600	0.4147	0.0792
0.1428	91.51	9700	0.4152	0.0796
0.1529	92.45	9800	0.4129	0.0790
0.1447	93.4	9900	0.4128	0.0795
0.1353	94.34	10000	0.4129	0.0797
0.1488	95.28	10100	0.4130	0.0796
0.1454	96.23	10200	0.4124	0.0793
0.16	97.17	10300	0.4122	0.0794
0.1533	98.11	10400	0.4123	0.0792
0.1313	99.06	10500	0.4120	0.0794
0.155	100.0	10600	0.4122	0.0792

Framework versions

• Transformers 4.35.2
• Pytorch 1.13.1+cu117
• Datasets 2.12.0
• Tokenizers 0.14.1