jiangchengchengNLP
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -16,12 +16,12 @@ tags:
|
|
16 |
基础模型:qwen2.5系列,参数量为0.5B
|
17 |
训练数据:3400余条法律判决书及人工摘要
|
18 |
数据来源:法研杯2020年法律文书摘要大赛
|
19 |
-
|
20 |
## 训练细节
|
21 |
- **训练类型**:全量指令微调
|
22 |
- **训练任务**:采用最大似然估计与对比排序学习的多任务算法。
|
23 |
- **损失函数**:
|
24 |
-
- `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2
|
25 |
- **排序对比数据**:从原训练集中采样。
|
26 |
- **生成样本对数据集以进行排序**:使用双底座模型qwen-plus及ENIRE-128K生成。
|
27 |
- **排序评估**:使用传统的ROUGE-F,计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。
|
|
|
16 |
基础模型:qwen2.5系列,参数量为0.5B
|
17 |
训练数据:3400余条法律判决书及人工摘要
|
18 |
数据来源:法研杯2020年法律文书摘要大赛
|
19 |
+
参考文献:[BRIO 论文](https://arxiv.org/abs/2203.16804)
|
20 |
## 训练细节
|
21 |
- **训练类型**:全量指令微调
|
22 |
- **训练任务**:采用最大似然估计与对比排序学习的多任务算法。
|
23 |
- **损失函数**:
|
24 |
+
- `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2之间,根据原论文的损失函数实现,这可能并未是最佳配比。
|
25 |
- **排序对比数据**:从原训练集中采样。
|
26 |
- **生成样本对数据集以进行排序**:使用双底座模型qwen-plus及ENIRE-128K生成。
|
27 |
- **排序评估**:使用传统的ROUGE-F,计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。
|