jiangchengchengNLP commited on
Commit
3f3e1d1
·
verified ·
1 Parent(s): 7cc868d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -16,12 +16,12 @@ tags:
16
  基础模型:qwen2.5系列,参数量为0.5B
17
  训练数据:3400余条法律判决书及人工摘要
18
  数据来源:法研杯2020年法律文书摘要大赛
19
-
20
  ## 训练细节
21
  - **训练类型**:全量指令微调
22
  - **训练任务**:采用最大似然估计与对比排序学习的多任务算法。
23
  - **损失函数**:
24
- - `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2之间。
25
  - **排序对比数据**:从原训练集中采样。
26
  - **生成样本对数据集以进行排序**:使用双底座模型qwen-plus及ENIRE-128K生成。
27
  - **排序评估**:使用传统的ROUGE-F,计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。
 
16
  基础模型:qwen2.5系列,参数量为0.5B
17
  训练数据:3400余条法律判决书及人工摘要
18
  数据来源:法研杯2020年法律文书摘要大赛
19
+ 参考文献:[BRIO 论文](https://arxiv.org/abs/2203.16804)
20
  ## 训练细节
21
  - **训练类型**:全量指令微调
22
  - **训练任务**:采用最大似然估计与对比排序学习的多任务算法。
23
  - **损失函数**:
24
+ - `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2之间,根据原论文的损失函数实现,这可能并未是最佳配比。
25
  - **排序对比数据**:从原训练集中采样。
26
  - **生成样本对数据集以进行排序**:使用双底座模型qwen-plus及ENIRE-128K生成。
27
  - **排序评估**:使用传统的ROUGE-F,计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。