|
|
@@ -1,2 +1,36 @@ |
|
|
|
# DuReader_yesno观点型阅读理解数据集 |
|
|
|
|
|
|
|
## 数据集介绍 |
|
|
|
DuReader yesno是一个以观点极性判断为目标任务的数据集,可以弥补抽取类数据集评测指标的缺陷,从而更好地评价模型对观点极性的理解能力。 |
|
|
|
|
|
|
|
## 数据预览 |
|
|
|
DuReader_yesno数据集的任务定义如下: |
|
|
|
对于一个给定的问题q、一系列相关文档D=d1, d2, …, dn,以及人工抽取答案段落摘要a,要求参评系统自动对问题q、候选文档D以及答案段落摘要a进行分析,输出每个答案段落摘要所表述的是非观点极性。其中,极性分为三类 {Yes, No, Depends}。其中: |
|
|
|
|
|
|
|
Yes:肯定观点,肯定观点指的是答案给出了较为明确的肯定态度。有客观事实的从客观事实的角度出发,主观态度类的从答案的整体态度来判断。 |
|
|
|
No:否定观点,否定观点通常指的是答案较为明确的给出了与问题相反的态度。 |
|
|
|
Depends:无法确定/分情况,主要指的是事情本身存在多种情况,不同情况下对应的观点不一致;或者答案本身对问题表示不确定,要具体具体情况才能判断。 |
|
|
|
|
|
|
|
例如: |
|
|
|
``` |
|
|
|
{ |
|
|
|
"documents": [ |
|
|
|
{ |
|
|
|
"title": "香蕉能放冰箱吗 香蕉剥皮冷冻保存_健康贴士_保健_99健康网", |
|
|
|
"paragraphs": [ |
|
|
|
"本文导读:............." |
|
|
|
] |
|
|
|
} |
|
|
|
], |
|
|
|
"yesno_answer": "No", |
|
|
|
"question": "香蕉能放冰箱吗", |
|
|
|
"answer": "香蕉不能放冰箱,香蕉如果放冰箱里,会更容易变坏,会发黑腐烂。", |
|
|
|
"id": 293 |
|
|
|
} |
|
|
|
``` |
|
|
|
|
|
|
|
## 数据集引用 |
|
|
|
如在学术论文中使用该数据集,请添加相关引用说明,具体如下: |
|
|
|
|
|
|
|
He, W., et al. (2018). DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications. Proceedings of the Workshop on Machine Reading for Question Answering, 37–46. |
|
|
|
论文地址:https://aclanthology.org/W18-2605/ |