关于GCU、沐曦GPGPU、MLU、0卡V100资源4月7日恢复上架的公告>>> 关于共建具身智能开源数据集的倡议>>> 关于云脑任务中统一路径访问方式的公告>>> 关于将启智集群GPU资源迁移至智算集群的公告>>>

History

liusc 8dde6fb6bf update		1 year ago
..
script	update	1 year ago

source	update	1 year ago

README.md	The model for 2019 N2C2 family history extraction track. Including named entity recognition and relation extraction.	2 years ago

README.md

n2c2/OHNLP Track on Family History Extraction

n2c2/OHNLP Track on Family History Extraction

1.train

3实体

python run.py train -d 1 						-- GPU编号
				    -c ./configs/config.ini 	-- 配置文件
                    --entity3 True           	-- 识别的实体类型
                    --model ./save/3entity.bin 	-- 保存模型

5实体

python run.py train -d 1 						-- GPU编号
				    -c ./configs/config.ini 	-- 配置文件
                    --entity5 True           	-- 识别的实体类型
                    --model ./save/5entity.bin 	-- 保存模型

2.eval

3实体

python run.py eval -d 1 							-- GPU编号
				   -c ./configs/config.ini 	 		-- 配置文件
                   --entity3 True           		-- 识别的实体类型
        		   --save_entity entity3.out 		-- NER预测文件
        		   --save_relation relation3.out	-- RE预测文件
                   --model ./save/3entity.bin 		-- 保存模型

5实体

python run.py eval -d 1 							-- GPU编号
				   -c ./configs/config.ini 	 		-- 配置文件
                   --entity5 True           		-- 识别的实体类型
        		   --save_entity entity5.out 		-- NER预测文件
        		   --save_relation relation5.out	-- RE预测文件
                   --model ./save/5entity.bin 		-- 保存模型

3.目录结构

corpus：原始的数据
- test_raw_2018: 2018年测试集文件，官方给了标注
- test_raw_2019: 2019年测试集文件，官方不给标注
- test_raw_2018: 2018年训练集文件，官方给了标注
script：保存评测用到的预处理及后处理脚本
- FH2019：祖传代码，后处理时使用，在上面改动了一些
- src：祖传代码
- parse_xml.py: 从xml文件中提取数据，预处理时使用
- dnnfeature_extract.sh: 提取特征，
  - 输入：目录，目录包含如下所示的分句后的文件，分句的脚本在祖传代码里，记不得是哪个了
  - 输出：目录，输出的内容如下图所示
- dealoutput_3entity_test.sh: 3实体后处理脚本，在python里调用
- dealoutput_5entity_test.sh: 5实体后处理脚本，在python里调用
source：模型对应的代码
- data: 数据部分
  - 3entity：3实体数据
  - 5entity：5实体数据
- code: 模型代码部分
  - utils: 数据预处理
    - corpus_n2c2.py: n2c2数据集的预处理
    - decode.py: 标签还原规则
    - data.py: 将模型输入输出导入dataloader
    - vocab.py: 数据的映射
  - modules: 模型各部分
    - bilstm.py: 包括bilstm和char_bilstm，其中bilstm用于提取上下文特征，char_bilstm用于提取token的字符级表示，拼接双向LSTM的首尾输出得到
    - cnn.py: 包括Char_CNN和SAC，SAC对应EMNLP 2019论文《 Similarity Based Auxiliary Classifier for Named Entity Recognition》，在上下文特征中增加位置信息；Char_CNN用于提取token的字符级表示，拼接多次卷积的结构后映射
    - crf.py: CRF条件随机场的实现
    - mlp_biaffine.py: 双仿射注意力机制的实现
    - wordrep.py: 封装模型的表示层
  - cmds: train或者eval
    - train.py: 训练时使用
    - eval.py: 评估时使用
    - cross_valid.py：交叉验证时使用
  - metric.py: 用于模型评估，使用F1值作为评价指标
  - model.py: 包括model.train()和model.eval()以及model.predict()三个函数
  - parser.py: 模型的核心，调用modules文件夹的各部分
- configs: 模型的配置部分
  - config.ini: n2c2数据集的配置文件
- save: 模型的保存部分
  - vocab.bin: n2c2数据集的词汇信息
- config.py: 解析配置文件
- run.py: 运行脚本

4.结果

NER: 0.8823
RE: 0.7048

5. paper

Zhan K, Peng W, Xiong Y, Fu H, Chen Q, Wang X, Tang B
Novel Graph-Based Model With Biaffine Attention for Family History Extraction From Clinical Text: Modeling Study
JMIR Med Inform 2021;9(4):e23587
URL: https://medinform.jmir.org/2021/4/e23587
DOI: 10.2196/23587