Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
闫广庆 0b1cf8e76d | 1 year ago | |
---|---|---|
chinese_roberta_wwm_ext_L-12_H-768_A-12 | 1 year ago | |
dev_pred.json | 1 year ago | |
readme.md | 1 year ago | |
train.jsonl | 1 year ago | |
train.py | 1 year ago | |
train_second.py | 1 year ago |
海通大智慧 企业发展相关事件因果关系实体关系抽取实现代码
实验目标
在企业年报中获取到企业对当年环境中遇到的发展问题进行抽取。构建了相关的因果关系图谱。在可视化时我们可以看到广度时间影响与深度事件链条之间的展示效果。
算法侧用的是gplinker来做实体关系联合抽取的算法。
通过对maxlen 、batch_size、 learning_rate、 gp_headers 、gp_head_size 五个参数进行调参。根据实验统计相关的gplinker的调参经验。
目前结果如下
[
{
"gp_head_size": 32,
"max_length": 64,
"batch_size": 4,
"learning_rate": 1e-05,
"f1": 0.4682170542636208,
"precision": 0.567669172932385,
"recall": 0.3984168865435885
},
{
"gp_head_size": 64,
"max_length": 64,
"batch_size": 4,
"learning_rate": 1e-05,
"f1": 0.48435094920477323,
"precision": 0.5812807881773914,
"recall": 0.4151275285840444
},
{
"gp_head_size": 128,
"max_length": 64,
"batch_size": 4,
"learning_rate": 1e-05,
"f1": 0.47346938775515574,
"precision": 0.5637910085055208,
"recall": 0.40809146877753666
}
]
因为实验过程遇到一些阻力,所以目前进行第一步为代码继续调试。
目前看起来可能有效的方案为
nvcr.io/nvidia/tensorflow:21.08
其他的解决方案
从openi中选择一个python 3.8的镜像执行下面两个操作
pip install nvidia-pyindex
pip install nvidia-tensorflow[horovod]
第一步 处理年报
把上市企业的年报中的文本识别出来
第二步 人工标注句子中的因果关系
基于doccano进行实体关系标记工作
第三步 训练关系抽取模型
基于gplinker训练实体关系抽取模型
第四步 在剩余的年报中找到符合这个分布的因果关系
第五步 图谱可视化
基于pyvis构建层次图谱可视化
第六步 输入关键词搜索关键词相关的图谱
项目实现了第三步第四步。
基于gplinker训练实体关系联合抽取任务。
寻找当前数据集最佳的参数配比。
企业公告事件因果实体关系抽取
Unity3D Asset Text Python
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》