• 适配openi镜像
• 项目整体流程介绍
• 项目实现

海通大智慧 企业发展相关事件因果关系实体关系抽取实现代码
实验目标
在企业年报中获取到企业对当年环境中遇到的发展问题进行抽取。构建了相关的因果关系图谱。在可视化时我们可以看到广度时间影响与深度事件链条之间的展示效果。
算法侧用的是gplinker来做实体关系联合抽取的算法。

通过对maxlen 、batch_size、 learning_rate、 gp_headers 、gp_head_size 五个参数进行调参。根据实验统计相关的gplinker的调参经验。

目前结果如下

[
  {
    "gp_head_size": 32,
    "max_length": 64,
    "batch_size": 4,
    "learning_rate": 1e-05,
    "f1": 0.4682170542636208,
    "precision": 0.567669172932385,
    "recall": 0.3984168865435885
  },
  {
    "gp_head_size": 64,
    "max_length": 64,
    "batch_size": 4,
    "learning_rate": 1e-05,
    "f1": 0.48435094920477323,
    "precision": 0.5812807881773914,
    "recall": 0.4151275285840444
  },
  {
    "gp_head_size": 128,
    "max_length": 64,
    "batch_size": 4,
    "learning_rate": 1e-05,
    "f1": 0.47346938775515574,
    "precision": 0.5637910085055208,
    "recall": 0.40809146877753666
  }
]

因为实验过程遇到一些阻力，所以目前进行第一步为代码继续调试。

适配openi镜像

目前看起来可能有效的方案为

nvcr.io/nvidia/tensorflow:21.08

其他的解决方案
从openi中选择一个python 3.8的镜像执行下面两个操作
pip install nvidia-pyindex

pip install nvidia-tensorflow[horovod]

项目整体流程介绍

第一步 处理年报

把上市企业的年报中的文本识别出来

第二步 人工标注句子中的因果关系

基于doccano进行实体关系标记工作

第三步 训练关系抽取模型

基于gplinker训练实体关系抽取模型

第四步 在剩余的年报中找到符合这个分布的因果关系

第五步 图谱可视化

基于pyvis构建层次图谱可视化

第六步 输入关键词搜索关键词相关的图谱

项目实现

项目实现了第三步第四步。
基于gplinker训练实体关系联合抽取任务。
寻找当前数据集最佳的参数配比。