《ChatGPT中文信息抽取能力测评——以三种典型的抽取任务为例》

• 来源专题：数智化图书情报
• 编译者： 闫亚飞
• 发布时间：2023-09-13
• 原文来源：https://manu44.magtech.com.cn/Jwk_infotech_wk3/CN/10.11925/infotech.2096-3467.2023.0473

 [目的]评估ChatGPT在中文命名实体识别、关系抽取以及事件抽取等典型的中文信息抽取任务中的性能，分析不同任务和领域ChatGPT的表现差异，给出ChatGPT中文场景下的使用建议。
[方法]采用Prompt提示的方式，分别依据精确匹配和宽松匹配两种方式，测评ChatGPT在3个典型信息抽取任务、共7个数据集上的性能：在MSRA、Weibo、Resume和CCSK2019数据集评估ChatGPT的命名实体识别效果，并与GlyceBERT和ERNIE3.0模型对比；在FinRE和SanWen数据集中测试ChatGPT与ERNIE3.0 Tian的关系抽取效果；在CCKS2020数据集测试ChatGPT与ERNIE3.0 的事件抽取效果。
[结果] ChatGPT在命名实体识别任务中的表现低于GlyceBERT和ERNIE3.0模型。在关系抽取任务中，ERNIE3.0Tian优于ChatGPT。在事件抽取任务中，ChatGPT在宽松匹配下的表现优于ERNIE3.0。
[局限]以Prompt提示的方式评估ChatGPT的性能表现存在主观性，不同的Prompt会产生效果差异。
[结论] ChatGPT在典型的中文信息抽取任务上的表现还有很大的改进空间，用户在使用过程中需选择合适的Prompt和问题。