天池大赛

CCKS2023 开放环境下知识图谱构建与补全评测任务二:归纳式知识图谱关系推理__天池大赛

1. 任务简介

知识图谱是一种结构化的数据表示形式,它以图形的方式展示实体及其之间的关系。 而大型语言模型,如GPT系列模型,通过在大量文本数据上进行预训练,能够捕捉到丰富的语义和句法信息。 知识图谱可以为大型语言模型提供结构化的知识,有助于改善模型的推理能力和生成质量。通过将知识图谱中的信息融入大型语言模型中,可以使模型在处理复杂任务时更具智能和准确性。今年,面向更有挑战的开放环境下知识图谱构建和补全场景,围绕基于大模型的知识抽取与推理关键技术,浙江大学联合OpenKG开放知识图谱社区及PaperWeekly在CCKS2023组织评测并包括两个子任务:指令驱动的自适应知识图谱构建、归纳式知识图谱关系推理。两个评测任务具体内容在下面章节介绍。本次评测将依托天池平台(https://tianchi.aliyun.com/)展开,并鼓励评测选手使用大模型(如ChatGPT等),我们将持续维护和新增更多的评测任务,请有意向的参赛队伍请关注平台上的竞赛列表。

任务一指令驱动的自适应知识图谱构建(InstructionKGC)报名地址:
https://tianchi.aliyun.com/competition/entrance/532080/introduction?spm=5176.12281949.0.0.605a3b74ye1SJS
任务二归纳式知识图谱关系推理报名地址:
https://tianchi.aliyun.com/competition/entrance/532081/introduction?spm=5176.12281949.0.0.605a3b74ye1SJS

2. 赛程安排

本次大赛分为报名组队、初赛、复赛和决赛三个阶段,具体安排和要求如下:

报名组队——————4月14日—7月12日
初赛阶段——————4月19日—7月12日
复赛阶段——————7月14日—7月21日
评测论文——————8月11日
评测颁奖——————8月24日-27日
报名组队与实名认证(2023年4月14日—7月12日)

报名方式:4月14日阿里天池平台(https://tianchi.aliyun.com/)将开放本次比赛的组队报名、登录比赛官网,完成个人信息注册,即可报名参赛;选手可以单人参赛,也可以组队参赛。组队参赛的每个团队2-3人,每位选手只能加入一支队伍;

选手需确保报名信息准确有效,组委会有权取消不符合条件队伍的参赛资格及奖励;

选手报名、组队变更等操作截止时间为7月12日23:59:59;各队伍(包括队长及全体队伍成员)需要在7月12日23:59:59前完成实名认证(认证入口:天池官网-右上角个人中心-认证-支付宝实名认证),未完成认证的参赛团队将无法进行后续的比赛;

大赛官方钉钉群请搜索Group Number:27525018627,或扫描以下二维码加入,最新通知将会第一时间在群内同步:
enter image description here

钉钉群二维码

初赛阶段(2023年4月19日-2023年7月12日,UTC+8)

初赛的几个关键时间点: 4月19号天池平台将开放竞赛数据集和系统测评。

选手报名成功后,参赛队伍通过天池平台下载数据,本地调试算法,在线提交结果。

初赛提供训练数据集,供参赛选手训练算法模型;同时提供测试数据集,供参赛选手提交评测结果,参与排名。初赛阶段提交格式在具体任务章节有详细介绍。

初赛时间为2023年4月19日-2023年7月12日,系统每天提供2次评测机会,系统进行实时评测并返回成绩,排行榜每小时进行更新,按照评测指标从高到低排序。排行榜将选择参赛队伍在本阶段的历史最优成绩进行排名展示。

初赛淘汰:2023年7月12日23:59:59,初赛阶段未产出成绩的队伍将被取消复赛参赛资格。

初赛结束,初赛排名前100名的参赛队伍将进入复赛,复赛名单将在7月14日21:59:59之前公布。

复赛阶段(2023年7月14日—2023年7月21日,UTC+8)

复赛阶段会提供复赛测试数据集下载,供参赛选手提交评测结果,参与排名。为防止作弊,复赛测试数据集可能会掺入无效评测数据。复赛阶段提交规范和初赛阶段保持一致。

复赛时间为2023年7月14日-2023年7月21日。本阶段,系统每天提供5次实时评测,每小时更新排行榜,按照评测指标从高到低排序。排行榜将选择参赛队伍在本阶段的历史最优成绩进行排名展示。复赛提交截止时间7月21日17:59:59。

复赛结束后,大赛组织方将通知top3优胜队伍提交代码(提交要求见具体的子任务章节),赛题组织方将对优胜参赛队伍代码进行审核,要求模型能复现出最优提交成绩。对于未提交、复现未成功或审核不通过的队伍,将取消决赛资格和比赛奖励,并通知递补选手。最终队伍排名按照复赛成绩核算,榜单将在官方完成代码审核后公布。

本次赛事鼓励获奖选手提交评测论文交流技术方案,其中录用的英文论文会被Springer收录论文集并EI检索。

3.规则

  1. 所有参赛选手都必须在天池平台管理系统中注册,本次比赛的参赛对象仅限在校大学生(本科、硕士、博士、博后均可)和企业员工;

  2. 参赛选手需确保注册时提交信息准确有效,所有的比赛资格及奖金支付均以提交信息为准;

  3. 参赛选手在管理系统中组队,参赛队伍成员数量不得超过3个,报名截止日期之后不允许更改队员名单;

  4. 每支队伍需指定一名队长,队伍名称不超过15个字符,队伍名的设定不得违反中国法律法规或公序良俗词汇,否则组织者有可能会解散队伍;

  5. 允许使用开源代码或工具,但不允许使用任何未公开发布或需要授权的代码或工具;

  6. 参赛队伍可在参赛期间随时上传验证集的预测结果,初赛阶段每天2次机会,复赛阶段每天5次机会。管理系统会定时更新各队伍的最新排名情况。

  7. 每名选手只能参加一支队伍,一旦发现某选手以注册多个账号的方式参加多支队伍,将取消相关队伍的参赛资格;

  8. 评测任务均可使用外部数据;评测任务均可使用大模型,评测任务严禁人工标注数据,一经查实取消参赛资格。

  9. 浙江大学学生可以参赛和参与评奖;阿里集团员工可参赛但不参与奖金分配。

  10. 评测任务规则解释权为评测组织方所有。

4.奖励设置

本次任务总奖金池为20,000,每个子任务总奖金共10,000元,奖金设置如下:

第一名:人民币5,000元,1名

第二名:人民币3,000元,1名

第三名:人民币2,000元,1名

5. 任务组织者和联系人

任务组织者:

张宁豫,浙江大学

张文,浙江大学

桂鸿浩,浙江大学

陈名杨,浙江大学

陈想,浙江大学

黄志伟,浙江大学

学术指导委员会:

陈华钧,浙江大学

熊飞宇,阿里巴巴

王昊奋,同济大学

漆桂林,东南大学

联系方式:
zhangningyu@zju.edu.cn