中文医疗信息处理评测基准CBLUE(Chinese Biomedical Language Understanding Evaluation)是中国中文信息学会医疗健康与生物信息处理专业委员会在合法开放共享的理念下发起,由阿里云天池平台承办,并由医渡云(北京)技术有限公司、平安医疗科技、阿里夸克、腾讯天衍实验室、北京大学、鹏城实验室、哈尔滨工业大学(深圳)、郑州大学、同济大学、中山大学、复旦大学、华东师范大学等开展智慧医疗研究的单位共同协办,旨在推动中文医学NLP技术和社区的发展。

榜单在设计上综合考虑了任务类型和任务难度两个维度,目标是建设一个任务类型覆盖广、同时也要保证任务的难度的benchmark,因此榜单在吸收往届CHIP/CCKS/CCL等学术评测任务的同时也适当增加了业界数据集,业务数据集的特点是数据真实且有噪音,对模型的鲁棒性提出了更高的要求。CBLUE3.0由医学文本信息抽取(实体识别、关系抽取、事件抽取)、医学检索&术语标准化、医学文本分类、医学句子语义关系判定、医学文本理解&生成共5大类任务18个子任务组成。此外还引入了医学OCR要素识别任务作为多模态方向的初步尝试。


我们欢迎业界和学术界的同行们一起加入到CBLUE benchmark的建设中,一起来推动医疗行业标准化数据集的发展。

排行榜
排名
 
专家委员会
学术指导专家
李作峰
中国健康信息处理会议评测主席
寄语:中国健康信息处理会议(CHIP)的评测任务数据和测评结果落地天池,可为中文生物医学自然语言处理领域的研发提供基线标准,成为新的创新加速器。
黄非
阿里巴巴达摩院自然语言处理研究员
寄语:中文信息处理在医疗健康领域的研究和发展对于推动AI技术助力健康中国非常重要!合规开放共享的数据, 统一公开的评测,对于推动技术进步有巨大的帮助!
汤步洲
哈尔滨工业大学深圳研究生院副教授、博导,中国中文信息学会医疗健康与生物信息处理专业委员会副主任兼秘书长,OHDSI中国组核心成员
寄语:以合法开放共享的理念组织医学信息学领域的基础和核心任务的评测,构建公开统一共识的医学信息系统性能评估平台,推动医学信息学的快速发展,助力健康中国战略!
陈华钧
浙江大学计算机科学与技术学院教授、博导,中国人工智能学会知识工程与分布智能专业委员会副主任,中国中文信息学会语言与知识计算专业委员会副主任

寄语:提升中文医疗信息处理的能力,需要有一个完整的评价体系。 中文医疗信息处理挑战榜对多个任务提供统一的测评方式,推动了中文医疗信息处理技术的进步。
林鸿飞
大连理工大学教授、博导,中国中文信息学会医疗健康与生物信息处理专委会副主任,中国人工智能学会语言智能专委会副主任
寄语:目前整体医疗水平和人民健康状况面临着诸多挑战,人工智能赋能医疗健康产业被寄予厚望,希望这次技术评测能够有助于提升诊疗能力,有助于改进医疗服务质量。
刘雷
复旦大学教授,中国研究型医院学会临床数据与样本资源专业委员会副主任委员,中华医学会医学信息学会常务委员
寄语:中文医疗自然语言处理技术对中国健康医疗数据治理至关重要。以英文为主导的自然语言处理技术并不能照搬过来。发展中文医疗自然语言处理技术需要有对标的benchmarks。因此发展NLP benchmarks意义重大。
李姣
研究员,中国医学科学院/北京协和医学院 医学信息研究所,医学信息创新研究中心主任,医学信息学教研室主任
寄语:在开放的数据集上切磋技术,以开放的心态学术交流,共同推动医学自然语言理解技术的创新发展。
李作峰
中国健康信息处理会议评测主席
寄语:中国健康信息处理会议(CHIP)的评测任务数据和测评结果落地天池,可为中文生物医学自然语言处理领域的研发提供基线标准,成为新的创新加速器。
黄非
阿里巴巴达摩院自然语言处理研究员
寄语:中文信息处理在医疗健康领域的研究和发展对于推动AI技术助力健康中国非常重要!合规开放共享的数据, 统一公开的评测,对于推动技术进步有巨大的帮助!
汤步洲
哈尔滨工业大学深圳研究生院副教授、博导,中国中文信息学会医疗健康与生物信息处理专业委员会副主任兼秘书长,OHDSI中国组核心成员
寄语:以合法开放共享的理念组织医学信息学领域的基础和核心任务的评测,构建公开统一共识的医学信息系统性能评估平台,推动医学信息学的快速发展,助力健康中国战略!
陈华钧
浙江大学计算机科学与技术学院教授、博导,中国人工智能学会知识工程与分布智能专业委员会副主任,中国中文信息学会语言与知识计算专业委员会副主任

寄语:提升中文医疗信息处理的能力,需要有一个完整的评价体系。 中文医疗信息处理挑战榜对多个任务提供统一的测评方式,推动了中文医疗信息处理技术的进步。
林鸿飞
大连理工大学教授、博导,中国中文信息学会医疗健康与生物信息处理专委会副主任,中国人工智能学会语言智能专委会副主任
寄语:目前整体医疗水平和人民健康状况面临着诸多挑战,人工智能赋能医疗健康产业被寄予厚望,希望这次技术评测能够有助于提升诊疗能力,有助于改进医疗服务质量。
刘雷
复旦大学教授,中国研究型医院学会临床数据与样本资源专业委员会副主任委员,中华医学会医学信息学会常务委员
寄语:中文医疗自然语言处理技术对中国健康医疗数据治理至关重要。以英文为主导的自然语言处理技术并不能照搬过来。发展中文医疗自然语言处理技术需要有对标的benchmarks。因此发展NLP benchmarks意义重大。
李姣
研究员,中国医学科学院/北京协和医学院 医学信息研究所,医学信息创新研究中心主任,医学信息学教研室主任
寄语:在开放的数据集上切磋技术,以开放的心态学术交流,共同推动医学自然语言理解技术的创新发展。
数据集标准制定专家
夏静波
华中农业大学副教授,湖北省农业生物信息重点实验室成员,国际化组织ACL SIGBIOMED小组成员,中国中文信息学会医疗健康与生物信息处理专业委员会委员
寄语:AGAC语料库致力于发掘突变基因的功能性语义描述,基于该语料库设计的评测任务包括命名实体识别、语义角色抽取和关联机理预测。该评测任务能从一定程度评估打榜选手的NLP工程实现能力,并有潜力在个体医疗、药物发现等领域进行行业落地。
宗辉
华西医院疾病系统遗传研究院,助理研究员
寄语:此平台为中文医疗信息处理领域提供了有价值的数据集合,希望能加强学术交流,推动语言理解与知识技术发展,为智慧医疗发展做出重要贡献。
闫峻
医渡云首席AI科学家,中文信息学会语言与知识计算专业委员会委员、中文信息学会医疗健康与生物信息处理专业委员会委员
寄语:希望通过天池挑战赛能够推动中文医疗信息处理技术的不断进步,进而助力中文医疗大数据挖掘和应用。
昝红英
郑州大学信息工程学院教授,中国人工智能学会理事,中国中文信息学会医疗健康与生物信息专委会委员
寄语:天池挑战赛让参与者有机会通过设计算法来尝试解决医疗信息处理的实际问题,推动智能辅诊、病历质控、新药发现、知识抽取等相关技术及应用的快速发展。
张坤丽
CIPS医疗健康与生物信息处理专委会委员、副秘书长,CCF自然语言处理专委会委员
寄语:天池中文医疗信息处理挑战榜为参与者提供了共享的数据资源及统一的评估平台,必将大力推动了中文医学NLP技术和社区的发展。
梁小丹
中山大学智能工程学院副教授
寄语:CBLUE平台是首个大规模标准的中文医疗信息处理和对话诊断评测平台,提供大量真实有意义的任务评测标准。希望广大参与者可以共建中文医疗信息处理社区,长期做到落地可用。
魏忠钰
复旦大学大数据学院副教授、中文信息学会社交媒体处理专委会常务委员兼秘书,青年工作委员会执行委员
寄语:在大健康时代,使用人工智能技术提升医疗服务的精度和体验是大势所趋。CBLUE作为最大的中文医疗信息处理评测开放平台,构建技术和资源共享社区,为研究的转化和落地提供了良好的助力。期待与大家在此有深入交流,共同推进智能医疗技术发展!
郝建业
天津大学智能与计算学部副教授
寄语:在大健康时代,使用人工智能技术提升医疗服务的精度和体验是大势所趋。CBLUE作为最大的中文医疗信息处理评测开放平台,构建技术和资源共享社区,为研究的转化和落地提供了良好的助力。期待与大家在此有深入交流,共同推进智能医疗技术发展!
彭佳杰
西北工业大学副教授
寄语:医疗信息处理是一门科学的,严谨的,满足互操作性的学科,关系到每一个家庭的幸福。AI+互联网要为传统医疗赋能,必须要打好地基,构建坚实的基础NLP的能力。希望中文医疗信息处理挑战榜能够不忘初心,成为推动医疗基础NLP能力发展的黄金标准。
陈漠沙
阿里云天池数据科学家,中国中文信息学会医疗健康与生物信息处理专委会委员,中国中文信息学会青年工作委员会委员
寄语:希望大家携手共建CBLUE,形成中文医学信息处理领域评测金标准,加快我国医学AI的应用落地。
徐健
夸克AI医疗技术负责人
寄语:医疗信息处理是一门科学的,严谨的,满足互操作性的学科,关系到每一个家庭的幸福。AI+互联网要为传统医疗赋能,必须要打好地基,构建坚实的基础NLP的能力。希望中文医疗信息处理挑战榜能够不忘初心,成为推动医疗基础NLP能力发展的黄金标准。
张宁豫
浙江大学副教授,中国中文信息学会语言与知识计算专业委员会委员
寄语:医疗文本与通用文本相比,具备特有词汇和语义。中文医疗信息处理挑战榜针对中文医疗信息处理,对多个任务进行综合评价,希望有更多的小伙伴能够参与。
夏静波
华中农业大学副教授,湖北省农业生物信息重点实验室成员,国际化组织ACL SIGBIOMED小组成员,中国中文信息学会医疗健康与生物信息处理专业委员会委员
寄语:AGAC语料库致力于发掘突变基因的功能性语义描述,基于该语料库设计的评测任务包括命名实体识别、语义角色抽取和关联机理预测。该评测任务能从一定程度评估打榜选手的NLP工程实现能力,并有潜力在个体医疗、药物发现等领域进行行业落地。
宗辉
华西医院疾病系统遗传研究院,助理研究员
寄语:此平台为中文医疗信息处理领域提供了有价值的数据集合,希望能加强学术交流,推动语言理解与知识技术发展,为智慧医疗发展做出重要贡献。
闫峻
医渡云首席AI科学家,中文信息学会语言与知识计算专业委员会委员、中文信息学会医疗健康与生物信息处理专业委员会委员
寄语:希望通过天池挑战赛能够推动中文医疗信息处理技术的不断进步,进而助力中文医疗大数据挖掘和应用。
昝红英
郑州大学信息工程学院教授,中国人工智能学会理事,中国中文信息学会医疗健康与生物信息专委会委员
寄语:天池挑战赛让参与者有机会通过设计算法来尝试解决医疗信息处理的实际问题,推动智能辅诊、病历质控、新药发现、知识抽取等相关技术及应用的快速发展。
张坤丽
CIPS医疗健康与生物信息处理专委会委员、副秘书长,CCF自然语言处理专委会委员
寄语:天池中文医疗信息处理挑战榜为参与者提供了共享的数据资源及统一的评估平台,必将大力推动了中文医学NLP技术和社区的发展。
梁小丹
中山大学智能工程学院副教授
寄语:CBLUE平台是首个大规模标准的中文医疗信息处理和对话诊断评测平台,提供大量真实有意义的任务评测标准。希望广大参与者可以共建中文医疗信息处理社区,长期做到落地可用。
魏忠钰
复旦大学大数据学院副教授、中文信息学会社交媒体处理专委会常务委员兼秘书,青年工作委员会执行委员
寄语:在大健康时代,使用人工智能技术提升医疗服务的精度和体验是大势所趋。CBLUE作为最大的中文医疗信息处理评测开放平台,构建技术和资源共享社区,为研究的转化和落地提供了良好的助力。期待与大家在此有深入交流,共同推进智能医疗技术发展!

组织机构

主办方

  • 中国中文信息学会医疗健康与生物信息处理专业委员会

承办方

  • 阿里云天池平台

协办方

  • 医渡云(北京)技术有限公司、
  • 平安医疗科技、
  • 阿里夸克、
  • 腾讯天衍实验室、
  • 北京大学、
  • 中山大学、
  • 鹏城实验室、
  • 哈尔滨工业大学(深圳)、
  • 郑州大学、
  • 同济大学、
  • 复旦大学、
  • 华东师范大学
数据集合作请联系tianchi_open_dataset@alibabacloud.com