英伟达TensorRT加速AI推理 Hackathon2022
英伟达TensorRT加速AI推理Hackathon 2022
Transformer模型优化赛
立即报名
大赛介绍
赛题说明
时间安排
奖项设置
评委嘉宾
组织机构
大赛介绍
深度学习深刻地改变了计算机应用程序的功能与形态,广泛渗透于我们生活。为了加速深度学习模型的推理,英伟达推出了TensorRT。经过多年的版本迭代,TensorRT在保持极致性能的同时,大大提高了易用性,已经成为GPU上的必备工具。
随着版本迭代,TensorRT的编程接口在不断更新,编程最佳实践也在不断演化。开发者想知道,为了把我的模型跑在TensorRT上,最省力、最高效的方式是什么?
今天,英伟达联合阿里天池举办TensorRT Hackathon就是为了帮助开发者在编程实践中回答这一问题。英伟达抽调了TensorRT开发团队和相关技术支持团队的工程师组成专家小组,为开发者服务。参赛的开发者将在专家组的指导下在初赛中对给定模型加速;在复赛中自选模型进行加速,并得到专家组一对一指导。
赛题说明
初赛
利用TensorRT加速ASR模型WeNet中的encoder和decoder,以优化后的运行时间作为排名依据。初赛不为参赛选手提供开发环境;参赛选手需要自备带有GPU的Linux/WSL 2开发机,并在给定docker中用赛方提供的工具完成精度和性能验证,最终提交代码。初赛结束时将组织一次讲评,介绍优化该模型的技巧。
复赛
开放赛题,各选手可自由选择公开的transformer模型,移植到TensorRT上加速,在公开托管平台上发布代码并编写总结报告。