TensorRT 是 AI 推理优化工具,通过对 AI 模型细致的性能优化,它能以高吞吐和低延迟在 GPU 上运行 AI 推理运算,获得广泛应用。为了在业界进一步推广 TensorRT,培养开发人员,丰富生态,NVIDIA 与阿里云天池联合举办了第二届 TensorRT Hackathon,以时下流行的 Transformer 模型优化作为主题。本届比赛于2022年4月启动,经过初赛与复赛,历时3个月在近日圆满结束。✦初赛题目

初赛是优化给定模型 WeNet,让选手了解 TensorRT 常用优化流程并学会使用配套工具。初赛的评估机器采用 NVIDIA A30 GPU。

✦复赛题目

复赛是自选模型,选手在 NVIDIA 导师的辅导下进行开发,并通过开源代码、发布技术文档启发后人。复赛的机器由阿里云提供,采用 NVIDIA A10 GPU。NVIDIA 为了把比赛变成 TensorRT 实地教学,专门为本次比赛筹备了教学视频与示例程序库,希望参赛选手和其他学习者从中收获经验。另外还建立了选手交流群,方便大家讨论。

✦初赛实录

初赛共有 600 余支队伍报名。选手们通过教学视频和示例代码学习,积累一定的 TensorRT 开发经验之后,逐步改善模型的优化效果。选手的成绩实时反映在天池的在线榜单上,选手因而了解彼此的差距,为创造新的纪录展开了激烈角逐。在 NVIDIA 导师的提示和引导下,选手们从入门级的 800 分不断进步,最后所有进入复赛的选手都达到了 1400 分,并产生了技惊四座、超越 10000 分的第一名。

✦复赛实录

复赛共有 40 支队伍晋级,NVIDIA 抽调了 28 名工程师组成导师团队,为各支队伍提供一对一辅导。比赛迎来众多开发高手的精彩表现,是 TensorRT 开发者力量的一次爆发展示。选手们按实用性、影响力挑选模型,克服各种不能被 TensorRT 直接解析运行的困难,精心查找性能瓶颈,施展全面手段进行优化,并把自己的成果通过详细的报告分享给他人。选手们倾心投入,为比赛贡献了巨量的时间和努力。大赛借助众人的力量,把市面上更多的流行模型跑在 TensorRT 上,产生的成果价值极高,远远超过了比赛本身的经费投入。

面对如此优秀的成果,赛末评奖对 NVIDIA 是极大的考验。值得注意的是,评分的数值是由赛制决定的,再叠加评委个人的欣赏,存在一定的主观性。为了追求结果尽量客观,NVIDIA 对评分原则进行了细化,邀请 7 名评委独立评分后取平均,最终决出一等奖1名,二等奖2名,三等奖2名,优胜奖20名。

其中,前三名的队伍如下:

本届比赛是 NVIDIA 与阿里云开发者社区的第一场活动合作,也是与阿里云天池团队的第一次联合办赛。天池为本次比赛提供了自动化的竞赛平台、通过持续优化的赛事运营模式与经验,专业、严谨地保障了比赛的顺利进行。双方将在未来继续保持合作,为开发者们提供更多切磋技术的高质量技术活动。