本次分享将介绍如何通过高性能计算手段Transformer类算法落地问题,为实际业务带来受益。分享将重点介绍微信模式识别中心最新开源的一个名为TurboTransformers的Transformer推理加速工具。它结合NLP推理任务特点而量身定制,使用简单,可以获得超过业界其他方案的CPU/GPU性能表现。TurboTransformers已应用于腾讯内部丰富的Transformer的线上服务场景中。
播放:116次,课程ID:4049939
本次分享将介绍如何通过高性能计算手段Transformer类算法落地问题,为实际业务带来受益。分享将重点介绍微信模式识别中心最新开源的一个名为TurboTransformers的Transformer推理加速工具。它结合NLP推理任务特点而量身定制,使用简单,可以获得超过业界其他方案的CPU/GPU性能表现。TurboTransformers已应用于腾讯内部丰富的Transformer的线上服务场景中。
No list
方佳瑞,腾讯微信模式识别中心高级工程师,从事NLP基础服务性能优化和微信对话开放平台系统后台开发工作。2019年获得清华大学计算系博士学位,博士期间曾在国家超算无锡中心从事神威太湖之光高性能软件生态建设工作,研究方向为基于神威太湖之光的并行深度学习训练系统。