昇腾0Day支持百灵Ling-3.0-flash

8月6日消息，蚂蚁百灵8月5日开源新一代原生混合推理模型Ling-3.0-flash，昇腾同步完成0Day适配，并首次落地全新算子编程框架CANN PyPTO。据了解，该模型总参数124B，推理时仅激活5.1B，计算开销仅为上代旗舰Ring-2.6-1T的8.1%。为此，昇腾推出的这一全新编程框架CANN PyPTO，开发者只需通过张量级接口定义计算逻辑，由框架自动完成分片调度、数据搬运与代码生成，无需手写底层代码，大幅降低算子开发门槛。部署方面，昇腾基于开源推理引擎vLLM的昇腾版本完成深度适配，补丁已提交开源平台，支持轻量化补丁部署，可秒级上线，全面兼容A2、A3系列产品。此前，昇腾已完成对百灵Ling-2.6-flash的适配。昇腾表示，此次适配再次表明，其已具备支撑前沿大模型从发布到规模化部署的全流程能力。