正式开源 美团 LongCat-2.0 同步开放国产卡推理代码
金十数据 7 月 9 日讯,作为业界首个在五万卡国产算力集群上完成推理的万亿参数模型,LongCat-2.0 已全面开源。针对显存与带宽受限的国产算力芯片,我们在模型架构、芯片适配到部署策略上进行了深度协同优化,让万亿参数模型在存量卡上同样跑得稳、跑得快。LongCat-2.0 的开源,是一次技术路径的公开,也是一次生态邀约。本次开源同步提供 BF16、FP8 以及 INT8 等多精度版本,全面覆盖不同算力平台的部署需求。同时,我们深度拥抱开源社区,将针对国产算力极致优化的推理成果同步开源。这意味着,即使手上没有最新算力,也能基于现有硬件将 LongCat-2.0 稳定跑起来。我们希望通过这套开箱即用的推理栈,让更多的国产卡包括老卡,都能流畅部署万亿大模型推理服务,在真实生产力场景发挥更大价值。
金十数据 7 月 9 日讯,作为业界首个在五万卡国产算力集群上完成推理的万亿参数模型,LongCat-2.0 已全面开源。针对显存与带宽受限的国产算力芯片,我们在模型架构、芯片适配到部署策略上进行了深度协同优化,让万亿参数模型在存量卡上同样跑得稳、跑得快。LongCat-2.0 的开源,是一次技术路径的公开,也是一次生态邀约。本次开源同步提供 BF16、FP8 以及 INT8 等多精度版本,全面覆盖不同算力平台的部署需求。同时,我们深度拥抱开源社区,将针对国产算力极致优化的推理成果同步开源。这意味着,即使手上没有最新算力,也能基于现有硬件将 LongCat-2.0 稳定跑起来。我们希望通过这套开箱即用的推理栈,让更多的国产卡包括老卡,都能流畅部署万亿大模型推理服务,在真实生产力场景发挥更大价值。