三星公布 LPDDR5X-PIM 性能,AI 推理速度提升 2 倍
据报道,三星电子日前公布面向智能手机、AI PC 等端侧 AI 设备的 LPDDR5X-PIM 架构及详细性能指标。该技术可在内存内部直接完成部分运算处理,无需将数据反复传输至处理器。三星使用 Meta 的拥有 80 亿参数模型"Llama 3.1"进行测试,结果显示:处理时间:从传统 LPDDR5X 的 12.3 秒缩短至 5.4 秒,提速约 2.3 倍;每秒 Token 处理量(TPS):从 27 个提升至 81.3 个,是现有产品的 3 倍。
据报道,三星电子日前公布面向智能手机、AI PC 等端侧 AI 设备的 LPDDR5X-PIM 架构及详细性能指标。该技术可在内存内部直接完成部分运算处理,无需将数据反复传输至处理器。三星使用 Meta 的拥有 80 亿参数模型"Llama 3.1"进行测试,结果显示:处理时间:从传统 LPDDR5X 的 12.3 秒缩短至 5.4 秒,提速约 2.3 倍;每秒 Token 处理量(TPS):从 27 个提升至 81.3 个,是现有产品的 3 倍。