上海团队发布并开源记忆原生大模型 MemT-1.0
10 月 20 日，来自上海的记忆张量团队正式发布并开源记忆原生模型 MemT-1.0 系列。与以往“每次对话都从零开始”的大模型不同，这一系列把可持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验在后续相关任务中被直接调用，无需再次提供原始历史文本。此次开源包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款模型，参数规模分别为 288B 与 36B。研发团队在选定的 Transformer 模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。（上观新闻）
10 月 20 日，来自上海的记忆张量团队正式发布并开源记忆原生模型 MemT-1.0 系列。与以往“每次对话都从零开始”的大模型不同，这一系列把可持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验在后续相关任务中被直接调用，无需再次提供原始历史文本。此次开源包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款模型，参数规模分别为 288B 与 36B。研发团队在选定的 Transformer 模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。（上观新闻）
