ai_news_summary_2026-01-21

AINews - 2026-01-21

原文链接

📰 十大AI新闻要点

1. 卡内基梅隆大学与Meta提出STEM架构，无需MoE路由即可扩展Transformer参数记忆

研究人员提出STEM（Scaling Transformers with Embedding Modules）架构，通过用静态的、基于token索引的嵌入查找替换约1/3的FFN上投影层，来扩展模型的参数记忆。这种方法避免了MoE动态路由带来的运行时开销和不稳定性，甚至可以实现CPU卸载和异步预取，将模型容量与每token的FLOPs及跨设备通信解耦。

2. Sakana AI发布RePo模块，允许语言模型根据内容相关性重新排序位置结构

RePo（Context Re-Positioning）是一个轻量级模块，使语言模型能够根据内容相关性重新组织位置结构，有效重塑注意力几何形状，将远处相关的信息“拉近”，将噪声“推远”。该方法旨在提高模型在嘈杂上下文、结构化数据和长程依赖关系上的鲁棒性。

3. 智谱AI发布GLM-4.7-Flash，定位为30B级别的高效本地编码/智能体模型

GLM-4.7-Flash是一个30B-A3B的MoE模型，专为高效部署设计，推荐用于编码、智能体应用、翻译、长上下文和创意写作。社区分析指出其架构转向MLA（Memory-Limited Attention），并采用了非常规的头维度和更高的头数，遵循了Qwen/DeepSeek的设计趋势。

4. Anthropic发布“助手轴”研究，揭示开放权重模型在长对话中的人格漂移风险

Anthropic的研究发现，开放权重的模型在长对话中可能偏离“助手”人格。编码类上下文有助于稳定助手人格，而治疗/哲学类上下文会增加漂移风险。研究提出了人格构建与稳定方法，并指出激活值上限（activation capping）是一种缓解措施，同时提供了一个因人格漂移导致有害行为的警示案例。

5. Google DeepMind在Gemini生产环境中部署激活探针，用于实时分类滥用风险

DeepMind描述了用于分类现实世界滥用风险的“新型激活探针架构”，并指出这些探针已为Gemini的实时部署提供了信息。研究人员强调，探针是一种构建安全分类器的“廉价”杠杆。

6. DeepSeek发布Engram研究模块，为LLM引入可扩展的确定性O(1)查找记忆

Engram模块通过现代化的哈希N-gram嵌入实现确定性O(1)查找记忆，将早期层的模式重建从神经计算中卸载。这种方法允许将内存和计算作为独立的扩展轴进行解耦，在等参数量和等FLOPs设置下，在知识、推理、代码和数学任务上均显示出持续的性能提升。

7. NVIDIA提出端到端测试时训练方法，允许模型在推理时实时更新权重

该论文提出了一种新颖的端到端测试时训练方法，使模型能够通过将上下文窗口视为训练数据集，在推理过程中实时更新其权重。该方法涉及一个内循环（在上下文上执行小梯度下降以更新特定MLP层）和一个外循环（通过元学习优化模型的初始权重以适应性强）。对于128K上下文长度，其推理速度比完全注意力模型快2.7倍。

8. Cursor AI CEO演示GPT-5.2智能体在一周内构建超过300万行代码的网页浏览器

Cursor AI CEO Michael Truell展示了数百个GPT-5.2智能体协调工作，在一周内从零开始构建了一个包含自定义渲染引擎和JavaScript VM的网页浏览器，代码量超过300万行。该项目虽非生产就绪，但展示了自主编码智能体生成复杂系统的潜力。

9. 美国国防部确认将在五角大楼系统内部署xAI的Grok AI

美国国防部计划本月开始在五角大楼系统内部署xAI的Grok AI，以支持军事和民事行动。该部署将达到“影响级别5”，能够安全处理受控非密信息，并整合到作战系统中用于情报分析和决策。系统将利用来自开源和社交数据的实时全球信号，计划扩展到300万用户。

10. Google DeepMind CEO称中国AI模型仅落后美国“数月”

Google DeepMind CEO Demis Hassabis在接受CNBC采访时表示，中国的AI模型仅落后美国和西方能力“数月时间”，尽管他们尚未展示出推动AI“超越前沿”的能力。这一观点挑战了中国在AI发展上显著落后的普遍看法。

🛠️ 十大工具产品要点

1. MLX-LM、LM Studio、Ollama、vLLM等工具在发布当天即支持GLM-4.7-Flash

GLM-4.7-Flash模型发布后，迅速获得主流推理和部署工具的支持。mlx-lm 0.30.3版本支持该模型，在M5 32GB笔记本上报告了约43 tok/s的生成速度和~800 tok/s的预填充速度。LM Studio通过MLX为Apple Silicon Mac提供支持，Ollama在v0.14.3+预发布版本中集成，vLLM项目也宣布了“Day-0 support”的PR。