突破大模型瓶颈：从激发“发散性思维”到解决“长序列推理”效率

在大型语言模型（LLM）迅速普及的今天，研究者们正面临两个核心挑战：一是如何让 AI 摆脱陈词滥调，具备真正的“创造力”；二是如何在处理长链推理（CoT）时，降低硬件资源的消耗。近期，arXiv 平台发布的《CreativityNeuro》和《Kara》两篇论文，分别为这两个问题提供了创新的解决方案。

一、 CreativityNeuro：打破 AI 的“人工蜂群思维”

目前的 LLM 在面对开放式问题时，往往会生成高度相似的答案，这种现象被称为“人工蜂群思维”（Artificial Hivemind Effect）。为了解决这一问题，Samuel Schapiro 等人提出了 CreativityNeuro，这是一种无需行为数据、无需重新训练、也无需梯度微调的“零数据”方法。

核心机制：对比权重引导

CreativityNeuro 采用了一种称为“对比权重引导”（Contrastive Weight Steering）的技术。它通过在权重空间内对模型进行微调，引导模型偏离那些导致平庸输出的参数路径，从而增强发散性思维（Divergent Thinking）。

显著的研究成果

1. DAT 测试提升：在发散性联想任务（DAT）这一衡量词汇创造力的标准测试中，CreativityNeuro 将模型性能提升了高达 14 个百分位点。
2. 解决模式坍缩：通过对 720 名受试者的大规模人类评估，该方法在“替代用途测试”（AUT）等任务中显著提升了原创性、惊喜感和整体创造力，有效减少了模式坍缩（Mode Collapse）。
3. 更强的泛化能力：研究发现，权重引导比传统的激活引导（Activation Steering）更能推广到未见过的复杂创意任务中。

二、 Kara：让长链推理更高效

当 LLM 进行复杂的推理任务时，通常会生成很长的思维链（CoT）。这会导致巨大的 KV 缓存（Key-Value Cache）占用，造成高昂的显存开销和推理延迟。Shen Han 和 Yuyang Wu 提出的 Kara 框架，正是为了解决这一痛点。

创新的压缩策略

传统的 KV 缓存压缩往往会因为过度剔除关键信息而导致性能下降，或者因为固定的阈值策略限制了吞吐量。Kara 引入了以下创新：

• 滑动窗口压缩：仅对最近生成的上下文进行解码时压缩，利用双向注意力机制对窗口内的 KV 对进行评分和选择。
• Token2Chunk 模块：不再仅仅保留孤立的 Token，而是能灵活地将选定的重要信息扩展为变长块（Chunks），从而完整保留重要的语义片段。
• KvLLM 框架：Kara 被适配到了 PagedAttention 中，并构建在 vLLM 之上。实验证明，该框架在显著降低显存使用的同时，大幅提升了模型的输出吞吐量。

三、 总结：迈向更聪明、更高效的 AI

这两项研究分别从“大脑”的深度与“执行”的效率两个维度优化了现有模型：

• CreativityNeuro 赋予了 AI 突破常规的能力，使其在艺术创作、科学头脑风暴等领域更具价值。
• Kara 则从工程化角度解决了长文本生成的成本瓶颈，让更复杂的推理过程能够在现有硬件上流畅运行。

随着这些技术的融合与落地，我们有望在未来看到既具备惊人创造力，又能极速处理复杂逻辑的大模型应用。对于开发者和企业而言，关注权重引导和缓存优化技术，将是保持 AI 竞争力的关键。

参考文献：

• Schapiro, S., et al. (2026). CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse.
• Han, S., & Wu, Y. (2026). Kara: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression.