这项由清华大学杜举森、胡佳熹、张涛教授，上海人工智能实验室孙维高研究员，以及香港中文大学程余教授共同完成的研究发表于2025年10月的arXiv预印本平台，论文编号为arXiv:2510.07019v1。有兴趣深入了解的读者可以通过该编号查询完整论文。
当你使用ChatGPT或其他AI语言模型时，有没有想过它是如何记住你前面说过的话的？就像人类既有短期记忆又有长期记忆一样，AI模型也需要处理眼前的信息和遥远的上下文。但现有的AI模型在这方面存在一个两难问题：要么像传统的Transformer模型一样记住所有细节但速度极慢，要么像线性模型一样速度很快但容易忘记重要信息。
研究团队提出了一种名为"原生混合注意力"（Native Hybrid Attention，简称NHA）的全新架构，巧妙地解决了这个难题。这就好比给AI配备了一套"双重记忆系统"：一个像照相机一样精确记录最近发生的事情，另一个像日记本一样压缩保存长期的重要信息。更巧妙的是，这套系统能够根据当前需要自动决定更多地依赖哪种记忆，而不需要人工设定固定的规则。
传统的混合模型通常是将两种不同的注意力机制分别计算，
