大模型也有“多动症”！词表一长，注意力就崩了 (opens in new tab)

2017 年，一篇名为《注意力机制就是一切》（Attention Is All You Need）的论文，开启了 Transformer 在深度学习领域的统治时代。但近日，纽约市立大学皇后学院心理学系的研究人员运用一项心理学领域的经典注意力测试证实，尽管大模型已经能记忆超长上下文，也能在基准测试中完美完成“海底捞针”的任务，但其注意力机制，或许依旧不够理想。Stroop 任务与人类注意力机制的三层架构下面这张图，你可以说出每个单词是什么颜色吗？可能需要你耗费更长的时间来辨识，但基本都能答对。（来源：Wikipedia）这项测试被称为“斯特鲁普任务（Stroop test）”，其历史可以追溯到 1935 年。当时，心理学家约翰·里德利·斯特鲁普首次通过实验展现了一种奇特的干扰现象：当向被试展示用不同颜色墨水书写的颜色单词时，例如用蓝色墨水写出的“红”字，人们在试图说出墨水颜色时，反应速度会明显变慢，且更易出错。这一现象也被命名为斯特鲁普效应（Stroop effect）。在认知心理学中，它揭示了人类大脑中两种不同信息加工路径的竞争。对于受过教育的个体而言，“读字”是一种高度自动化的...