线性RNN赢了？近日，谷歌DeepMind一口气推出两大新架构，在d基准测试中超越了Transformer。新架构不仅保证了高效的训练和推理速度，并且成功扩展到了14B。 这次的挑战者来自大名鼎鼎的谷歌DeepMind，并且一口气推出了两种新架构，— ...

“Transformer完全不能支撑我们下一步，尤其是在Agent时代走向下一步。”12月18日，90后AI大牛、阶跃星辰首席科学家张翔雨公布了自己最新的研究结论，直指当前AI领域核心架构Transformer的技术瓶颈。 Transformer架构是当前人工智能，特别是生成式AI和大语言模型的基石。它是2017 年由谷歌团队在论文《Attention Is All ...

而且，之前研究中树投影方法精确地描述了Transformer对输入进行的内部计算可以用树结构神经编码近似的程度，为任何Transformer提供了树结构度量分数（tscore），并提供了一个在输入字符串上最佳近似其计算的二叉树。

而在近期 LSTM 之父 Jürgen Schmidhuber 的 USI & SUPSI 瑞士 AI 实验室团队的一项新研究中，分析表明，当前流行的旋转位置嵌入（RoPE）方法中的 what 与 where 是纠缠在一起的。这种纠缠会损害模型性能，特别是当决策需要对这两个因素进行独立匹配时。

张祥雨揭示了背后的数学逻辑——Transformer的信息流是单向的：“所有的信息只能从第L-1层流向第L层，不管context是多长，模型的深度是不会增加的，它只有L层。”它的思考深度是固定的，不会因为书变厚了，脑子就变得更深邃。

Ben Khalesi covers the intersection of artificial intelligence and everyday tech at Android Police. With a background in AI and data science, he enjoys making technical topics approachable for those ...

The transformer, today's dominant AI architecture, has interesting parallels to the alien language in the 2016 science fiction film "Arrival." If modern artificial intelligence has a founding document ...