​摆脱Transformer依赖？这家AI初创公司推出国内首个非Attention机制大模型

摆脱Transformer依赖？这家AI初创公司推出国内首个非Attention机制大模型

文 | 苏建勋

Transformer 是当下爆火的 GPT、LLAMA、PaLM 等大模型普遍采用的基础架构，凭借强大的自然语言理解能力，Transformer 在问世的短短几年内便取代了传统的 RNN 网络结构，成为自然语言处理领域的主流模型架构。

如今，一家创业公司试图动摇 Transformer 的 " 江山 "。1 月 24 日，上海岩芯数智人工智能科技有限公司（下称 " 岩芯数智 "），正式发布了国内首个非 Attention 机制的通用自然语言大模型—— Yan 模型。

作为行业内少有的非 Transformer 大模型，Yan 模型用全新自研的 "Yan 架构 " 代替 Transformer 架构，用百亿级参数达成千亿参数大模型的性能效果——记忆能力提升 3 倍、速度提升 7 倍的同时，实现推理吞吐量的 5 倍提升。 

至于为何另辟蹊径，寻求非 Transformer 的大模型路径，岩芯数智 CEO 刘凡平指出，以大规模著称的 Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让决策过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。随着云计算和边缘计算的普及，行业对于高效能、低能耗 AI 大模型的需求正不断增长。

图片来自岩芯数智官方

刘凡平提到：" 在全球范围内，一直以来都有不少优秀的研究者试图从根本上解决对 Transformer 架构的过度依赖，寻求更优的办法替代 Transformer。就连 Transformer 的论文作者之一 Llion Jones 也在探索‘ Transformer 之后的可能’，试图用一种基于进化原理的自然启发智能方法，从不同角度创造对 AI 框架的再定义。"

新技术在诞生时往往会遭遇质疑，尤其是 AI 领域，Transformer 架构作为被主流厂商所接受的方向，想要去颠覆甚至超越，势必会遭遇更多争议，对此，刘凡平也做好了准备。

" 被质疑很正常，只要你说创新，如果别人不深刻理解，就会有质疑。因为他觉得他没有听懂，所以有质疑的权利。我很尊重大家的权利，但是我不能因为他们有质疑，我们就放弃我们自己想做的事情。" 刘凡平对 36 氪等媒体表示。

那么，岩芯数智自主研发出的 "Yan 架构 "，表现如何？

如果说基于 Transformer 架构的大模型是 " 耗油且高昂 " 的燃油车，那么基于 Yan 架构的大模型，更像是更加经济、更加节能的新能源汽车。它去除了 Transformer 中高成本的注意力机制，代之以计算量更小、难度更低的线性计算，大大提高了建模效率和训练速度，效率翻倍的同时实现了成本的骤降。

" 两个方面看，一方面缩短客户的沟通时间、减少客户的理解成本，一般需求阶段够会在 1-2 个月，通过 Yan 架构，1 个月以内已经可以出为客户私有化模型，沟通成本会降低，所见即所得的沟通，会比空谈好很多；另一方面，项目成本会降低，例如 300 万合同的项目可以降低到 260 万左右，但是利润不一定是下降了。" 在谈及新技术框架的落地周期和成本时，刘凡平在接受媒体采访时谈到。

发布会上，研究团队展示了 Yan 模型和同等参数规模 Transformer 模型的大量实测对比，经实验数据表明，Yan 架构可以实现比 Transformer 架构更高的训练效率、更强的记忆能力、更低的幻觉表达。

在同等资源条件下，Yan 架构的模型，训练效率和推理吞吐量分别是 Transformer 架构的 7 倍及 5 倍，并使记忆能力得到 3 倍提升。Yan 架构的设计，使得 Yan 模型在推理时的空间复杂度为常量，因此针对 Transformer 面临的长序列难题，Yan 模型同样表现优异。

对比数据表明，在单张 4090 24G 显卡上，当模型输出 token 的长度超出 2600 时，Transformer 的模型会出现显存不足，而 Yan 模型的显存使用始终稳定在 14G 左右，理论上能够实现无限长度的推理。

另外，研究团队首创了一种合理的关联特征函数和记忆算子，结合线性计算的方式，降低模型内部结构的复杂度。全新架构下的 Yan 模型，将打开以往自然语言处理的 " 不可解释黑盒 "，充分发掘决策过程的透明度和可解释性，从而助力大模型在医疗、金融、法律等高风险领域的广泛运用。

会上，岩芯数智 CEO 刘凡平表示：" 我们期望 Yan 架构可作为人工智能领域的基础设施，并以此建立 AI 领域的开发者生态，最终让任何人在任何设备上都能使用通用大模型，获取更加经济、便捷、安全的 AI 服务。"