MIT团队提出新型AI模型架构实现高效智能升级

新型神经网络架构“＞＜former”挑战传统设计范式

　　麻省理工学院与MIT-IBM沃森人工智能实验室联合团队近日发布了一种名为“＞＜former”的新型神经网络架构，该架构挑战了传统语言模型每层宽度一致的设计范式。

　　研究团队设计了四种非均匀宽度模型结构——∨形、∧形、◇形和×形，并在5亿参数规模的模型上进行了对比实验。实验结果显示，×形模型在语言建模损失这一核心指标上持续优于其他结构，甚至超越传统均匀宽度模型。

沙漏式结构与无参数搬运策略

　　这种新架构通过将计算能力集中于模型输入与输出的“首尾两端”，同时压缩中间层宽度，形成类似沙漏的瓶颈结构。团队采用“无参数搬运”策略来解决跨层信息传递问题，即当信息从宽层流向窄层时直接截断多余维度，窄层信息流回宽层时则从最近处理过这些维度的层复制原始数据。

瓶颈层优化与性能提升

　　进一步优化中，团队确定了瓶颈层的最佳位置与宽度比例：将最窄层设置于模型总层数的75%处（靠近输出端），宽度压缩至标准层的30%。以20亿参数模型为例，＞＜former的语言建模损失较均匀基线降低0.025，推理内存需求减少11%，训练计算量下降2.5%，而参数量保持不变。

下游任务与混合专家模型验证

　　在下游任务评测中，20亿参数的＞＜former在11项标准测试中平均准确率达57.2%，超越均匀基线的56.1%。混合专家模型（MoE）实验进一步验证了架构的普适性：30亿总参数（10亿活跃参数）的＞＜former版本损失降低0.016，计算量减少4.6%。

　　尽管当前AI训练框架针对均匀宽度模型优化，导致可变宽度架构存在额外开销，但研究团队强调这是工程实现问题而非算法缺陷。随着基础设施的发展，其理论效率优势有望转化为实际加速。