谷歌推出DiffusionGemma实验性开源模型

谷歌推出DiffusionGemma实验性开源模型

　　谷歌发布了DiffusionGemma，这是一款实验性开源模型，在专用GPU上的文本生成速度最高可达传统语言模型的四倍。该模型拥有260亿参数，采用专家混合架构，通过文本扩散技术同时生成整段文本。

　　在推理过程中，该模型仅激活38亿个参数，经量化处理后可在显存为18GB的高端消费级GPU上运行。DiffusionGemma在单块英伟达H100 GPU上的生成速度超过每秒1,000个词元，在英伟达GeForce RTX 5090上也可达每秒700个词元以上。

　　该模型支持双向注意力机制，每次前向传播可并行生成256个词元，并能对自身输出进行迭代优化。谷歌已在Hugging Face平台上以Apache 2.0许可证发布。