Stable Code 3B：边缘编程

边缘编程

　　据今日发布的消息，2024年首个大型语言模型“稳定代码3B”已正式发布。这一新型LLM是继此前发布的“稳定代码Alpha 3B”之后的首个重大发布，它是一款专为代码补全而设计的最新状态模型，增加了多项额外功能。

　　与CodeLLaMA 7b相较，尽管“稳定代码3B”的体积缩小了60%，但它在多种编程语言中保持了类似的高水平表现。该模型基于已有的“稳定LM 3B”基础模型，后者接受了4万亿自然语言数据标记的训练。针对软件工程特定数据的进一步训练，包括代码，使得“稳定代码3B”模型尺寸紧凑，可在现代笔记本电脑上私密地、实时地运行，即使在没有专用GPU的设备上也是如此。

　　“稳定代码3B”在多种编程语言上提供了更多特性和显著改进的性能，还增加了如填补中间能力（FIM）和扩展上下文大小等附加优势。基于稳定代码，该模型接受了最多16,384个标记的序列训练，且采用了类似于CodeLlama的方法实现旋转嵌入技术，可选择性地修改旋转基底至高达1,000,000，从而进一步扩展模型的上下文长度至100k标记。

　　该模型经过了对18种编程语言的训练，这些语言是基于2023年StackOverflow开发者调查所选定的，且在多种编程语言测试的MultiPL-E度量标准上展示出了与类似大小模型相比的最先进性能。

参考：Stable Code 3B - Hugging Face