智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 Grok Voice Transcribe 2.0瞄准的不是录音棚里的干净人声,而是那些让传统语音转文本模型头疼的音频:嘈杂的电话线路、多人同时说话、地方口音,还有口头念出的电话号码、邮箱和地址。
它跑在Grok Voice背后的音频基础模型上。按xAI的说法,Grok Voice每天已经在处理数万通客服电话,转写数百万小时的视频旁白,还在特斯拉车里跑着Grok助手。
训练数据用的是真实、嘈杂、多语言的音频,采集自各种不同环境,之后再经过后训练打磨。
支持批处理和实时流式两种模式,都走同一个Speech to Text API。
xAI报告称,在公开的Artificial Analysis排行榜上,它在32个流式模型中准确率排第一。
这个叫AA-WER Streaming的基准用了大约8小时音频,权重分配是:AA-AgentTalk占50%,VoxPopuli占25%,Earnings22占25%。
除了公开榜单,xAI还在4个来自生产流量的内部数据集上测了词错误率:
2.0在4个数据集上全面超过1.0。在电话场景,xAI说它领先所有被测模型。
需要说明的是,这些内部结果是厂商自己报告的,没有经过独立复现。
模型能转写数十种语言,并自动检测语种。它还能在一次处理中跟上录音中途的语言切换。
xAI团队把多语言准确率称为相对1.0最大的改进。
短句场景最能说明问题——比如车内指令,模型能拿到的上下文极少,判断语种很难。就是在这个数据集上,词错误率从20.6%降到6.8%,算下来词错误少了大约67%。
文档里列出了25种语言,支持数字、货币和单位的书面格式化。
下面这些功能都在同一个API里:
批处理端点接受最大500 MB的文件,覆盖12种音频格式。流式还接受Opus,约4 KB/s,而24 kHz的原始PCM要48 KB/s。
定价和1.0完全一样。批处理每小时音频0.10美元,流式0.20美元。说话人分离、时间戳和关键词都包含在内。折算下来,每1000分钟分别约1.67美元和3.33美元。
调用方式很直接:
curl -X POST https://api.x.ai/v1/stt \ -H “Authorization: Bearer $XAI_API_KEY” \ -F model=grok-voice-transcribe-2.0 \ -F format=true \ -F language=en \ -F file=@audio.mp3
Atlassian Loom现在用Grok Voice Transcribe 2.0转写每一条视频。Atlassian发现它比现有方案更准。
xAI描述的工作流是:录制、转写、然后写代码。用户在Loom里录一段行动计划,转写文本被送进Cursor,由后者完成代码更新。Atlassian团队协作产品线高级副总裁Sanchan Saxena把这叫做“从上下文到代码的闭环”。
