AI 前沿
Block推出可本地运行的全双工语音模型Dessa
Block发布研究实验室语音模型Dessa,可在本地设备运行,并能同时听和说。模型由人类语音训练,笑声、停顿和哭泣等情绪被内置在表达中,目前尚未公开,公司正邀请安全研究人员测试。
据TechCrunch报道,Jack Dorsey旗下Block发布来自公司研究实验室的新语音模型Dessa。该模型可本地运行,能呈现笑声、停顿、哭泣等接近人类的表达。Block称,Dessa完全基于人类语音训练,训练使用单个NVIDIA GPU机架。
Dessa是全双工模型,可像真实对话一样同时说话和收听。Block表示,许多语音系统先把语音转成文字,再由文字驱动语音生成,会丢失语气和情绪信息;Dessa的知识来自其对话数据,情绪并非通过外部语音标签驱动,不过报道指出目前无法确认其内部是否仍有类似标签机制。
研究人员展示了多段不同声音、节奏和情绪的对话示例,例如智能体说自己工作疲惫时声音也显得疲倦。模型可在MacBook M4 Max或更高配置的消费级电脑上本地运行,但目前没有公开访问入口。
Block已呼吁安全研究人员测试Dessa,重点可能包括语音智能体欺骗通话对象等风险。Block面向金融和小企业服务,Square已使用语音AI处理点餐;报道认为,自有且可在设备端运行的语音模型未来可降低成本,并支持更多商业和消费场景。