微立顶科技

新闻资讯

创新 服务 价值

  阿里两款语音基座模型 SenseVoice(用于语音识别)和 CosyVoice(用于语音生成)开源

发布日期:2024/10/27 13:13:08      浏览量:

阿里两款语音基座模型 SenseVoice(用于语音识别)和 CosyVoice(用于语音生成)开源


阿里云通义千问开源了两款语音基座模型 SenseVoice(用于语音识别)和 CosyVoice(用于语音生成)。

SenseVoice 具有多种语音理解能力,涵盖了自动语音识别(ASR)、语言识别(LID)、情感识别(SER)以及音频事件检测(AED),专注于高精度多语言语音识别、情感辨识和音频事件检测,有以下特点:

  • 多语言识别:采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型

  • 富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果;支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测

  • 高效推理: SenseVoice-Small 模型采用非自回归端到端框架,推理延迟极低,10s 音频推理仅耗时 70ms,15 倍优于 Whisper-Large

  • 微调定制:具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题

  • 服务部署:具有完整的服务部署链路,支持多并发请求,支持的客户端语言有 python、c++、html、java 与 c#等

与开源情感识别模型进行对比,SenseVoice-Large 模型可以在几乎所有数据上都达到了最佳效果,而 SenseVoice-Small 模型同样可以在多数数据集上取得超越其他开源模型的效果。


CosyVoice 模型同样支持多语言、音色和情感控制,该模型在多语言语音、零样本语音生成、跨语言语音克隆和指令跟随等功能方面表现出色。

SenseVoice:https://github.com/FunAudioLLM/SenseVoice

CosyVoice:https://github.com/FunAudioLLM/CosyVoice



  业务实施流程

需求调研 →

团队组建和动员 →

数据初始化 →

调试完善 →

解决方案和选型 →

硬件网络部署 →

系统部署试运行 →

系统正式上线 →

合作协议

系统开发/整合

制作文档和员工培训

售后服务

马上咨询: 如果您有业务方面的问题或者需求,欢迎您咨询!我们带来的不仅仅是技术,还有行业经验积累。
QQ: 39764417/308460098     Phone: 13 9800 1 9844 / 135 6887 9550     联系人:石先生/雷先生