微软Azure Neural TTS(神经网络版文本转语音)新增五种声音模型,让我们再次体会到了“风格迁移”技术对AI语音模型多情感多风格的强大支持。
此次更新的五个美式英语声音模型,包括青春甜美的Jane、低沉温和的Nancy、随性且精力充沛的Davis、响亮激昂的Jason和沙哑粗犷的Tony。在“风格迁移”技术的支持下,不仅拥有开心(cheerful)、伤心(sad)、生气(angry)、兴奋(excited)、期待(hopeful)、友好(friendly)、不友好(unfriendly)和恐惧(terrified)等丰富的情感表现,还拥有首次运用的呼喊(shouting)和耳语(whispering)两种表达方式。至此,用户拥有可选择的美式英语声音模型已达到20个,丰富的情感和风格让应用场景更加多元。
现在就来听听这5个新声音吧
点击声音模型,感受AI声音的两种新表达方式
点击声音模型示例,感受合成语音蕴含的情感
情感或表达方式 |
示例(男性) |
示例(女性) |
开心(cheerful) |
||
期待(hopeful) |
||
友好(friendly) |
||
不友好(unfriendly) |
||
恐惧(terrified) |
“风格迁移”技术的原理是把一个声音模型的韵律和语调复制到另一个声音模型上,从而让后者在本身音色不变的前提下,也可以拥有前者说话的韵律和语调。过去,声音风格的搭建主要依靠录音演员录制各种风格的声音数据,再使用录音数据来生成多风格的智能语音模型,但是一名录音演员难以演绎所有风格的声音。风格迁移技术创新地解决了这一问题,可以高效地赋予多AI声音情感和风格。
声音风格和声音情感模型的持续更新,让Azure Neural TTS的合成语音在多种业务场景中得到了广泛应用,让用户感受到了更逼真的语音体验。例如,游戏平台可以快速为角色生成多种情感声音,为游戏增添更多符合情节的个性化表达,让虚拟游戏世界栩栩如生。“State of Decay”(腐烂国度)的创作者——微软亡灵工作室 (Undead Labs) 的使命是为游戏开创崭新的方向,他们在游戏开发中就应用了Azure Neural TTS。推出过包括“Psychonauts 2”(精神病患者2)在内的多款游戏的Double Fine工作室,也正在利用Azure Neural TTS制作未来游戏项目的原型。音频解决方案提供商Remixd在其平台中集成了Azure Neural TTS的声音模型Jenny和Davis,让其客户在创建音频内容时有了更多选择。
关于Azure Neural TTS
微软Azure Neural TTS是Azure认知服务中强大的语音合成功能,能够让开发人员使用AI技术将文本转换为逼真的声音。截止目前,微软Azure Neural TTS支持全球140个国家和地区的语言,提供400个声音模型,可加速声音的自动化生产,帮助各种企业更快地训练出满足业务场景的声音,打造出专属的声音品牌——无论是呼叫中心、语音助手、有声书制作、聊天机器人、语音导购,还是影视剧/动漫配音、自媒体短视频、情感电台、教育培训等场景。
持续的技术迭代和版本更新,让Azure Neural TTS 可以为更多企业、更多场景提供逼真、自然、接地气的声音体验。同时,微软的所有技术进步都接受微软负责任的 AI流程的指导,遵循公平、包容、可靠性与安全性、透明、隐私与保障、负责的原则,并通过微软内部的负责任人工智能办公室 (ORA),人工智能、伦理与工程研究委员会 (Aether),以及负责任AI战略管理团队 (RAISE) 来监督、实施这些道德标准。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。