-
专题分享 | GAN 系列之一:GAN 的基础
生成对抗网络(GAN,Generative Adversarial Nets)是 Yoshua Bengio 团队在 2014 年提出的,一作是 Ian Goodfellow。Yoshua Bengio 团队坚持认为:深度学习的目标是发现更丰富、更加层次化的模型,能够用来表示各种数据的概率分布。2014 年时,深度学习方法在判别式模型方面已经有很多突出的成果,用于将高维输... -
音频编解码 | Encodec:用于语音生成的低帧率编解码
Encodec 是 Meta AI 于 2022 年 10 月份发表的神经网络音频编解码方法,具有比之前 Google 的 SoundStream 更优的效果。思想上和 SoundStream 几乎没有差别,沿用了 Encoder-Decoder 结构和 VQ 向量量化方法。本文对 Encodec 与 SoundStream 一致的部分不予赘述,只分析相关的改进部分
-
音频编解码 | SoundStream:神经网络音频编解码器
SoundStream 是谷歌 2021 年提出的一种神经网络音频编解码器,能够在传统编解码器通常使用的比特率下,高效地压缩语音、音乐等各类音频,SoundStream 在音频压缩、音频降噪及音频生成(比如 Google 2022 年 9 月提出的 AudioLM 和 2023 年 1 月提出的 MusicLM)等任务中都有所应用。本文对 SoundStream 的原始论文进行分析和解读。
-
专题分享 | 开源语音数据库信息汇总
This is a curated list of open speech datasets for speech-related research (mainly for Automatic Speech Recognition). Over 110 speech datasets are collected, and more than 70 datasets can be downloaded directly without further registration or application.
-
专题分享 | [slides] 通过文本编辑语音:基于mask的生成式模型
-
技术思考 | 2023 年开篇:智能语音指南
智能语音是当今科技发展的热门方向之一。随着人工智能技术的不断进步,智能语音技术日趋成熟,在各个领域的应用也在不断增多,目前已在语音搜索、智能家居、语音助理等多个领域得进行落地,并且随着元宇宙、AIGC 等新产业的兴起焕发出新的活力。RevoSpeech 旨在推动智能语音的落地和普及,基于学术界近十年在语音处理、语音识别、语音合成等方向的技术突破,总结归纳智能语音的技术要点... -
专题分享 | 基于 Adapter 的少样本 TTS 方案
Residual Adapters for Few-Shot Text-to-Speech Speaker Adaptation Google https://arxiv.org/pdf/2210.15868.pdf Adapter-Based Extension of Multi-Speaker Text-to-Speech Model for New Speak... -
语音合成 | RetrieverTTS:基于 Perceiver 架构的语音合成方案
RetrieverTTS: Modeling Decomposed Factors for Text-Based Speech Insertion https://arxiv.org/abs/2206.13865 论文摘要本文旨在研究基于文本的语音编辑任务,同时也可以作为整条文本语音合成的模型。RetrieverTTS 提出了一种「分解+编辑」的新范式,能够将语音中的... -
语音识别 | Squeezeformer:高效的语音识别方案
Squeezeformer: An Efficient Transformer for Automatic Speech Recognition https://arxiv.org/abs/2206.00888 参考代码:https://github.com/wenet-e2e/wenet/tree/main/wenet/squeezeformer 示例训练:http... -
专题分享 | [slides] 零/少样本音色克隆(三):其他方案