原标题：Interspeech 2019 | 阿里达摩院语音实验室：联合CTC和Transformer的自动中文纠错模型
机器之心专栏
论文作者：Shiliang Zhang、Lei Ming、Zhijie Yan
语音领域顶级学术会议 Interspeech 2019 将于 9 月 15-19 日在奥地利格拉茨开幕。本文介绍了阿里巴巴达摩院机器智能-语音实验室被此大会接收的一篇论文，作者们提出了一种自动纠错模型，该模型采用 Transformer 作为纠错器，将前端基于 CTC 的语音识别系统的识别结果作为输入，可以自动纠正大量的识别错误，特别是识别结果中的替换错误。
INTERSPEECH 是语音科学和技术领域最大、最全面的国际学术会议, 今年的大会将在奥地利第二大城市格拉茨举办。
在 INTERSPEECH 会议期间，来自全球学术界和产业界的研究人员齐聚一堂，讨论语音领域的新技术，包括语音合成、语音识别、语音增强这些细分领，在会议上展示的研究成果代表着语音相关领域的最新研究水平和未来的发展趋势。
今年也恰逢 INTERSPEECH 20 周年。
在此篇被 Interspeech 接收的论文中，来自阿里巴巴达摩院-机器智能技术团队的研究者们提出了一种自动纠错模型（Listener-Decoder-Speller，LDS），该模型采用 Transformer 作为纠错器，将前端基于 CTC 的语音识别系统的识别结果作为输入，可以自动纠正大量的识别错误，特别是识别结果中的替换错误。
论文地址: https://arxiv.org/pdf/1904.10045.pdf
近年来，基于端到端的语音识别系统开始慢慢成为主流，其中两个具有代表性的框架是：1）CTC（Connectionist Temporal Classification）准则及其变形；2）基于注意力机制的编解码模型（Attention-Encoder-Decoder）。这两个框架都将语音识别当作一个序列到序列的映射问题，同时提出不等长输入序列和输出序列之间的对齐方法。CTC 通过引入空字符（blank）来进行序列的扩展，Attention-Encoder-Decoder 则采用注意力机制来进行输入声学特征和输入预测字符之间的对齐关系。
CTC 准则采用了输出独立无关假设，即每个时刻的预测样本之间是无关的。这个假设简化了模型训练和测试，但是它也使得基于 CTC 的端到端识别系统成为了一个纯声学模型，通常需要联合语音模型进行解码才能获得理想的识别结果。由于大量同音字的存在，纯靠声学模型往往很难在普通话识别中对文本加以有效的区分，需要联合语言模型，利用文本的语义信息加以补充。因此，目前基于 CTC 的识别系统，通常会联合 N-gram 语言模型，采用构建 WFST 的方式进行解码。尽管如此，由于 N-gram 引入的语音信息是有限的局部文本信息，还是很难有效地发现识别错误，特别是同音字替换错误。
针对上述问题，本文中提出了一种联合 CTC 识别系统和 Transformer 纠错系统的识别框架，称之为 Listener-Decoder-Speller (LDS)。其结构框架如下图所示：
图 1:LDS 识别框架
LDS 的模型主要包含 3 个组成部分：Listener，Decoder，Speller：
1） Listener
Listener 是一个基于 DFSMN-CTC-sMBR 的声学模型，可以基于输入的语音信号，预测每个声学建模单元的后验概率。在具体实验中，研究者探索了不同的声学建模（音节，字符）单元对其性能的影响。DFSMN（Deep Feedforward Sequential Memory Networks）是研究者之前的工作中提出的一种网络结构，其模型结构如下图所示：
图 2: DFSMN 网络结构
2） Decoder
Decoder 是一个解码器，可以单独对 CTC 声学模型进行解码，也可以通过联合语言模型进行解码，得到识别结果。相对应的解码方法分别称之为：Greedy-Search 和 WFST-Beam-Search。值得一提的是，本文中研究者提出采用 N-best 的数据扩展方法，保留 N 条识别结果的候选，用于扩充后端纠错模型的训练数据，显著提升了纠错模型的性能。
3） Speller
Speller 是基于 Transformer 的纠错模型，其原理和机器翻译有异曲同工之处。Speller 的输入是前端模型 CTC 的解码结果，预测的是真实的标注。由于 Transformer 具有很强的语义建模能力，可以有效地利用上下文信息，自动纠正识别结果中的很多错误，提升识别性能。关于 Speller 的模型框图如下图所示：
图 3: Speller 模型
研究者在一个 2 万小时中文数据库上对 LDS 模型进行了实验验证。验证采用 DFSMN-CTC-sMBR 模型联合 N-gram 语言模型作为基线系统，并在此基础上通过添加基于 Transformer 的 Speller 构建 LDS。如下图 4 所示，在全部 13 个不同领域的测试数据集上，添加纠错模块可以使得识别系统获得显著的性能提升，提升范围大多在 20 % 以上。通过对识别错误类型的统计，研究者进一步发现，通过添加纠错模型可以极大地降低识别过程中的替换错误。
图 4：基线识别系统和添加了 Speller 的识别系统在不同测试集上的性能对比
图5：不同系统的错误类型和性能对比
图 6:识别结果错误分析
关于阿里巴巴达摩院机器智能-语音实验室
阿里巴巴达摩院机器智能-语音实验室致力于语音识别、语音合成、语音唤醒、声学设计及信号处理、声纹识别、音频事件检测等下一代人机语音交互基础理论、关键技术和应用系统的研究工作，形成了覆盖电商、新零售、司法、交通、制造等多个行业的产品和解决方案，为消费者、企业和政府提供高质量的语音交互服务。2019 年，达摩院语音实验室共 8 篇论文被语音领域顶会 Interspeech 收录，内容涵盖语音识别、转换、语音数据清洗打标、混合语言模型等方面。
本文为机器之心发布，转载请联系本公众号获得授权。游戏网
责任编辑：
| 相关下载 |
原标题：Travis Scott 能拯救它吗？ Travis Scott 现有联名鞋款中，没有一双市场价不「爆」的，这块金字招牌足以冲击 2019 年度 Sneaker 榜单。Air Max 详情>>
原标题：颜值不输Travis Scott! Air Force 1“No Cover”新配色曝光！ 就在今天上午由我们为大家报道了有关 Travis Scott x Air Force 1 的官方发售详情>>
原标题：简直是Travis Scott联乘同款！Air Jordan 4又曝新配色？！ 因上半年 Travis Scott x Air Jordan 1 “倒钩”的正式发售，赢得了海内外人士的高度赞详情>>
原标题：Travis Scott x Air Jordan 6联乘新配色市售确定？！之前陪跑的有戏啦！ 就在昨日有关 Travis Scott x Air Jordan 6 全新联乘军绿配色终于正式详情>>
原标题：Travis Scott 与 Jordan Brand联名服饰发布，成套搭配绝对帅！ Travis Scott 与 Jordan Brand 的合作在今年几乎占据了绝大部分的球鞋话题，从那详情>>
原标题：潮闻快食 | Travis Scott x Jordan Brand 服饰系列释出；Supreme x Vans 发售在即！ Travis Scott x Jordan Brand 服饰系列释出万众瞩目的 详情>>
原标题：《三位一体4：梦魇王子》《三位一体终极合集》正式发售 今天（10月8日）经典2.5D视角动作冒险新作《三位一体4：梦魇王子 Trine 4: The Nightmare P详情>>
原标题：曝光! “渣男”Travis Scott的AJ6下周发售，分手后货量大减... 最近，Travis Scott 与 Kylie Jenner 这对金童玉女分手的事情无疑成为欧详情>>
原标题：Nike在玩啥？Travis Scott x Air Force 1联乘发售也推迟 就在刚刚由我们为大家报道了有关 Virgil Abloh x Nike 新联乘系列发售推迟的相详情>>
《炽热鸟喙》中会出现很多的道具，陷阱就是其中的一个，陷阱其实是个负面道具，很多玩家都讨厌它，具体的效果请看小编为大家带来的《炽热鸟喙》Trap陷阱效果介绍，希望对大家有所帮详情>>
美国知名名媛Kylie Jenner被爆和Travis Scott已经分手，两人在2017年相恋，在2018年的时候有了可爱的女儿，在上周比伯婚礼上面不见两人同框。 Kylie Jen详情>>
原标题：Unity 使用技巧集合 Tips & Tricks #1 说明 Unity 使用技巧集合会整理和收集 Unity 开发相关的技巧和经验。 本次开发技巧的提供者详情>>
Trailmakers成就有哪些？游戏中共有18个成就，为了方便大家查阅，今天小编给大家带来Trailmakers全成就一览，需要的小伙伴快进来看一下。 Trailmakers全成就一览（点击图片详情>>
原标题：就等发售了！Travis Scott x Air Force 1联乘实物上脚帅炸！ 就在刚不久我们才为大家展示了有关 Travis Scott x Air Force 1 全新联乘策划的详情>>
原标题：你从没见过的“编号版”！Travis Scott x Air Jordan 6亲友限定版本曝光！ 此前已 “二连跳票” 的 Travis Scott x Air Jordan 6 终于将在 10详情>>
原标题：随心打造急速狂飙！《Trailmakers》Steam限时优惠 Flashbulb Games工作室的游戏新作《Trailmakers》于9月18日登陆STEAM发售，限时优惠34%详情>>
Tricked vs Virtus.Pro 2-1（Mirage 12-16；Nuke 16-10；Train 16-11） 图一来到VP选择的Mirage，先做进攻方的VP在手枪局备上两套道具但被Trick详情>>
原标题：Tricked击败VP捧杯V4 未来电竞节 导读：Tricked击败VP捧杯V4 未来电竞节。 在今天凌晨进行的V4 未来电竞节决赛中，备受看好的VP战队在决赛中1-详情>>
《碧蓝航线》在9月21日公布了和Yamaha的第二件联动换装——克利夫兰“Road·Traveler”。和之前公布的埃塞克斯皮肤一样将拥有专属机车。接下来就让我们详情>>
原标题：沙盒冒险游戏《Trailmakers》发售 交通工具随心造 Flashbulb旗下沙盒冒险游戏《Trailmakers》现已正式发售，官方同时放出了发售预告片，详情>>
原标题：能同时征服侃爷和Travis Scott的不止卡戴珊家族，还有它！ 今天Rookie君和大家来说一说神秘的CPFM，为什么说它神秘呢？因为这个品牌的主理人一直详情>>
原标题：AI攒论文指日可待？Transformer生成论文摘要方法已出 选自arXiv 作者：Sandeep Subramanian等 机器之心编译 参与：Panda 写论文是一件「痛并快详情>>
日本万代南梦宫娱乐预定于2019 年冬天在BXD 网页平台「enza」与iOS／Android 手机平台推出，以人气动漫《火影忍者》与其后续《博人传》为题材的《 Naruto×详情>>
_contentraw"> 《BookofTravels》被称为TMORPG(TinyMultiplayerOnline)，即只加入微弱的社交元素，听起来有点像Journey。设计师称这个游戏是一场宁静的冒险，漂泊在童话世界，不详情>>
神奇的预言是神话，科技的预言却是事实；大家好，我是可爱的晚风。除了本周在柏林IFA贸易展上宣布以Acer Predator Triton 300 形式出售的超薄游戏笔记本外，宏基还更新了时尚Predat详情>>
原标题：还有女鞋版本！Travis Scott x AJ6 极有可能下周发售！ 反钩 Air Jordan 1 凭借超高的话题性，大有提前预定年度鞋王的趋势。而曝光已久的 Travis详情>>
原标题：还有女鞋版本！Travis Scott x AJ6 极有可能下周发售！ 反钩 Air Jordan 1 凭借超高的话题性，大有提前预定年度鞋王的趋势。而曝光已久的 T详情>>
Truckload是一款非常解压的休闲竞速手游。竞速手游打大家都玩过不少，不论是什么类型的竞速手游，有一个特点都是统一的，那就是非常考验玩家的车技，在有限的时间之内你必须尽可能详情>>
《Trinoline》是一款视觉小说类型的RPG剧情游戏，在游戏的故事当中，你将以哥哥Shun的视角体验这段死去的妹妹和拥有同样外表的智能机器人的故事，游戏包含大量分支内容和多种不同详情>>
《轨道火车》是一款上瘾有趣的益智游戏，等待你解决的，除了规划铁路外，更有时刻威胁着列车安全的障碍和干扰列车，一定要注意避开。开动脑筋，操控好火车安全到达终点。丰富的游戏元详情>>
这是一款清新可爱的益智类游戏，春天是播种的季节，小鸡Chuck也开着拖拉机开始播种来了。玩家要尽可能多的种树，但是拖拉机是不能刹车的，千万别被树丛挡住出路!游戏道具丰富，收集足详情>>
«Fir-Trees»isasimplelogicalgamefortwoplayers.Yourtelephonecomesforwardasthesecondpartner.Thegameconsistsofsuccessivefillingofcellsoftheplayingfields.Foryourco详情>>
单人游戏模式！详情>>
ManageyourTribalWarsvillagesmoreefficientonyourmobile!ThisappwillhelpyouusethemobilewebsiteofthepopularbrowsergameTribalWars.Withmanyshortcuts,notificationwarni详情>>
