据外媒报道,自transformer架构诞生以来,自然语言处理(NLP)和自然语言生成(NLG)领域就受益匪浅。Transformer模型如BERT及其衍生物已经被应用到一系列领域中,包括情绪分析和分类。近年来,为了让这些模型变得更加健全,相关人员付出了大量的努力,尤其是通过扩展蒙面语言模型(MLM)的预培训并将其跟翻译语言建模(TLM)结合起来从而使得模型变为语言不可知论。
考虑到这一点,谷歌的研究人员现在推出了一种多语言BERT嵌入模型,叫做“语言不可知论BERT句子嵌入(Language-agnostic BERT Sentence Embedding,简称LaBSE)”,它在一个单一模型上为109种语言生成语言不可知论的跨语言句子嵌入。简单地说,LaBSE将MLM和TLM预培训结合在一个12层transformer上,据悉,该转换器包含有500,000个带有使用双向双编码器完成的翻译排序任务的token。
为了训练这个模型,研究人员使用了170亿个单语句子和60亿对双语句子。一旦训练完成就会使用Tatoeba语料库对LaBSE进行评估,据悉,该模型的任务是利用余弦距离为给定的句子找到最近邻的翻译。
结果表明,即使在训练过程中没有数据可用的低资源语言上该模型也是有效的。除此之外,LaBSE还在多个并行文本或双语文本检索任务上建立了一个艺术新状态(SOTA)。具体地说,随着语言数量的增加,传统的模型如m~USE和LASER模型,其在平均精度上表现出比LaBSE更明显的下降。
据了解,LaBSE的潜在应用包括从网络中挖掘并行文本。研究人员则将其应用到CommonCrawl上,进而从LaBSE预处理和编码的77亿英语句子库中寻找潜在的翻译。有了这些嵌入,翻译模型显示出了极高的准确性,其分数达到了35.7和27.2。谷歌写道:“这跟目前在高质量并行数据上训练的先进模型只有几分之遥。”
现在,这个预训练模型可以在TensorFlow Hub找到。
【来源:cnBeta.COM】
相关下载 |
原标题:2020广东外语外贸大学外国语言学及应用语言学考研成功经验分享(含参考书目) 想写这个经验分享很久了,不过一直没有去写,疫情的原因复试拖了很久详情>>
作者: 帅帅吧 2020-07-24 16:47 整理 ns逃脱者2语言更改方法:在桌面找到游戏鼠标详情>>
作者: 雪风 2020-07-22 10:12 整理 杀戮空间2这款游戏不能设置中文,要解决这个问详情>>
据外媒报道, 维基媒体基金会(Wikimedia Foundation)宣布了一个新项目--Abstract Wikipedia,由此提出了一种以多语言方式生成百科全书内容的新方法。 维基百科将允许更多详情>>
超猎都市语言支持情况一览 发布时间:2020-07-03 10:24 来源:超猎都市吧 作者:Yenn 编辑:潘东子 详情>>
V4手游怎么进 v4手游怎么切换语言呢?对于这一系列问题,很多新手玩家还是比较陌生的,下面笔者就简单的为大家介绍一下。 V4手游怎么进 相信很多游戏玩家都对V4不会陌生详情>>
异度之刃决定版怎么改语言?想来很多朋友都还不是很清楚吧,所以呢小编今天给大家带来的就是异度之刃决定版修改语言方法介绍,需要的朋友不妨进来看看。 异度之刃决定版修详情>>
原标题:历史上的今天 | 近代著名诗人、语言学家刘半农诞辰 1891年5月27日,近代著名诗人、教育家、语言学家刘半农出生。1920年他在伦敦创作白话诗《教详情>>
C语言是我们在进行各种编程或者程序设置过程中不可缺少重要语言,通过这种语言,不仅可以帮助我们搭建各种各样的程序,而且还可以编制出各种软件。但是对于大多数学习者来详情>>
原标题:打破语言障碍,助力全球抗疫,百度翻译在行动 抗疫路上,总有一些力量感动你我。从头到脚全副武装的白衣天使们选择逆“疫”而行,毅然奔赴抗疫前线详情>>
原标题:泡沫冬景男女主语言障碍分析 泡沫冬景为什么男女主之间不能用英文交流,这是在本次的测试中玩家们吐槽最多的一个问题,在游玩的过程中小编也同详情>>
原标题:语言产业,你了解多少 作者:李磊(中国海洋大学文化产业管理博士后) 转型升级是中国经济实现结构调整、促进发展的主题,也是新兴经济领域最重要的详情>>
原标题:9 岁男孩在小区迷路,患语言障碍说不清,暖心民警帮其找家人 12 月 16 日晚 8 时许,都匀市公安局接到一位群众的电话求助:" 警察同志,我在怡盛园小详情>>
原标题:360加入Ecma参与JavaScript语言标准制定 2019年6月底,三六零安全科技股份有限公司( 以下简称360)成为了国际标准组织Ecma International的会员详情>>
原标题:Go 语言为什么能成功? 两位创造者Rob Pike和Robert Griesemer一起探讨了Go成功的原因。 作者 | Jerod Santo 译者 | 风车云马,责编 | 郭芮 以下详情>>
区别:超级列表框和列表框;超级列表框有很多种显示形势给你设置,采集。小编主要写了,批量导入、单个导入、复制、删除。(外加一个通用对话框的使用)攻略对象易语言步骤分解1【申明详情>>
下面就是小编带给大家的易语言DNF教程方法操作,希望能够给你们带来一定的帮助,谢谢大家的观看。方法/步骤1租个服务器 然后把服务端IP改为服务器IP地址 登陆器IP设置成服务器I详情>>
R语言是开源的统计软件,因为其免费而且性能优良,所以受到很多人的喜欢。如果你是一个刚刚入门数据挖掘的人,你在犹豫学R还是SAS,我可以直接告诉你,R因为免费所以各大公司都可以用详情>>
锻冶屋英雄谭可以使用多种语言进行游戏,有些时候发现语言看不懂,我们就可以将语言更改成自己可以看懂的,下面就告诉大家,锻冶屋英雄谭如何设置语言?步骤分解1首先我们在手机桌面详情>>
易语言使用EPAS更新注册软件教程攻略对象EPAS平台账户易语言5.3EPAS模块2.2步骤分解1注册EPAS账户2创建软件版本及名称3获取相关代码END易语言代码调试部分1创建程序检测程详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【鑻遍泟浠什么语言】,小编觉得可能对其他网友也有帮助,所以将此问答整理出来了,希望对您有帮助。小编为您搜罗的答案1正则为匹配语言详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【c语言编程求解脱;在全系1000名学生中,征集慈善募...】,小编觉得可能对其他网友也有帮助,所以将此问答整理出来了,希望对您有帮助。小编为您详情>>
Game234问答中心有网友提出了一个比较有代表性的问题【孩子语言发育迟缓,有语言障碍,家庭应该怎么做?】,小编觉得可能对其他网友也有帮助,所以将此问答整理出来了,希望对您有帮助。小编为您搜罗的答案1详情>>
游戏类型:系统辅助文件大小:33.33MB软件语言:简体中文运营:未知软件授权:免费版应用平台:WinXP/Vista/Win7/Win8/Win10安全认证:易语言降低了广大电脑用户编程的门槛详情>>
多学掌握一些基本的外语是很有必要的,以后在工作中或者出行旅游都会很收益,给自己带来不小的帮助,所以小编下面就为大家推荐介绍一些手机语言学习软件给,希望对你们学习语言有所详情>>
IG队伍中每个都比较莽,theshy更是堪称莽王,单杀,越塔,开团,一打五,这种不怕死的打法让对手和详情>>
你曾多少次尝试过(或失败了)学习一门语言?实际上你并不“孤单”,近日,有语言学家得出结论,语言学习失败可能并不完全是你的原因。 随着VR技术越来越受到关注,教学实验对它的详情>>
小编为您搜罗的答案:fifa难道不是每次进游戏都有选择语言界面的吗小编为您搜罗的答案:我今天也被这个困住了,进去后是德语,后来发现是因为游戏刚开始我喝水去了,回来已经开始放CG了,再进游戏就不能设置语详情>>
就在今年的英雄联盟赛区也是非常的火热,尤其是LPL赛区的几支强势战队,让LPL赛区从这些年的弱势期终于走了出来,大家都知道今年的RW战队,RNG战队,IG战队都是非常的详情>>
小编为您搜罗的答案: Oracle使用的是SQL语言。 结构化查询语言(StructuredQueryLanguage)简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用详情>>
ElijahHudson"Elk"Gallagher是在提到OWL第二赛季时最常被听到的名字之一。这位18岁的纽约“户口本”,受到了来自社区代表和知名选手的高度评价。而在职业赛场上磨练详情>>
在前几篇文章中,我们讲解了易语言的安装、编译器的配置、以及编译类型的讲解从这篇开始,我们就要正式的学习易语言啦!这一课,我们讲第一个易语言程序(祖国你好)首先,打开易语言,创建窗口程序从右侧拖入1个详情>>
小编为您搜罗的答案:本人系统win8.1,64位,昨天下好fifa15demo之后,启动游戏,选择语言之后闪退,提示程序自动关闭,今天尝试了以下办法后可以进入游戏,希望对有同样问题的同学有帮助找到f详情>>
小编为您搜罗的答案:上面方块里输入年龄,下面选择性别,male是男,female是女。输完之后点accept确定。进入游戏后,找到settings或options,里面应该有language可以选择,详情>>
目前很多IT界的朋友们开始了学习Go这个语言,作为最近几年比较火的服务端开发语言,其开发效率高的特性,使得它迅速的占领了各大公司的服务端开发领域。相比其他服务端开发语言,Go语言有着巨大的优势。1.详情>>
易建联亲口说出无法立足NBA真因,不是性格问题和语言障碍文|羸评体育汇姚明一直是中国男篮的标志人物,自王治郅和姚明这帮元老级别的人物退役之后,中国男篮的大旗落在了易建联的肩膀上,似乎压得他喘不过气来详情>>
小编为您搜罗的答案:别人写的一篇关于初学电脑的心得文章,可以给你一些参考。零基础如何学习编程心得笔记自学编程2年来,加过n多群,泡过n多论坛,接触过心怀激情的编程新人,遇到过沉着冷静的技术大牛…详情>>
兄弟连Go语言培训由清华微软名师精心打造课程,历时半年研发的独一无二的体系化课程;率先引入Go语言分布式集群开发。率先打造区块链前端+后端一站式开发。率先引入山寨比特币、分叉以太坊、深入EOS源码分详情>>
小编为您搜罗的答案:1.米兔是时下较为流行的网络名词,来源于英文“metoo”的谐音,是指“我也是”的意思。即模仿人气高的品牌或者竞争者的star品牌,以销售为目的的产品。因此也称类似商品、类详情>>
小编为您搜罗的答案:Mandarinfevorhasalreadybecomeoneofthemostcommonphenomenoninthegloballanguage详情>>