原标题:ICML 2020 | Google提出最强生成式摘要预训练模型——天马
©PaperWeekly 原创 · 作者|蔡杰
学校|北京大学硕士生
研究方向|QA
论文标题:PEGASUS: Pre-training with Extracted Gap-sentences forAbstractive Summarization
论文来源:ICML 2020
论文链接:https://arxiv.org/abs/1912.08777
代码链接:https://github.com/google-research/pegasus
概述
文章提出了一种专门针对文本摘要生成的预训练方法,并提出了一种 GSG (Gap Sentence Generation) 的生成方法,该方法在模型的 fine-tune 阶段只需要 1000 个 example 就能达到 12 个数据集的 SOTA,这个结果还是很抢眼的,值得仔细读一读。
首先看一看模型图:
▲ 模型图
论文里举的例子里有三句话,encode 的时候将中间的那句话用 符号代替,前后两个句子中随机找一些单词,用 代替。然后预训练的时候,encoder 的任务就是去预测前后两个句子中的 位置上原来的单词,decoder 的任务就是去生成中间的 覆盖的一整句话。整体的思路很简单,图很清晰。
有一个个人觉得奇怪的地方就是看到模型图的时候猜测这里的 是每个词对应一个,应该有 sentence_length 个 ,但是文章说的是只用一个 来代表整个句子,这样的话可能会丢失句子这个 的句子的长度信息,对于前后句子的相对位置也会有影响。如果我的猜测有不正确的地方还请大佬们指正。
论文中提到,pre-train 的 task 如果和 down-stream 的 task 越接近,那 down-stream 的 task 的效果也就会更好,按理说这是个大家都知道的结论,但是没想到这个效果更好竟然也会体现在样本的数量上,只需要 1000 个 examples 就能超过 SOTA,这是结论是我没有想到的。
为了让 pre-train 时候的 task 更接近文本摘要任务,选择 Gap_Sentence(代表的句子)的时候作者用了一些策略来选择。
Principle 给每个句子进行打分,计算每个句子和剩下部分内容的 ROUGE1-F1 值,从高到低取 m 个句子来 mask
▲ 不同策略选择的句子
作者预训练的时候训练了两个版本,一个版本是单独的 encoder,只用了 MLM(mask language model)作为 target,在 decode 阶段 decoder 和 encoder 共享参数。
另一个版本则是两个 target 一起训练(MLM 和 GSG)。MLM 这个 target 在前期(100k-200k steps)还是很管用的,但是到了后期反而会对 performance 造成影响,所以在 large 模型中,作者直接舍弃了这个 MLM 这个 target。
数据
预训练
finetune
实验
图 3 可以看出,使用 HugeNews 来 pre-train 的模型在使用前两个数据集 fine-tune 之后效果更好,在后两个数据集反之。说明预训练预料如果和下游任务接近,那效果会更好。(这不是很显然的吗。。。
图4(a)对比了 6 种不同的 GSG 策略,Ind-Orig 获得了最佳性能,其次是 Seq-Uniq。Ind-Orig 和 Seq-Uniq 在四个下游数据集始终是最好的(或相似的) “Random” 和 “Lead” 在两个新闻数据集上的表现都不错,但是在两个非新闻数据集上,表现并不好。结果表明选择 principal 句子最适合下游摘要任务。
上图显示了不同的选取间隔句子比例带来的不同效果, 最佳性能的 GSR 低于 50%。间隔语句为 15% 的模型在 CNN / DailyMail 上的 ROUGE 得分最高,而XSum / Reddit TIFU 和 WikiHow 分别为 30% 和 45% 时表现更好。
不同的词表大小,带来的收益也是不一样的。
再看看 large 模型的效果:
图 6 显示的是 low-resource 微调的结果。实线是在 0(zero-shot),10,100、1k,10k 的示例。虚线是 Transformer-base 模型,其大小与 PEGASUS-base 相同,并且经过完整的监督数据集训练,但无需预训练。
这就是论文中提到的只需要 1000 个 example,便可以超过 SOTA。
• 稿件确系个人 原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志游戏网
责任编辑:
相关下载 |
告诉你下方法:在闯关模式最下面,活动按钮的旁边,有个boss模式点进去,选择天马座空间站,再左滑动至困难难度,就有这个boss了。 详情>>
掌控星辰能量,往来宇宙时空!网易快节奏开黑枪战竞技手游《终结战场》5月27日更新上线,本周至尊补给正式开启星宇空间,宇宙骑士“蕴星领主”降临详情>>
原标题:非人哉:天生不和,二郎神被观音排斥,离开时悄悄偷走天马 今天我们来说一下在《非人哉》动漫里面二郎神杨戬跟观音之间的故事。 二郎神杨戬是中详情>>
1.何事长向别时圆,我会天马流星拳。 2.一个人骑摩托车喜欢反穿衣服,就是把口子在后面扣上,可以挡风。一天他酒后驾驶,翻了,一头栽在路旁。警察赶到:警察甲:好严重的详情>>
原标题:厉害了||画风炸裂,设计天马行空,最新超燃作品欣赏(海耀设计分享) Rimac Scalatan Vision 2080 Maximilian Schneider 日本东京 详情>>
《大闹天宫HD》中的天马镖局是游戏的特色系统玩法之一。玩家只要到达了20级就可以参加天马镖局的活动,押镖成功就可以获得丰厚的奖励详情>>
原标题:小马宝莉:陆马天生不能是公主?公主只能是天马和独角,这是偏见 在小马利亚王国中,出现过五位小马公主,包括宇宙公主、月亮公主、紫悦公主、风雪之详情>>
现在的天气正适合各种户外展示,网络上的手工达人们都开始展示自己的作品。一位网友(@K0IgvPorTUeqtGX)展示了他耗时1年8个月制作详情>>
原标题:终极斗罗:神秘反派boss出现,名叫深红之母,比天龙还强 各位喜欢《终极斗罗》的伙伴们,大家好呀。 在《终极斗罗17》中,龙马星系的两大统治者,超神详情>>
原标题:龙马星系又一种族曝光,天龙和天马,合起来像是贝贝的魂灵 各位喜欢《终极斗罗》的伙伴们,大家好呀。 龙马星系和斗罗联邦的战争即将到来,而龙马详情>>
原标题:华为P40推广玩新招 小红书博主连续10天马拉松直播 “放大看,它把我的眉毛、眼睫毛的细节都拍得非常清楚。”4月9日晚间,小红书时尚博主詹小详情>>
原标题:行动限制令实施7天 马来西亚共逮捕28名违令者 当地时间24日,马来西亚国防部高级部长拿督斯里依斯迈沙比里指出,警方在行动限制令期间,共逮捕了详情>>
原标题:进口增值税分期6年,深天马、华星光电在汉获3.17亿红包 据湖北日报3月23日报道,3月21日获悉,湖北两家新型显示器件生产企业将收到3.17亿元的政详情>>
编辑 这题太难了做的我想睡觉! 编辑 大叔:我也想低调,但是实力不允许啊! 编辑 这生日过的也真是糟心啊,以后都不敢过了 编辑 我觉得该揍,使详情>>
《我的世界》具有高度自由的特性,一直以来都在吸引着冒险者们不断创造。在众多冒险家天马行空的创造力之下,《我的世界》也变得越加丰富多彩。本期专题精选近详情>>
《火焰纹章:风花雪月》新DLC “煤暗之章”将于本周四(2月13日)正式上线,火纹官推日前介绍了DLC追加职业黑天马的介绍,这一职业也会在煤暗之章ep1结束后详情>>
今天(2月10日)《火焰纹章》官方 Twitter 再次透露了《火焰纹章:风花雪月》全新 DLC“暗煤之章”的部分新消息,此次官方主要介绍了女性专用兵种“暗天马详情>>
【导读】《火焰纹章:风花雪月》DLC“煤暗之章”将于2月13日正式发售,并将加入全新的第四学级“灰狼”,官方最近持续在推特上为玩家发布着新情报。今天为玩家介绍的是全新的女详情>>
在《重装上阵》中,有很多模块可以选择,天马人移动模块就是其中之一,很多小伙伴遇到了却不知道天马人移动模块作用的具体作用,希望小编这篇对于天马人移动模块作用的解释能为大家详情>>
原标题:葛天马不停蹄拍戏忙 舞台剧转战电视剧角色跨度大 近日,一直忙于拍戏的葛天,在个人社交平台发文:“最近彻底理解啥叫马不停蹄,po几张照片……人详情>>
原标题:天马望远镜有望向国际合作伙伴开放,大科学装置成上海名片 12月2日至5日,第14次全球研究基础设施高官会(GSO)和第3次金砖国家设施及大科学项目详情>>
原标题:S9小组赛第三日前瞻:“赤色天马”AHQ恐难敌“千里马”TL 2019英雄联盟全球总决赛小组赛的战火已经全面燃起,16支来自各大赛区的豪强队伍将迎详情>>
原标题:S9小组赛第三日前瞻:“赤色天马”AHQ恐难敌“千里马”TL 2019英雄联盟全球总决赛小组赛的战火已经全面燃起,16支来自各大赛区的豪强队伍将迎详情>>
原标题:《终结者:黑暗命运》(暂译)爽燃场面频出,卡梅隆想象力依旧天马行空 “终结者系列”是20世纪科幻电影中的巅峰之作,也是导演卡梅隆封神之路的开始详情>>
原标题:三款日漫IP手游引发的口碑恐惧:天马时空的因果律 曾有业内人士这样比喻:制作一款日漫IP改编手游,其难度无异于走钢丝。 小心谨慎是制作日漫IP详情>>
《精灵食肆》SR吉光怎么样?作为以中国古代神话为背景的二次元卡牌经营手游《精灵食肆》,其中包含了一位天马族的厨师吉光,那么吉光的具体属性和技能怎么样呢?这里就让小编带大详情>>
《火焰纹章:风花雪月》中的圣天马骑士兵种是很强的,很多玩家都不太清楚圣天马骑士兵种有什么能力,今天小编就给大家带来玩家“喜欢雨的伞”分享的圣天马骑士兵种全能力介绍,希详情>>
原标题:天马时空发行 掌趣科技自研《BLEACH 境•界-灵压对决》不删档测试将启 近日,第十七届ChinaJoy于上海新国际博览中心举行。作为全球数字娱乐领详情>>
魔兽rpg赤月无双攻略神器天马流星拳怎么获得攻略对象魔兽争霸步骤分解1我们首先到下图打下图的boos2如图所示下图就是我们需要打的boos3打败之后拿到下图所示的材料4然后我详情>>
原标题:传说中的“天马” 很多人知道,汗血马被爱宝马的汉武帝称为“天马”,那这匹所谓的天马到底有何独特之处呢?今天就让我们一起来看一下。 天马——汗血宝详情>>
今天Remilia为大家带来圣斗士星矢重生星矢怎么样,天马座星矢技能属性好不好,想知道天马座星矢值不值得培养的小伙伴就和Remilia一起来看看 详情>>
天马机器人英雄破解版在哪里可以下载呢?有很多小伙伴都在问小编说找不到破解版下载地址,更加不要说是最新版本了!不过没有关系,九游小编 详情>>
期待已久的手游天马机器人英雄即将登陆九游,这款手机游戏吸引了大批玩家的关注,有很多粉丝都在问九游小编天马机器人英雄好玩吗?天 详情>>
新魔幻大世界MMO手游《黑暗与光明》经典重现,作为不同于端游的全新MMORPG作品即将首测。 新魔幻大世界MMO手游《黑暗与光明》经典重现,作为不同于端游的全新MMORPG作品即详情>>
随着4月的到来,电视动画《一拳超人》第二季也正式开播。这部改编自同名漫画的动画是近年来颇受关注的热门作品之一,第二季的到来也让粉丝们充满期待。值得一提的是,号称宇宙最强男人的埼详情>>
?随着4月的到来,电视动画《一拳超人》第二季也正式开播。这部改编自同名漫画的动画是近年来颇受关注的热门作品之一,第二季的到来也让粉丝们充满期待。值得一提的是,号称最强男人的埼玉详情>>
中文名称:天马座传说发布日期:2012-08-11更新日期:--文件大小:9.0M游戏语言:英文英文名称:LegendsofPegasus游戏制作:NovacoreStudios详情>>
中文名称:天马座传说发布日期:2012-08-14更新日期:--文件大小:9.0M游戏语言:英文英文名称:LegendsofPegasus游戏制作:NovacoreStudios详情>>
中文名称:天马座传说发布日期:2012-08-27更新日期:--文件大小:10.0M游戏语言:英文英文名称:LegendsofPegasus游戏制作:NovacoreStudio详情>>
中文名称:天马座传说发布日期:2012-08-29更新日期:--文件大小:16.0M游戏语言:英文英文名称:LegendsofPegasus游戏制作:NovacoreStudio详情>>