原标题：送餐送货机器人、自动驾驶车、扫地机器人，再也不用担心撞上玻璃橱窗了丨CVPR2020 来源：量子位
关注前沿科技
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
自动送货车撞上玻璃、扫地机器人撞碎玻璃伤行人……如今这些事件也即将成为过去式。
大连理工大学等单位研发了一个玻璃检测神经网络，能够利用AI在真实环境下检测玻璃。
△ 图左为目标场景，图右黄色部分为玻璃检测从图中可见，神经网络能很好地将玻璃从实际场景中分割出来。
但事实上，玻璃检测绝非想象中那般简单，不仅因为它几乎是透明的，而且还具有反射性。
更何况，玻璃并没有固定的形状，无法根据外形判定某一区域是否存在玻璃。
既然如此，为什么人眼能这么准确地判定出玻璃的存在呢？
全新的神经网络GDNet
研究发现，人眼不仅能通过玻璃内外部颜色的差异来判断玻璃的存在，还能根据反射产生的光斑或重影发现玻璃。
这给了研究者们很大的启发，并最终设计了名为大视场上下文特征融合（Large-field Contextual Feature Integration ，下简称LCFI）的模块。
△ LCFI模块构造LCFI模块用来同时提取高级语义特征和颜色纹理等低级特征两种上下文特征，用于检测真实场景中玻璃的存在。
为了提取大量上下文信息，通常的做法是采用大卷积核或进行扩张卷积，但前者会导致大计算量，后者则会稀疏采样。
而且，这两种方法并非最优。
△ 实验对比效果研究发现，采用非局部运算（non-local）可以同时解决这两个问题，便有了LCFI模块。
LCFI模块采用空间可分离卷积，从水平和垂直两个维度分别对图像进行卷积。
由于图像中玻璃区域的信息非常复杂，且与非玻璃区域有一定的相似度，为了消除这种歧义，模块将再进行一遍卷积，不过这次是先从垂直、再从水平维度提取互补的上下文特征。
最后，将提取的特征进行融合。
而这个LCFI模块，是玻璃检测神经网络GDNet中最核心的部分。
△ GDNet网络示意图GDNet网络整体工作原理如下：
第一步，使用预训练的ResNeXt101网络用于多级特征提取，目的是获得各种级别的特征。
第二步，在网络最后嵌入四层LCFI模块，目的是进行各级别大视场内上下文的特征学习。
第三步，将其中三个LCFI模块的输出通过注意模块（Attention Module）进行连接和融合，目的是生成大视场内上下文的高级特征。
第四步，从这些高级特征中学习Attention Map，目的是引导大视场内上下文的低级特征（例如第一个LCFI模块的输出），以将更多注意力集中在玻璃区域。
最后，通过级联和注意力机制，融合高级与低级特征，目的是生成最终的玻璃特征图。
GDNet的创新之处在于，它设计的LCFI模块采用空间可分离卷积，更好地获取了图像中有关玻璃的特征。
虽然此前也有关于玻璃的目标检测研究，但基本集中在玻璃杯、器皿这样的小型玻璃物体上，检测方法也多从物体的形状入手。
这次研究通过玻璃本身的特征，设计了具普适性的玻璃检测网络，能有效防止自动驾驶车辆对玻璃幕墙或玻璃门进行误判，避免发生碰撞事故。
除此之外，对于机器学习中的深度预测、场景理解和去反射等技术任务，也有着重要的意义。
△ 从上到下分别是深度预测、场景理解和去反射当然，真正要让GDNet在实际玻璃检测中发挥能力，离不开数据集的制作。
为了使GDNet在实际应用中能发挥出更好的效果，研究者们完成了世界上第一个大规模玻璃检测数据集GDD。
首个大规模玻璃检测数据集GDD
在玻璃检测数据集（Glass Detection Dataset, GDD）中，共有3916张带玻璃的图片，其中2980张被随机抽出，用于网络训练，剩余936张作为测试集。
这三千多张玻璃图片多来自浴室、办公室、超市等地方，其中玻璃幕墙占多，其次是玻璃展示橱窗、玻璃门、陈列柜、窗户和玻璃护栏。
经统计，玻璃通常占据整张图像20%~80%的大小，且整体分布倾向于图像中央，这是由玻璃使用特性所决定的。
△ GDD数据集部分图像展示上图为数据集中部分图像的展示，可以看见，图像对玻璃和非玻璃部分进行了分割，白色区域为玻璃所在区域。
从图例中就能看见，无论是玻璃上贴着的标签、刮蹭的污渍，还是玻璃上透射和反射的图像，都可能会在训练时对网络产生影响。
与此同时，数据集中也存在着只占图像20%不到的边角玻璃、或是几乎充斥整个图像的大玻璃块，目的在于增加图像的随机性，使得神经网络具有更好的检测效果。
检测效果
事实上，测试也证明，无论是实际检测效果、还是从数据分析来看，采用GDD数据集训练后的GDNet都达到了目前研究中玻璃检测网络的最好效果。（下图中，所展示网络均已用GDD数据集进行训练）
从下图来看，相较于其他较前沿的神经网络，GDNet对玻璃区域的检测准确度明显更高。
△ 与最右边的真值相比，目前最前沿的部分网络和GDNet对玻璃的检测效果在准确度上，相较于MirrorNet的85.07%和EGNet的85.04%，GDNet达到了87.63%的IoU。（IoU：真值与预测值交集/真值与预测值并集）
相比之下，其平均绝对误差MAE则达到了0.063。
△ 与其他神经网络相比，GDNet的各项指标均处前列可以想见，在这样的效果下，GDNet未来在玻璃检测方向上还会有更进一步的发展及应用。
作者介绍
梅海洋，论文第一作者，目前在大连理工大学计算机科学与技术学院的攻读博士，主要研究方向为图像处理、计算机视觉与深度学习。
传送门
论文地址
http://openaccess.thecvf.com/content_CVPR_2020/papers/Mei_Dont_Hit_Me_Glass_Detection_in_Real-World_Scenes_CVPR_2020_paper.pdf
项目地址
https://xinyangdut.github.io/mirror_glass/MirrorGlassDetection.html
https://mhaiyang.github.io/CVPR2020_GDNet/index.html
人类未来20年最重要的航天任务——登陆火星，已经启动！这场征服星辰大海的征程，将彻底改变我们的未来。
什么是火星探索，为什么要远征未来，如何培养科学探索的精神？
中国空间探测技术首席科学传播专家庞之浩，最新推出讲给孩子的火星课《登陆火星》，在其中深入浅出地讲解火星探索史+航天知识，回答了你还不知道的种种好奇疑问。
现在这一精心打磨的课程正在超值预售中，定价99元，目前限时半价，仅49元。让孩子爱上探索宇宙，培养科学思维，现在就开始吧～
给孩子的火星课
限时半价中
| 相关下载 |
死亡搁浅机器人订单怎么完成？游戏中需要完成派送的不同订单，其中机器人订单，有些玩家不知道怎么派送，小编这里给大家带来了死亡搁浅机器人专家送货路线分享，一起来看下吧。详情>>
战争机器5次时代版升级计划一览 发布时间：2020-07-20 08:26 来源：微软 作者：微软 详情>>
原标题：机器猫 Dunk SB 还有「万能口袋」！上脚图也有了！ 昨天曝光的机器猫主题配色 Nike SB Dunk High “Doraemon” 瞬间成为球鞋圈的热议话题！ 在详情>>
原标题：除了迪士尼家族外，在Gucci本季的包包上还见到了机器猫！ Gucci 这次的新系列虽然改为线上发布，不过仍然没少了惊喜，不只以设计幕后团队取代了模详情>>
一、前言 FPS（第一人称射击游戏）中的 AI 实现多年来一直沿用着状态机和行为树。策划和程序员充分利用这两个工具，做出了大量玩法，创造了许多新颖而有趣的模式。但绝大多数详情>>
【导读】由微软发行，The Coalition工作室制作的第三人称射击游戏《战争机器5》目前在Steam售价已由163元永久下降至119元，游戏支持中文。--> 详情>>
Minecraft动画：机器龙11vs异象666详情>>
战争机器5是一款第一人称枪战射击类游戏，是战争机器系列的正统续作，游戏为玩家带来了丰富的玩法内容，以及紧张刺激的枪战玩法内容，让玩家体验最酷炫的枪战世界。很多玩家都想玩详情>>
疯狂机器3是一款模拟经营类策略游戏，游戏中玩家需要利用强大的物理引擎，打造属于自己的强大的疯狂机器，通过使用各种机器，来解开各种关卡谜题。游戏在steam收获了95%的好评率，十详情>>
据外媒报道，在过去的三年里，由谷歌前机器人主管Aaron Edsinger博士领导的一个团队一直在秘密研制一种辅助机器人--Hello Robot。 现在，这款机器人已经从隐形状态对外展示详情>>
原标题：游戏基础知识——“垃圾站”场景的设计手法 垃圾站是近现代和科幻背景游戏中经常出现的一个场景，暴雪的即时战略游戏《星际争霸2》中有一张详情>>
研究人员已经开发出了他们所说的突破性机器人实验室助手，能够像人类一样在实验室里移动并进行科学实验。 这台由英国利物浦大学的科学家设计的机器还远没有达到完全自详情>>
机器人模拟游戏《Volta-X》Steam夏季发售 支持简中 2020-07-09 12:06:33来源：游戏下载编辑：葫芦娃评论(0) 详情>>
由GungHo开发的机器人策略模拟游戏《Volta-X》将于今年夏季登陆Steam平台，支持简中。 游戏背景介绍： 好几年前，地球遭到怪兽入侵而变得岌岌可详情>>
新浪科技 杨雪梅 7月9日，以“智联世界 共同家园”为主题的2020世界人工智能大会云端峰会开幕，优必选科技创始人、董事长兼CEO周剑将作为嘉宾分享观点。在大会正式详情>>
原标题：赛博朋克，AI机器人都接戏了？ 如果这部预计耗资 7000 万美元的电影真的拍成了，将会是电影史上第一部由人工智能机器人担任主演的电影。 据《The详情>>
最强蜗牛德沃尔机器人怎详情>>
导 读 《CS：GO》游戏中增加机器人的指令是“bot_add_(ct/t)”，玩家打开控制台后输入该指令就可以增加一个机器人了，如果想把机器人删除则需要在控制台输入“kick_bot”指令。详情>>
作者： 花卷 2020-07-03 14:26 整理 switch玩家如果换机器，玩家可以进行账号转移详情>>
最强蜗牛宝藏守卫机详情>>
麻省理工学院的研究人员创造了一个新的机器人来帮助对抗新型冠状病毒。 这台自主机器会发出UVC，这是一种短波长的紫外线，可以杀死微生物并破坏其DNA。该机器人是麻省理详情>>
原标题：皮非工作室 留守的阿坡坡 原创可动机器人 随着人类科技文明的发展，AI智能无处不在，机械高度智能化，甚至开始萌发类人思维。而在创造这一切之详情>>
最强蜗牛德沃尔机器人值不值得买？德沃尔机器人有必要花钱买吗？德沃尔机器人这个东西需要花费57万黑蝌蚪，价格还是非常昂贵的，在资源紧缺的情况下不建议买。下面带来最强蜗牛德沃详情>>
导 读 宝可梦剑盾利用机器鹕炼金方法一览 宝可梦剑盾在最新的铠之孤岛dlc中新增了机器鹕这一npc，玩家可以利用其来合成一些物品，其实也是可以用机器鹕来炼金的，可能一些小伙伴详情>>
机器人公司实际上是一款以模拟为主的游戏，同时它也是一款以模拟机器人为主的好玩手游，玩家在游戏里面通过建造机器人，就可以生成银币了，进而建立起属于玩家自己的机器人详情>>
原标题：推荐一位B站宝藏UP主，在他那万物皆可JOJO，机器猫变身dio 今天想和大家介绍一位我个人很喜欢的，B站宝藏UP主：-SHL-，他创作了很多JOJO系列恶搞视频详情>>
在刚开始玩机器人生存保卫战争这款手游的时候，每一名玩家都会拥有一架机器人，每一个机器人都有不一样的特点。在机器人生存保卫战争游戏中，每一种特点都可以让坦克被摧毁。详情>>
导 读 最强蜗牛机器人怎么打死，最强蜗牛机器人BOSS攻略，守卫机器人BOSS前期会遇强则强，这是一个很烦人的特效，但是它终究还是有弱点的，想知道怎么对付机器人的小伙伴们一起来看详情>>
欺诈之地机器人事件怎么玩？游戏中，玩家可以遇到一个机器人的事件，今天小编给大家带来欺诈之地机器人密码介绍，需要的小伙伴快来看一下吧。 欺诈之地机器人密码介绍 详情>>
《最强蜗牛》守宝藏的机器人怎么打 打机器人技巧分享 作者：互联网来源：九游发表时间：2020-06-23 19:详情>>
《宝可梦剑盾》铠之孤岛DLC中玩家能够在古月鸟机器人处合成一些道具，下面请看玩家“登上火星的人”分享的《宝可梦剑盾详情>>
最强蜗牛机器人怎么打呢？很多玩家都不是很清楚，接下来小编为大家带来一篇最强蜗牛机器人怎么打 机器人打法讲解。 一、机器人打法 守卫宝藏的机器人游戏前中期一个很厉害的存详情>>
最强蜗牛机器人怎么打呢？很多玩家都不是很清楚，接下来小编为大家带来一篇最强蜗牛机器人怎么打 机器人打法讲解。一、机器人打法守卫宝藏的机器人游戏前中期一个很厉害的存在详情>>
机器鹕是铠之孤岛中新加入的系统，可以帮助玩家们合成一些道具，下面我们就为玩家们带来宝可梦剑盾机器鹕有什么用的介绍，大家也来一起看看机器鹕的合成配方吧 机器详情>>
宝可梦剑盾铠之孤岛机器鹕能合成哪些物品？很多玩家想知道机器鹕的详细配方，所以今天小编带来了宝可梦剑盾机器鹕配方一览，感兴趣的玩家们快来看看吧。 宝可梦剑盾机器鹕详情>>
索尼互动娱乐公司(上海)有限公司和上海东方明珠索乐文化发展有限公司今日宣布，将于2020年7月1日在中国大陆市场发售PlayStation®VR简体中文游戏《宇宙机器人：搜救行动详情>>
PlayStation VR 游戏《宇宙机器人：搜救行动》国行版要来了。索尼互动娱乐公司（上海）有限公司和上海东方明珠索乐文化发展有限公司今日宣布，本作的国行版将于 2020 年 7 月 1详情>>
魔兽世界怀旧服机器的崛起怎么做？魔兽世界怀旧服全新版本已经正式开启了。还不是和了解机器的崛起任务怎么做的小伙伴们，一起来看看吧。机器的崛起攻略等级要求：52任务类型：部落详情>>
《美国末日2》中饰演艾比的Laura Bailey和饰演蒂娜的Shannon Woodward，分别在推特上发表了关于这款游戏在M站用户评分低的看法，一起来看看。 她们不详情>>
