笔者在国内一家最早最资深的从事深度学习AI赋能游戏的公司从事游戏侧的接入开发工作。本文是两年多来,与AI侧同事一起支持了国内外众多知名大型手游项目提供智能AI服务,得到的一些经验和总结。希望能让游戏行业的从业者(尤其是游戏程序开发人员),了解什么样的游戏框架是适合AI训练的。 在解答之前。需要解释一下深度学习AI在游戏中框架中的角色是什么。可以先简单的认为深度学习AI最终会是一个特殊“AI客户端”的存在,它和传统客户端一样,通过协议与服务器通讯交互。它具体做的事,有点类似于游戏里实现“托管离线玩家”用的行为树(Behaviour Tree)。它用神经网络的预测结果,映射成调用游戏逻辑提供的基础行为节点,适时的做出合理的行为。 我们先看传统游戏框架中最基础的单机版游戏的框架设计。会得到下面的结构。 上面的游戏框架会有以下几个部分:
用户输入可以汇总成:
等等行为。 状态可以汇总成:
等等状态。 考虑到多人在线的游戏设计,主流的设计思路,有帧同步和状态同步两个模式。 帧同步的模式,以王者荣耀等MOBA游戏为代表。 相对单机的那个设计。主要是把用户输入的部分,变成了由专门的帧同步服务器转发广播。这样就能实现“多人游戏”(当然实际的实现没这么简单)。 状态同步的模式,以魔兽世界等MMO游戏为代表。 相对单机的设计。在服务器接受到了用户输入后,会先把部分的核心逻辑在服务端处理(比如攻击判定,扣血多少等等),最终直接把客户端需要的状态信息同步下去。但不可避免的,依然会有一些操作,尤其是依赖物理引擎的部分,会交由客户端处理。单机游戏里的核心逻辑就分散在了客户端和状态服务器两个部分里面。 而更适合AI训练的游戏框架。是如下图所示: 强调游戏的服务器端,要有游戏全部的核心逻辑规则,甚至包括集成游戏内的物理引擎(可选)。 1.支持到玩家各种行为的后续结果、反馈规则。比如玩家攻击了一个玩家后,要怎么扣血。 2.游戏本身的基础逻辑。比如玩家包裹里的食物,会在几天后会腐败。 3.场景里会定期会刷新出现的道具。 等等,类似这些都是核心逻辑。但不用带上表现层的部分。
对于强调游戏的服务器端,要有游戏的全套核心逻辑的原因,主要是AI端需要在没有客户端的情况下,发送一个用户的操作,但服务器要能处理所有的后续逻辑。比如说AI端说向前跳跃,服务端需要检测AI端的跳跃是否合法(有无体力,是否被禁锢等等),并且要在真实的物理层面支持跳跃是否中途被障碍物阻挡,落点在哪(可选)。这些都决定了,适合AI训练的游戏框架是这样处理。 目前已知的,符合这种设计的游戏引擎是Unreal。采用dedicated server的项目,基本上原生支持上述的要求。 以下是更详细的描述了,做为在强化学习训练中,做为环境一部分的游戏服务器,会被同时启动大量的(1000+局)单局同时训练。并且可以支持的不同纬度,更好的适配AI训练。 监督学习的训练相对简单一些。主要是要通过游戏服务器,把单局里的用户输入以及状态的改变,都保存成记录(录像),以便监督学习平台训练。常见的问题是传统服务器里并没有全量的状态(比如fps游戏里玩家摄像机的朝向),会影响训练效果。 上线后的阶段和AI在线决策服是一样的。 |
相关下载 |
原神框架外收获成就达成攻略首先,我们来到这里 使用鸣神大炮,跑轰这里,炮口对着树若此时闪过一道亮光,那么说明位置正确 然后退出来,就能完成成就然后我们来到炮轰地详情>>
写在前面的话:实话讲,我并非完全地否定 Roguelike 这个游戏类型,只是想讲,任何套游戏框架,都有它的问题,但截止到今天,以我的眼光看,设计者的着眼点已经不该停留在如何扬长,而该思详情>>
我在 Armature Studio 的叙事冒险游戏《Where the Heart Leads》投入了几个小时,来到了一个剧情点。主角 Whit Anderson 和兄弟 Sege 待在一起,正陪着两个孩子 Kate 和 Alex详情>>
原神框架外收获成就怎么达成?框架外收获成就达成条件是什么?还不清楚的小伙伴看过来,这里234游戏网小编为大家带来《原神》框架外收获成就达成攻略的详细介绍!有兴趣的详情>>
xposed框架安装流程: 1、打开 Xposed 框架,点击设置,如下图: 2、勾选禁用资源钩子。 3、点击模块按钮进入。 4、这里安装两个开源模块来测试一下 , 紧记 , 安装模详情>>
周五登陆Linux网络子系统“Net-Next”分支的是开发已久的WWAN子系统/框架, 这一框架现在正排队等待着与即将到来的Linux 5.13合并窗口,这套代码是一个无线广详情>>
原标题:1、铝型材框架定制需要注意哪些事项? 铝型材框架一般运用各各种设备框架,流水线支架,输送线框架,安全围栏框架,检测设备框架,流利条架子上,通常采详情>>
梦想世界有多种类型的职业,并且在每种职业下都扩展了的分支,比如最经典的战士法师和术士,而在战士职业下根据武器被分成了刀剑枪拳笔。法师则被分为儒家、道家、鬼谷、详情>>
迷你世界家族联机2-22:房子框架完成!鱼豆终于准备盖房了!详情>>
命运2中有许多诸如异域、仪式等特殊框架的武器,部分新玩家可能并不了解,下面一起来看看命运2全特殊框架武器汇总吧。 命运2全特殊框架武器汇总 首先是两把特殊详情>>
原标题:周迅的气质无关打扮,素颜戴框架眼镜穿的又普通,真实反而美! 很多明星都是挺懂得打扮自己的,而且明星都要时刻注意自己的形象,特别是出去外面的时详情>>
》将在8月26日16:00正式开始灰度精英首测。作为2020全新端游的重磅产品,玩家可以在《破坏效应:乱斗》体验到竞技与刷图收割的快感、MOBA式的战场乱斗体验、不详情>>
迷你世界:正在构造楼型框架,不知道做出来好不好看详情>>
第一节:英雄理解级课程框架详情>>
灰烬战线中性格框架的效果是什么样的呢?性格框架应该如何选择呢?不同的性格框架效果也是不一样的,接下来小编就给大家介绍一下各种性格框架的效果吧! 灰烬战线性格框架选择攻略详情>>
在即将到来的 iOS 14 系统更新中, 苹果引入了全新的“ Nearby Interaction ”开发者框架,可以更好的发挥 2019 年款 iPhone 11 系列中引入的 U1 超宽带芯片的详情>>
引言 把游戏比作人体的话,可以有这些比喻:系统是器官,数值是血液,美术是皮肤,程序是骨骼,世界观是血肉,核心体验是灵魂。 那是什么让游戏动起来的呢? 人要执行动作必须详情>>
原标题:《永劫无间》细节解读:或跳出传统武侠框架 最近,国产多人竞技动作游戏《永劫无间》受到了不少玩家的关注,而随着游戏内容的不断曝光,这款游戏中详情>>
最近,国产多人竞技动作游戏《永劫无间》受到了不少玩家的关注,而随着游戏内容的不断曝光,这款游戏中越来越多的信息都表现出:详情>>
Warframe战争框架新增技能强化mod使用评测 发布时间:2020-05-26 16:55 来源:巴哈姆特 作者:JF繪 详情>>
Warframe战争框架实用护甲推荐 发布时间:2020-05-09 09:36 来源:百度贴吧 作者:贴吧用户_5V2aXZN 详情>>
Flash 现在已经日渐西山,但是不要忘了它一直是独立游戏最强有力的支持者之一。现在,一个国产的 HTML5 游戏框架即将推出,它拥有着很强的 Flash 基因,可以帮助 详情>>
原标题:我们想研发一个机器学习框架,6 个月后失败了 如何从先期的失败中找到一条成功之路,本文试图作了一番探讨。——Caleb Kaiser写于2020年4月24详情>>
原标题:支撑千万规模类别分类技术,百度飞桨定义工业级深度学习框架 2016 年,AlphaGo 横空出世,人工智能时代到来。同年,百度开源自研的深度学习框架 P详情>>
昨天,笔者玩到了《原神》的最新测试版本,总体来说,游戏的卖相并不丢人,部分系统还非常亮眼,完全有资格拿到世界舞台上接受所有游戏玩家的评价。 在去年详情>>
框架结构的房子好处是非常多的。,增强结构的整体性,没有多余的柱子和梁,现在流行的建筑结构,简单稳定,居住舒适,有较强的抗震性空间分割灵活施工标准化程度高,结构整体性好,使用详情>>
原标题:百度亮出新型智慧城市总体框架,加速产业智能化升级丨钛快讯 钛媒体快讯 | 11月3日消息:近日,东软解决方案论坛2019今日在成都举办,百度、东软详情>>
原标题:法美同意在多边框架下解决数字税问题 法国和美国26日在七国集团(G7)峰会期间就“数字服务税”问题达成一致,同意在经济合作与发展组织(经合组织详情>>
我们现在来看看,Word如何使用XML框架包。攻略对象Word 2016步骤分解1首先,我们打开XML框架包选项卡。2然后我们可以在这里看到添加的内容。3在这里可以看到已经添加好的内容。详情>>
今天教会大家怎样用OFFICE2013的Visio Professional制作具有透视效果的框架图,攻略对象OFFICE2013 Visio Professional步骤分解1首先打开Visio2013,在新建那里选择:具有透视效详情>>
原标题:9本丨部落冲突原创9本阵框架分享 用起来非常舒服 上了9本以后,呆了还是满长一段时间的,找了很多阵,用 详情>>
《太吾绘卷》基础MOD资源框架工具补丁类型:游戏工具补丁语言:简体中文更新时间:2018/10/1510:08:18补丁大小:104.0KB游戏标签:剧情冒险动作策略角色《太吾绘卷》详情>>
中文名称:太吾绘卷发布日期:2018-10-13更新日期:--文件大小:95K游戏语言:简体中文英文名称:TheScrollOfTaiwu游戏制作:ConchShipGame详情>>
实用收藏 框架版小凯活动效率攻略分享, 一直以为这任务很麻烦(我怕麻烦),所以今天才开始做,九个任务理一理框架,让大家更清淅,攻略简单的说,就是人多时大家一... 详情>>
1、首先需要先打开EUI插件,进入魔兽世界的主界面,点击键盘上的ESC或者游戏内的主菜单,进入到主菜单栏,点击红框中的“EUI”选项,如下图: 2、如果想要开启暴雪团队... 详情>>
《太吾绘卷》想要安装MOD就需要前置框架在提供支持,各位太吾是否会使用这个框架工具呢?下面小编为大家带来《太吾绘卷》基础MOD框架安装与使用手册,希望对大家有所详情>>
大家都知道,每款吃鸡游戏,都有一台吃机车。这辆车外表平平无奇,但是能上天,能入地,轻则躲子弹,挡子弹,重则开车撞人,霸气上路,别人都不敢打你!例如绝地求生的这一款——别只看它只是个铁架子,然而,这辆详情>>
一、SpringMVCSpringWebMVC是一种基于Java的实现了WebMVC设计模式的请求驱动类型的轻量级Web框架,即使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动详情>>
SpringCloud简介SpringCloud是一系列框架的有序集合。它利用SpringBoot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡详情>>
小编为您搜罗的答案:框架眼镜的正确使用和保养框架眼镜通常是由眼镜片和眼镜架组合而成的,使用时要注意如下问题:(1)为了避免眼镜因单手脱戴受力不均造成眼镜变形,戴镜的人要注意使用双手脱戴眼镜;(2)眼镜详情>>