原标题：微软最强麻将AI首次公开技术细节！专业十段水平，或能用于金融预测
智东西（公众号：zhidxcom）
编 | 董温淑
智东西4月3日消息，微软公司于去年8月推出了一个名为Suphx的麻将人工智能系统，并在麻将游戏社区Tenhou中对其进行测试。据悉，Tenhou是世界上最大的麻将社区之一，拥有超过35万活跃用户。
根据测试结果，Suphx最高成绩为10段。这是目前为止，世界上第一个也是唯一一个达到10段水平的人工智能。Tenhou社区中的人类玩家也证实Suphx具有超强学习能力，99.99%的玩家认为模型经过训练后表现有所改善。
本周，微软团队发布了一份修订版预印本文件，对Suphx进行了全面介绍。目前这项研究发表在学术网站arXiv上，论文题目为《Suphx：用深度强化学习打麻将（Suphx：Mastering Mahjong with Deep Reinforcement Learning）》
论文链接：https://arxiv.org/pdf/2003.13590.pdf
一、麻将：规则复杂的不完全信息博弈
麻将是一种多玩家参与、多轮牌的不完全信息博弈游戏。
每一局麻将又包含许多回合。一局游戏的胜负是由累积回合分数决定的，输掉一圈并不意味着玩家满盘皆输。为了保证最后胜出，玩家有可能会故意输掉一局。
另外，麻将游戏的“胡牌”方式非常多。不同的“胡牌”方式下，牌面也有很大不同。相应地，每回合游戏的得分也就不同。
所谓不完全信息博弈，是指参与者并不了解博弈的全部情况。在麻将游戏中，每位玩家手中最多有13张别人不可见的牌。牌墙中的14张牌对所有玩家都不可见。此外，牌桌中央还有70张牌。只有被玩家摸回或打出时，这部分牌的牌面才可见。
在这种规则下，玩家每做出一个选择，接下来的牌局就可能出现10个以上的走向。玩家很难仅仅依据自己手中的牌来判断接下来的动作，而是要经过仔细的思考与权衡。
这也正是建立麻将人工智能模型的难点所在：人工智能很难将奖励信号与观察到的信息联系起来。
二、Suphx：两天训练150次，熟练掌握5种模式
在微软的研究中，研究人员选择用日本4人麻将（Riichi Mahjong）规则训练Suphx模型，训练数据来自Tenhou社区。
培训过程耗时两天，研究人员在44个图形处理单元上、用150万个游戏对模型进行了训练。
1、原型：深度卷积神经网络
深度卷积神经网络（deep convolutional neural networks）曾在围棋、象棋等游戏中应用，其强大的表示能力已经得到了验证。Suphx也选择深度卷积神经网络作为原型。
不同于棋类游戏的是，麻将玩家获得的信息并不是自然的图像格式。为此，研究人员设计了一套特征，将观察到的信息编码为深度卷积神经系统能理解的形式。
研究人员把每位玩家的私有牌编码成4个频道。图示有4行34列，每一行对应一个频道，每一列对应一种牌。第n个通道中的第m列表示玩家手中有n个m类型的牌。每种牌都可被表示为一个34维向量。
同时，研究人员还降低了计算复杂程度：规定执行深度搜索时优先找到可能的赢家；Suphx不考虑对手的行为，只专注于寻找可能获胜的牌面。
2、训练方式：有监督学习+分层强化学习，学会5种模式
训练过程中，原型先利用人类职业玩家的数据进行有监督学习（supervised learning），然后再进行分层强化学习（self-play reinforcement learning）。研究人员设计应用策略梯度算法（policy gradient algorithm）来进行分层强化学习。
Suphx学习了5种模式来处理不同的情况。分别是：弃牌（discard）模式、Riichi模式、Chow模式、Pong模式和Kong模式。
所有模式都用网络结构表示。弃牌模式对应34张牌，有34个输出神经元。其他模式仅有两个输出神经元，分别对应执行或不执行操作。
3、GRU网络+Oracle代理+pMCPA
除上述设定外，微软团队还引入了其他几种技术：
全局奖励预测器（GRU网络）。该预测器可以提前预测游戏的最终结局，提供有效的学习信号，从而使策略网络可执行。
Oracle代理。一个强大的作弊软件，可以帮助玩家看到对家的牌面。在Suphx的模型学习过程中，研究人员剔除了Oracle代理的一部分功能，使其变成一个普通代理、只能输入可见信息。相比标准的深度学习过程，利用Oracle代理进行训练加速了模型的学习过程。
参数化的蒙特卡罗策略自适应算法（pMCPA）。复杂的麻将规则导致了不规则的游戏树，阻碍了蒙特卡洛树搜索技术的应用。为了解决这一问题，研究人员引入了参数化的蒙特卡罗策略自适应算法（pMCPA）。pMCPA会不断调整离线学习策略，使其能适应突发的游戏情节（比如4个玩家丢弃了公共牌）。
4、胜负评判模型
Suphx利用了一个基于规则的胜负评判模型。该模型可以检查其他玩家打出的牌及牌强中的牌能否组成获胜牌面。假设组成了获胜牌面，模型就根据以下规则做出判定：
如果这不是游戏的最后一轮，宣布这一轮当前玩家赢；
如果这是游戏的最后一轮，但是当前玩家的累积总分在四位玩家中最少，则不宣布。反之，宣布当前玩家这一轮赢。
三、决策过程：按规则摸牌打牌，模型判定胜负
在游戏中，需要麻将玩家采取行动的情形有两种：从牌墙中取牌和打出牌。对于Suphx来说也一样。
1、从牌墙中取牌
从牌墙中抽牌时，如果Suphx抽到的牌可以与其私有牌凑成获胜牌面，则由胜负评判模型判定是否获胜。如果获胜，就结束一轮游戏。
如果抽取的牌可以与私有牌凑成Kong的牌面（ClosedKong或AddKong），kong模式将决定凑成哪一种牌面。如果是ClosedKong，关闭Kong操作，退回抽牌步骤；如果是AddKong，其他玩家就可以使用。
如果凑不成Kong，就进行Riichi步骤。在私有牌可以排列出Riichi牌面的前提下，Riichi模式决定是否声明这一结果。如果不声明，直接转到弃牌步骤；如果声明，在声明后转到弃牌步骤。
弃牌步骤中，模型打出相应的牌。游戏继续进行下去，直到牌墙中的牌被打完。
2、其他玩家弃牌
另外一种情况是其他玩家弃牌。如果Suphx可以用弃牌与私有牌组成获胜牌面，则由评判模型判定。模型判定获胜，游戏结束。模型判定失败，Suphx会尝试组成Chow、Pong或Kong牌面。如果无法组成这三种牌面，就轮到其他玩家行动。
四、评估：Suphx成最强麻将AI
在Tenhou平台上有两种游戏室，分别是专家室和凤凰室。专家室对人工智能和4段及以上的人类玩家开放；凤凰室只接受7段以上的人类玩家。根据这项规定，研究人员在专家室对Suphx进行了评估。
在专家室中，Suphx进行了5760次游戏，最高记录是10段（dan），平均成绩是8.74段。而根据Tenhou平台统计，在其35万用户之中，能达到10段水平的玩家仅有180人。
在论文中，研究人员称Suphx在防御方面“非常强大”。它开发出了自己的玩法，能够在保证己方私有牌安全的情况下取胜。
结语：Suphx有巨大应用潜力，或可用于金融预测
经过学习，Suphx模型能够掌握麻将游戏的规则并在游戏中取得较好成绩，这说明了它具有超强的学习能力。
研究人员认为，这种学习能力可以在许多其他领域发挥作用。比如在企业的运营中，Suphx可以帮助处理普通但是占用认知的任务，从而解放员工生产力。
除此以外，该模型或能用于金融预测。论文中写道：“金融市场预测和逻辑优化等现实世界中的大多数问题都与麻将具有相同的特征，即规则复杂、信息不完善。”因此，Suphx模型对于现实世界具有“巨大的应用潜力”。
论文中写道：“展望未来，我们将向Suphx引进更多新技术，并继续推进麻将人工智能和不完全信息博弈游戏的前沿研究。”
文章来源：VentureBeat，arXiv游戏网
| 相关下载 |
原标题：美国3月非农就业人数减少70.1万人，十年来首次为负 据外媒报道，美国3月非农就业人数减少70.1万人，自2010年以来首次录得负值，前值增加27.3万人。详情>>
原标题：首次！两百多个政党就国际抗疫合作呼吁：抵制歧视任何国家 4月2日，中国共产党同世界上100多个国家230多个政党联合就加强国际抗疫合作发表共同呼详情>>
【导读】《龙珠Z：卡卡罗特》今日在Steam首次开启打折活动。感兴趣的小伙伴一起来看详细内容！--> 《龙珠Z：卡卡罗特》今日在Steam详情>>
原标题：英国建成“方舱医院” 查尔斯王子将首次远程揭幕 [海外网4月3日|战疫全时区]英国克拉伦斯宫发布声明称，查尔斯王子将在当地时间3日通过视频详情>>
【导读】《Risk of Rain 2》在于3月31日发布更新，将1代中的神器系统带回来，更新就开始打折！真是良心！今天更是打出史低价！真的很服气！这样的厂商请多给我来几个！--> 详情>>
大家好，众所周知，腐团儿是一个颜值主播。虽然她走的是二次元路线，但是她的才艺很多。例如唱歌跳舞之类的，腐团儿她都会。唯一可惜的是，这两样她都不是详情>>
原标题：美总统顾问库什纳首次出席简报会：要为抗疫带来“创新手段” 【海外网4月3日|战疫全时区】 当地时间2日，美国总统顾问贾里德⋅库什纳(Jared K详情>>
原标题：首次全年盈利，又遇疫情冲击，美团的底盘到底稳不稳？ 有内部人士向《独角兽公园》透露，2019年底，美团曾有VP在内部提出了2020年日活1亿的小目标。详情>>
原标题：全国象棋男子甲级联赛首次举办季前赛 本报北京4月2日电 （记者郑轶）2020年全国象棋男子甲级联赛季前赛将于3日至11日举行，共有四川、广东、上海详情>>
百级版本一上线，玩家都在“爆肝”深渊，PK场却被冷落了。不过，旭旭宝宝在100级装备达成后，首次出现在PK场，站街的面板太疯狂，将近突破三千力量，技术不行装详情>>
原标题：美国上周首次申请请失业救济人数664.8万，再创历史新高 美国劳工部4月2日发布数据：3月28日当周初请失业金人数664.8万，前值328.3万，再创历史新高详情>>
（原标题：疫情之下新品待发 苹果iPhone11大幅降价） 详情>>
原标题：抽成30%的“苹果税”首次部分取消 （文/观察者网 一鸣）苹果公司近期放宽了一项有争议的政策，App Store中的部分App，不再需要“缴纳”“苹果税”详情>>
原标题：观察 | 支付宝平台升级后首次出击，按下经济复苏加速键 虽然国际疫情形势严峻，但国内情况已经基本得到控制，社会生活正慢慢回到正轨。在阴霾下详情>>
原标题：天眼查CHA Glass Ⅱ全球发售 目光对焦、耳骨传导技术首次量产应用 北京时间4月1日，天眼查以在线直播方式宣布CHA Glass Ⅱ全球发售，售价1,119详情>>
原标题：印度最大贫民窟首次报告新冠肺炎确诊病例 新华社孟买4月2日电 据印度媒体报道，孟买的塔拉维贫民窟1日首次报告新冠肺炎确诊病例，患者当天夜里详情>>
原标题：削减2.7万个岗位 美国私人部门就业指标首次下降 据美国自动数据处理公司1日公布的数据显示，受新冠肺炎疫情冲击，3月份美国私人部门削减了2.7详情>>
原标题：深圳首次通报无症状感染者 原标题：深圳首次通报无症状感染者 4月1日，深圳市首次通报无症状感染者情况，3月31日当天深圳新增境内病例1例、无症详情>>
原标题：75年来温网首次取消 费德勒术后复出受阻 广州日报讯 （全媒体记者 孙嘉晖） 北京时间昨晚，年度第三项网球大满贯赛事温网锦标赛组委会官方宣布：受详情>>
原标题：确诊后，查尔斯王子首次露面，鼓励民众怀抱信念 爱扎大 ▲英国查尔斯王子确诊新冠肺炎后首次露面（图源：英国天空新闻台） 据英国天空新闻台1日报详情>>
原标题：全国治愈率达93.5% 卫健委首次通报新增无症状感染者130例 国际在线消息（记者 瞿文斌）：国家卫生健康委新闻发言人米锋４月１日在北京首次通报无症状详情>>
原标题：首次通报新增无症状感染者意味着什么？ (抗击新冠肺炎)首次通报新增无症状感染者意味着什么？ 中新社北京4月1日电 题：首次通报新增无症状感染者详情>>
原标题：DeepMind首次在所有57款雅达利游戏上超越人类玩家 挑战雅达利游戏，一直是DeepMind的研究日常。当地时间3月31日，这家全球最受瞩目的人工智能详情>>
原标题：正在直播 | 罗永浩首次带货直播，PK带货一姐薇娅 4月1日晚8点，罗永浩将在抖音开始他的首次带货直播。 罗永浩进军直播的消息传出，众多厂商纷纷详情>>
原标题：昔日“EXO”队员鹿晗吴亦凡时隔六年首次重组，发布新曲《咖啡》 愚人节不都是玩笑，也有真惊喜！ 4月1日愚人节，鹿晗、吴亦凡二人时隔多年再度合详情>>
原标题：日本大型制造企业信心指数7年来首次转负 日本央行4月1日公布的3月份企业短期经济观测调查结果显示，受新冠肺炎疫情影响，大型制造企业景气判断详情>>
原标题：官方首次通报无症状感染者数据：31省份昨日新增130例 4月1日起，官方首次在疫情通报中公布无症状感染者报告、转归和管理情况。 国家卫健委通详情>>
你是不是热衷于某个类型的游戏（独立、古风、换装、养成、动作、文字冒险等等）？你是不是有很多想法不吐不快？顺便，你还是一个社交平台的重度使用者，喜欢和朋友分详情>>
原标题：美国务院数十人确诊 首次出现死亡病例 蓬佩奥（路透社） [海外网4月1日|战疫全时区]综合美媒CNBC和福克斯新闻报道，美国国务卿蓬佩奥3月31日表详情>>
北京时间2020年3月31号，英雄联盟LPL春季赛线上赛迎来了IG与OMG之间的对决。最终，IG战队凭借着2-0的总比分拿下了OMG战队。 第一场比赛，OMG就拿出了一套前期“详情>>
原标题：京东数科区块链追溯效果数据首次披露：生鲜复购率提升47.5% 3月31日，亿欧消息，京东数字科技集团与中欧-普洛斯供应链与服务创新中心联合发布了详情>>
原标题：美军首次有感染者死亡 修改疫情发布政策 美军首次有感染者死亡 修改疫情发布政策 惠晓霜 美国国防部30日报告首例军人感染新冠病毒死亡病详情>>
如果要问哪一类游戏玩家最会“玩”？小编觉得一定是物理建造游戏的玩家。不管你有没有接触过这类游戏，但一定或多或少都看到过《围攻》或者《我的世界》的大详情>>
新华社北京12月9日电（记者于文静）据农业农村部9日消息，随着国家和地方一系列恢复生猪生产政策措施落实，近期生猪生产出现转折性积极变化，生猪存栏和能繁母猪详情>>
原标题：出发吧！从T-HOUSE开始首次公演各显其能，成团在即保留悬念 伴随着综艺节目的不断出新，在近期的综艺当中一档纪实类娱乐圈新人职场生存真人秀节详情>>
原标题：陨石中首次发现超导材料 据美国国家科学院院刊（PNAS）近日消息称，美国科学家在两块不同的陨石中发现了超导材料，这是超导材料在太空中形成的第一详情>>
原标题：江西首次开展航空应急救援夜航训练 3月26日，省航空护林局在上饶三清山机场开展首次夜航训练。此次任务由驻点上饶机场的一架AC313直升机操作详情>>
如今，大家对于虎牙鲨鱼哟应该是不会感到陌生的，毕竟是光子认可的PEL一哥，所以热度非常高。而鲨鱼哟在游戏中的神级操作，大家还记得多少呢？说到鲨鱼本人详情>>
原标题：豆瓣9.5，国内首次，献给骨灰级影迷的电影盛宴！ 受到疫情的影响，电影院已经关闭快三个月， 国内外许多新片也都无法如期上映。 不少铁杆影迷应该都详情>>
原标题：穗企在国际上首次发现大量新的基因突变位点，首次诊断3种罕见病 南都讯3月29日上午，广州市政府新闻办举行第59场疫情防控新闻通气会（省科学技术详情>>
