AI棋牌應用的現實意義

AI在棋牌類游戲的應用，將促進博弈決策的研究，以棋牌類AI應用為基礎的相關AI博弈工具，在經濟金融領域的風險預測、軍事領域的戰(zhàn)局預測等方向有著廣泛的應用前景。

半個多世紀以來，棋牌類游戲一直是人工智能（AI）發(fā)展創(chuàng)新的舞臺。利用AI在被視作智力游戲的棋牌中打敗人類，也一直是AI研究所追求的目標。從1997年IBM的超級電腦“深藍”擊敗國際象棋世界冠軍卡斯帕羅夫，到2016年谷歌開發(fā)的AI機器人AlphaGo戰(zhàn)勝圍棋世界冠軍李世石，AI在棋牌類比賽中屢獲突破。2019年7月，卡耐基梅隆大學與Facebook公司共同開發(fā)的AI機器人“Pluribus”，在無限制德州撲克6人對決比賽中戰(zhàn)勝5名專家級人類玩家，AI在德州撲克戰(zhàn)場再下一城。

Pluribus概況

Pluribus與人類的比賽分為兩種模式：1個AI與5個人類玩家和5個AI與1個人類玩家，Pluribus在這兩種模式中都取得了勝利。而為了戰(zhàn)勝人類，Pluribus在策略、算法和能耗上進行了多次優(yōu)化。

Pluribus研發(fā)的核心策略是運用改進版本的蒙特卡洛遺憾最小化算法（Monte Carlo Counter factual Regret Minimization，MCCFR），通過自我博弈的方式學習。Pluribus首先隨機地選擇玩法，通過蠻力計算得到收斂的結果，并對這些行動擬合概率分布，使得其實力在不斷自我博弈中逐步變強。在整個學習過程中，AI機器人和自己進行對戰(zhàn)，不使用任何人類游戲數據作為輸入。

算法上，為了解決6名玩家的額外復雜性，Pluribus整合了新的在線搜索算法，使AI能夠在游戲中向前預測并決定下一步該做什么，這種機制被稱為搜索功能。以往的棋牌類算法的每一步決策都需要計算到游戲結束，而在線搜索算法只需搜索前面的幾步即可。此外，Pluribus還利用了速度更快的新型self-play非完美信息游戲算法?；谏鲜鰞煞N算法，使得憑借極少的處理能力和內存來訓練Pluribus成為可能。

能耗上，研究人員使用一個64核的服務器，利用不大于512GB的內存，在8天時間里完成了Pluribus的自我博弈訓練，其成本大約為150美元，同其他自我對弈的AI研究相比，成本極低。而且算法上的進步，讓研究人員可憑借較少的資源消耗實現極大的性能提升。

撲克AI和其他棋牌類AI的對比

撲克AI與棋類AI的基本原理相同，都采用蒙特卡洛搜索樹算法作為基本算法，不依賴人類所提供的策略，在不斷迭代的過程中實現自我學習。不同的是，棋類游戲中的棋子都展現在棋盤上，結果種類有限，所有的結果都是可推算的，這種情況被稱為“完美信息博弈”；牌類游戲中無法知道對手的底牌，含有隱藏信息，結果可能是多樣的，導致其計算難度和計算量大大增加，被稱為“不完美信息博弈”。

棋類AI

棋類游戲包括西洋雙陸棋、國際象棋、圍棋等，比賽中所有的信息和決策公開，并且游戲對于玩家來說只有贏或輸兩種可能的結果，從某種意義上說，這使得訓練AI變得更容易。棋類在理論上可通過計算機模擬出每一種可能的情況，從而進行完美信息動態(tài)博弈。這類完美信息博弈中AI機器人往往使用實時搜索。例如，當模型在決定下一步該如何走時，國際象棋AI通常會考慮以后的一些移動步驟，直到算法的前瞻到達深度上限。而圍棋的棋盤變化可能性比可觀測宇宙范圍的原子總數還多，因此圍棋AI主要通過深度學習技術訓練用于判斷結果輸贏概率的價值網絡，來增強AI對弈能力。

麻將AI

麻將AI的策略需要更多地增加得點的期望值，盡量增大和大牌的可能性，同時盡量避免對手的大牌點炮，這一打牌策略顯然是有最優(yōu)解的。為了有更大的可能性和大牌，AI需要通過手牌和棄牌池里的牌，計算進張（摸到有效牌）和鳴牌（吃、碰、杠）使手牌有進展的概率，進而計算和牌得分的期望值。目前最強的麻將AI機器人是日本東京大學開發(fā)的“暴打”。

撲克AI

以德州撲克為例，由于在游戲中，玩家無法獲取已發(fā)生事件的全部信息（如對手的底牌等），因此這個游戲屬于“不完美信息”（Imperfect Information）類游戲。德州撲克一直是人工智能領域最難以攻克的重大問題之一，因為和棋類游戲不同，撲克AI必須推理隱藏的信息，并慎重平衡自己策略。同時，相比棋類比賽，在撲克游戲中需要使用Bluff（嚇唬）等更多游戲策略。

在Pluribus之前，AI機器人曾在兩個參與者的完美信息零和博弈中取得了多次引人注目的成功，但大多數真實世界中的策略交互都涉及隱藏信息，且并非兩個參與者的零和博弈。Pluribus的成功表明，在復雜的多參與者場景中，基于自我博弈和搜索算法的AI能夠獲得很好的效果。

AI棋牌應用的現實意義

Pluribus提出了在大型狀態(tài)空間、隱藏信息中有效地解決博弈論推理挑戰(zhàn)的方法，所開發(fā)出的技術很大程度上獨立于撲克領域，可用于大量不完美信息博弈。Pluribus處理的諸多問題，與真實世界中的通用問題相對應，“不知道對手的牌”對應現實中的“不完整信息”，“下注策略和由此帶來的結果”對應現實中的“風險管理”，“確認對手的模式，并進行利用”對應現實中的“智能體建模”，“Bluffing(撲克中的恐嚇技巧)”對應現實中的“欺騙”，“處理對手欺騙的牌”對應現實中的“不可靠信息”。

事實上，棋牌類游戲的本質是競爭和對抗，由游戲規(guī)則定義其目標（評價標準），玩家使用各種策略達成目標，其中涉及數量可觀的博弈過程。AI在棋牌類游戲的應用，將促進博弈決策的研究。以棋牌類AI應用為基礎的相關AI博弈工具，在經濟金融領域的風險預測、軍事領域的戰(zhàn)局預測等方向有著廣泛的應用前景。

在經濟金融領域，不論對經濟發(fā)展的總體趨勢預測，還是銀行、保險、股市等細分行業(yè)的風險模型建立，都需要依靠大量“不完美信息”來決策。AI博弈工具可通過處理不完美信息來獲得最佳決策。政府可利用AI博弈工具對社會行業(yè)的未來趨勢進行預測，判斷供需關系，合理有序引導行業(yè)健康發(fā)展。銀行、保險公司可利用AI工具判斷短期行業(yè)走勢，高效評估企業(yè)風險，以決定是否達成交易。

在軍事領域，具有自主學習功能的AI博弈工具與兵棋推演相結合，將爆發(fā)出極強的戰(zhàn)斗力，幫助軍隊獲取制勝先機。從上個世紀70年代初開始，美國陸軍就按照“全自動兵棋”概念建立起“地面作戰(zhàn)模擬系統(tǒng)”。20世紀90年代初，美軍在海灣戰(zhàn)爭爆發(fā)前就使用兵棋游戲對整個戰(zhàn)爭進行了推演，而戰(zhàn)爭的過程幾乎和美軍事前的推演如出一轍。隨著技術的進步，算法不斷成熟使得算力需求進一步降低，同時計算技術朝著系統(tǒng)微型化和處理高速化方向發(fā)展，具備超強自主學習和計算能力的AI系統(tǒng)與作戰(zhàn)模擬系統(tǒng)相結合，將提升對戰(zhàn)局的預測和把控。未來，AI系統(tǒng)將有希望直接與戰(zhàn)場指揮系統(tǒng)對接，其快速戰(zhàn)局推演能力、高效制定作戰(zhàn)方案的能力，將主導戰(zhàn)爭的勝負走向。