回顾智能决策技术在人机对抗环境如雅达利、围棋、德州扑克以及星际争霸中的突破，可以针对当前技术与博弈环境的特点，总结并抽取影响智能体设计突破的关键因素（如表1）。不完美信息博弈、长时决策、策略非传递性与智能体协作挑战之外，兵棋推演具备非对称环境决策，随机性与高风险决策的相对独特问题，对当前的智能决策技术提出了新的挑战。

表1 对智能决策技术带来挑战的代表性因素

兵棋推演智能体研发经历了知识驱动、数据驱动以及知识与数据混合驱动的研发历程。知识驱动的兵棋推演智能体引入高水平人类选手的经验形成知识库（如图1），可以一定程度规避前面所述的挑战性问题。在AI研发上可以通过如行为树、自动机等形成态势到决策的制定。知识驱动型的挑战在于缺乏高质量的知识库实现知识建模、表示与学习。数据驱动的兵棋推演智能体以深度强化学习为基础进行策略自主迭代（如图2）。受限于强化学习机制与兵棋推演环境的上述特点，数据驱动型面临着如何设计有效的自博弈或改进自博弈框架、实现异步异构多智能体有效协同、提升强化学习样本效率等挑战。知识与数据混合驱动的兵棋推演智能体结合知识驱动型与数据驱动型的优点，潜在具有超越单种类型驱动的方式，可以采用“加性融合”与“主从融合”等基本方式实现两者结合（如图3）。但是，其面临融合边界如何确定、训练过程中两者相互制约等挑战。

图1  兵棋推演知识库构建示例

图2  自博弈(改进自博弈) + 强化学习训练框架

图3  知识与数据混合驱动框架示例

正确评估智能体的策略对于智能体的能力迭代具有至关重要的作用。研究者提出了一系列算法（如ELO、多维ELO等）实现智能体能力的准确刻画，但仍面临复杂非传递性策略的综合评估、协同智能体中单个智能体的能力评估、定性评估标准体系化等问题带来的挑战。近些年来，上述挑战促进了智能体评估开放平台的建设，例如，中科院自动化所开放了“图灵网”人机对抗智能门户网站（http://turingai.ia.ac.cn/），支持智能体机机对抗、人机对抗、人机混合对抗下多种指标评估评测（如图4）。

图4  “图灵网”平台

博弈理论，作为研究多个利己个体之间的策略性交互而发展的数学理论，有望为兵棋推演人机对抗突破提供理论支撑，但是面临着如何求解以及保证大规模博弈的近似纳什均衡解的挑战。大模型，近些年来在自然语言处理领域获得了突飞猛进的发展，兵棋推演的大模型训练有望实现类似的零样本或小样本迁移，但是面临着如何进行优化目标设计、多智能体训练以及不同规模任务训练的挑战。问题约简，作为一种引导技术发展的有效手段，本文设计了“排兵布阵”、“算子异步协同对抗”等问题，以牵引算法研究，进而反哺解决兵棋推演人机对抗挑战。