本文来自清华大学 Yi Wu 团队与卡内基梅隆大学 Fei Fang 的合作研究，一作是 Zelai Xu。他们提出了一个将大语言模型（LLM）与强化学习（RL）结合的框架，用于构建能在狼人杀游戏中做出高水平策略决策的「策略语言智能体」（Strategic Language Agent）。

这个工作要解决的核心问题很直接：纯 LLM 智能体虽然在推理和语言生成上表现不错，但在需要策略决策的场景中，它们存在一种「内在偏置」（intrinsic bias）——推理完全正确，行动选择却偏离最优。研究者的方案是让 LLM 负责推理和生成多样化的候选动作，再训练一个 RL 策略网络从中选出最优动作。在 160 名人类玩家参与的对局实验中，这套方法达到了人类水平的胜率。

论文发表于 ICLR 2024。

项目主页：https://sites.google.com/view/strategic-language-agents/

GPT-4 的石头剪刀布：推理对了，选择偏了

先从一个简单的例子说起。研究者让 GPT-4 玩石头剪刀布，要求它先推理纳什均衡策略，再选择一个动作。100 局下来，GPT-4 每一局都正确推理出最优策略是随机选择——但实际的动作分布严重偏向出「石头」。

这不是偶然。LLM 的训练数据决定了它对不同动作有不同的偏好，即使推理过程得出了正确的结论，这种偏置仍然会渗透到最终的动作选择中。在石头剪刀布里，对手只需要永远出「布」就能轻松取胜。

在更复杂的策略博弈中，这个问题会更加致命。对手可以发现并利用你的偏置，就像德州扑克中如果你永远在拿到好牌时加注、差牌时弃牌，对手很快就能读透你。狼人杀就是这样一个需要欺骗和反欺骗的混合合作-竞争博弈。

狼人杀为什么是测试 LLM 策略能力的理想场景

研究者选择了七人局狼人杀（2 狼人 + 1 预言家 + 1 医生 + 3 村民）作为测试平台。这个游戏有两个核心特征让它特别适合考察 LLM 的策略能力：

第一，信息不对称。狼人知道谁是狼人，村民不知道。每个玩家都有隐藏身份，发言可能为真也可能为假。智能体必须从充满欺骗的对话中推理出其他人的真实身份。

第二，语言驱动的博弈。与象棋、扑克这类动作空间有限的游戏不同，狼人杀的行动是自然语言——发言、质疑、辩护、投票。这意味着智能体必须在无限的语言动作空间中做出策略决策，而不能依赖预定义的动作集合。

对纯 LLM 智能体来说，这两个特征构成了双重挑战：既要从欺骗性信息中推理隐藏身份，又要克服自身的内在偏置做出最优决策。

三步走：推理、生成、选择

研究者的框架由三个模块组成：隐藏身份推理（Hidden Role Deduction）、多样化动作生成（Diverse Action Generation）、基于种群的 RL 训练（Population-Based RL Training）。三者各司其职，串联起来形成完整的决策流程。

第一步：信息整理与身份推理。 LLM 将原始观测（讨论记录、投票结果、夜晚行动等）整理为结构化的信息档案，把所有信息分为三类：事实、潜在真相、潜在欺骗。然后对每位玩家推断四个属性——推测角色、可信度评分、推理过程、支撑证据。可信度 1-10 分，低于 6 分的发言被标记为潜在欺骗。未被任何推理引用的发言直接删除，减少噪音。

这一步的输出是干净、结构化的上下文，为后续两个模块打基础。

第二步：生成多样化候选动作。 关键思想是不要让 LLM 只生成一个动作（那会直接暴露内在偏置），而是生成一组策略上各异的候选动作。具体实现分两种方式：对于夜晚行动和投票行动（选择目标玩家即可），用单次推理生成所有候选；对于白天的发言行动（复杂得多），采用迭代方式——每次生成一个新的候选，并要求它与已有候选在策略上不同。

以医生的第一晚行动为例，LLM 可能生成三个候选：保护推测为预言家的玩家、保护可能有用的村民、保护自己。三种策略各有道理，交给下一步的 RL 策略来选择。

第三步：RL 策略选择最优动作。 这是框架的核心。LLM 生成了候选动作后，一个独立的 RL 策略网络负责从中选择。这个网络的结构很特别——它使用自注意力机制（Self-Attention），将观测文本、动作候选文本都通过 LLM embedding API 转化为向量，然后计算观测与每个动作候选之间的注意力分数，分数越高被选中的概率越大。

为什么不直接微调 LLM 来优化动作分布？因为微调 LLM 需要大量数据和计算，而这个小型的 RL 策略网络可以在模拟对局中高效训练。LLM 和 RL 策略各做各自擅长的事：LLM 擅长语言理解和推理，RL 策略擅长优化决策。

训练方式是「基于种群的训练」（Population-Based Training）。对手池里有两种策略：RL 策略自身的历史版本（类似自我博弈）和带有不同预设风格的纯 LLM 智能体。狼人方有安静跟随型、积极伪装型、激进指控型三种风格，村民方有隐藏信息型、主动揭露型、默认型三种。引入多样化的对手可以避免策略陷入石头剪刀布式的循环。

偏置消除了吗？三个典型场景的验证

研究者选取了三个典型场景，对比纯 LLM 智能体和训练后的策略语言智能体的动作分布。

狼人第一晚击杀目标。 最优策略是均匀随机选择非狼人玩家。纯 LLM 智能体明显偏向击杀 Player 0，而训练后的智能体分布接近均匀。

医生第一晚保护目标。 最优策略是保护自己（因为不知道谁是狼人的目标，保自己至少不浪费行动）。纯 LLM 智能体有 38% 的概率保别人，训练后的智能体以 94% 的概率保自己。

村民面对两个自称预言家时的投票。 其中一个必为狼人，不投票只会让狼人更容易控制投票结果。纯 LLM 智能体有 69% 的概率选择弃票——太保守了。训练后的智能体大幅降低了弃票概率，学会了识别并投票淘汰伪装预言家的狼人。

三个场景都清楚表明：RL 策略学会了比纯 LLM 更优的决策，内在偏置被有效克服。

循环赛与人类评测：全面超越现有方法

循环赛。 研究者选了四个基线方法参与 5×5 循环赛：ReAct（直接让 LLM 推理并行动）、ReCon（换位思考式推理，原设计用于 Avalon 游戏）、Concurrent（基于信息检索和经验反思的狼人杀智能体）、Atomic（预定义 13 种原子动作，RL 选择后再让 LLM 生成具体语言）。

结果很清晰：无论作为村民方还是狼人方，策略语言智能体都取得了最高胜率。值得注意的是，同样结合了 LLM 和 RL 的 Atomic 智能体表现明显不如本方法——因为 13 种预定义的原子动作很难覆盖狼人赛中需要灵活表达的微妙意图（比如队友被指控时，你是辩护、回避还是反水？这些细微策略不是「指控玩家 X」「声称自己是预言家」能概括的）。

人类评测。 研究者招募了 160 名人类玩家进行两组实验。第一组：1 个人类或 1 个 AI 与 6 个策略语言智能体同局；第二组：1 个 AI 或 1 个人类与 6 个人类玩家同局。

胜率	纯LLM智能体	本文方法	人类
作为村民（6个AI队友）	25%	30%	28%
作为狼人（6个AI队友）	61%	70%	67%
作为村民（6个人类队友）	29%	36%	38%
作为狼人（6个人类队友）	54%	67%	66%

与 6 个 AI 对局时，策略语言智能体的胜率甚至略高于人类玩家。与 6 个人类对局时，智能体的胜率与人类基本持平（村民 36% vs 38%，狼人 67% vs 66%）。关键的是，RL 策略从未见过人类玩家——它在纯 AI 对局中训练，却能零样本地适应与真人的合作和对抗。

消融实验：每个模块都在贡献

研究者逐步移除三个核心模块，观察性能变化：

方法	村民胜率	狼人胜率
完整方法	30%	70%
- RL 策略（用 LLM 选动作）	23%	61%
- 多样化生成（只生成一个动作）	22%	61%
- 身份推理（直接用原始观测）	16%	54%

一个有趣的发现：移除 RL 策略后（用 LLM 自己从候选中选动作），性能与完全移除多样化生成几乎一样。这说明生成多个候选动作本身并不能解决问题——LLM 在选择时仍然受到内在偏置的影响。只有 RL 策略才能真正做到无偏的动作选择。

在身份推理的消融中，移除可信度评分（Reliability）影响最大，移除证据引用（Evidence）影响最小，说明让 LLM 评估每个玩家「说的话可不可信」是推理模块中最关键的能力。

另外，基于种群的训练相比纯自我博弈，村民胜率从 26% 提升到 30%，狼人胜率从 66% 提升到 70%，验证了多样化对手池对策略鲁棒性的重要性。

RL 策略的可迁移性

一个值得关注的结果：在 gpt-3.5-turbo 上训练的 RL 策略，可以直接零样本迁移到 GPT-4、LLaMA-7B、ChatGLM-6B 上并提升所有这些模型的胜率。甚至在 GPT-4 上，加入 RL 策略后胜率从 23% 提升到 35%。

这是因为 RL 策略与 LLM 之间通过自然语言交互——只要 LLM 能生成一组候选动作文本，RL 策略就能从中选择。模型换了一个，决策优化器不需要变。

策略还能迁移到不同人数的狼人杀配置：6 人局和 8 人局中，使用 7 人局训练的策略仍然能提升胜率。

涌现行为：从伪装到牺牲队友

除了定量的胜率数据，研究者还观察到了一些有趣的策略行为，这些行为并非显式编程，而是从训练中自然涌现。

伪装（Concealment）。 预言家在信息不足时选择隐藏身份，只用模糊的话语鼓励讨论：「注意到谁太急于指控或太急于辩护，让我们讨论一下。」狼人在队友被指控时放弃投票，避免暴露与队友的关系。

合作（Cooperation）。 医生识别出预言家后，选择保护预言家而非保护自己——这在个人生存与团队胜利之间做出了正确的权衡。

虚张声势（Bluffing）。 狼人观察到无人声称预言家，且自己是最后一个发言者，于是冒充预言家指控无辜玩家。时机选择精准：没人能反驳他的声明，因为在他之后没有人再发言了。

牺牲（Sacrificing）。 这可能是最高阶的策略行为。当狼人队友被预言家识破、即将被投票出局时，另一个狼人选择投票淘汰自己的队友。短看是损失，长看是保全自己、维持伪装。

总结

这项工作的核心贡献可以概括为三点：

第一，揭示并验证了纯 LLM 智能体在策略决策中的「内在偏置」问题——推理可以正确，但动作选择会偏离最优。

第二，提出了一个将 LLM 的语言能力与 RL 的决策优化能力解耦的框架：LLM 负责推理和生成多样化候选，RL 策略负责从中选择最优动作。两者通过自然语言接口连接，互不干扰。

第三，证明了这种方法在需要欺骗和反欺骗的复杂语言博弈中可以匹敌人类玩家，且 RL 策略具备跨模型、跨配置的零样本迁移能力。

未来，如何将这一框架扩展到更广泛的策略性语言交互场景（如谈判、辩论、合作解谜），以及如何应对更复杂的人类欺骗行为，仍是值得进一步探索的方向。