Paper Reading: MARL 1

VDN（Value-Decomposition Networks）针对合作任务只有一个团队回报、而每个智能体只能看到局部历史的问题。直接把所有观测和动作拼成一个中央 Q 网络会遭遇组合爆炸；独立学习又会把队友的探索误认为环境噪声，甚至出现“lazy agent”——一个智能体承担几乎全部工作，另一个因为尝试动作会降低团队回报而学会不行动。VDN 的出发点是仍然使用团队回报，但把信用分配交给一个可学习的价值分解。

方法用每个智能体的循环 Q 网络产生 Qi(τi, ai)，再以简单加法构成 Qtot = Σi Qi。训练时用完整团队转移和总回报反向传播，隐式地学习每个局部 Q 的贡献；执行时只需每个智能体独立选择 argmax Qi，因为加法保证局部贪心与联合贪心一致。论文还将 LSTM、多步 TD、dueling 结构与参数共享、角色信息和低/高层通信作为可组合增强，而不是把额外奖励手工写给某个智能体。

实验是在部分可观测的二维协作迷宫中进行：两个智能体分别测试 Switch（狭窄通道换位）、Fetch（交替取物并送回）和 Checkers（不同奖励敏感度的苹果/柠檬）等七个任务，每种设置用多个随机种子比较独立学习者和中央控制器。价值分解在归一化学习曲线和最终回报上都明显优于这两类基线；在 Fetch 中，网络学出的两个局部 Q 会分别提前响应取物和交付事件，说明它确实从单一团队回报中形成了有意义的信用分配。共享权重与角色标识能缓解惰性问题，低层通信在需要互相观察的 Checkers 上也有帮助。

局限是加法分解的表达能力很窄，无法描述一个智能体动作价值随队友动作改变的非单调协同；论文的任务规模主要是二智能体小型网格，尚未证明大规模或连续控制下的可扩展性。局部 Q 也不是唯一或可解释的因果贡献，换一种等价分解可能得到不同的数值。代表图可选论文中展示 Fetch 的团队 Q 与两个局部 Q 曲线的 Figure 6。

QMIX 解决的是 VDN 的加法限制与独立学习的非平稳性。实际系统可以在训练阶段访问全局状态，但部署时每个单位只能根据自己的观测历史行动；如果直接学习联合 Q，动作数量会随智能体数指数增长。论文提出用一个状态条件的混合器把局部价值组合起来，并通过结构约束让中央和局部决策严格一致。

每个智能体由 DRQN 根据局部观测、上一步动作和隐藏状态输出 Qi(τi, ai)。混合网络以这些标量和全局状态为输入，权重由 hypernetwork 从状态生成，并对权重取绝对值，使 ∂Qtot/∂Qi ≥ 0。因此联合最大化可以分解为每个智能体独立的 argmax Qi；全局状态只在训练时用于混合器，不会泄露到执行端。相较 VDN，非线性混合器能表达更丰富的状态依赖关系，同时保留线性复杂度的 TD 目标计算。

主要评测是 StarCraft II Learning Environment 的分散微操任务，包含 5 Marines、2 Stalkers/3 Zealots 等六张地图，并比较 IQL、VDN、COMA 等方法。QMIX 在 easy、hard 任务上通常达到更高且更稳定的胜率，尤其在需要集火、风筝或异构单位协作的地图上优于 VDN 和 IQL；消融显示状态条件权重、循环记忆和非线性混合都重要。论文把 SMAC 作为后续 MARL 价值分解工作的标准基线。

局限是单调性仍是充分条件而非所有可分解任务的必要条件：若一个智能体对某动作的排序依赖队友同一步动作，QMIX 可能无法表示最优 Q，训练还会受探索分布影响。混合器需要训练期全局状态，现实部署若无法收集该状态仍需额外设计；SMAC 的固定单位和规则敌人也不能代表通信受限、连续动作或真实机器人。代表图可选论文 Figure 1 的 SMAC 地图与 Figure 3/4 的胜率曲线。

Qatten 观察到 VDN 的加法和 QMIX 的黑盒单调混合都没有明确说明“某个智能体在当前状态有多重要”。论文先从联合 Q 对局部 Q 的隐式函数关系出发，推导在最优动作附近的展开：各阶交互项可以近似为带状态相关系数的局部 Q 加权和。这个视角既保留了可分散最大化，又为 agent-level credit assignment 提供了可解释接口。

实际网络由每个智能体的 GRU Q 网络和多头 attention mixer 组成。全局状态嵌入作为 query，各智能体位置、单位类型或其他个体特征作为 key，softmax 相似度得到 λi,h，每个 head 对局部 Qi 做加权求和，再加上由状态产生的偏置；可选的 weighted-head 版本再用非负状态权重组合各头。由于所有权重非负，Qtot 对每个 Qi 单调，IGM 成立，训练时可高效求下一步联合最大值，执行时仍只需局部贪心。

作者在 SMAC 的 easy、hard 和 super-hard 场景上用与 QMIX 相同的训练计划比较 VDN、QMIX、QTRAN、COMA 和独立学习。easy 地图上 Qatten 与 QMIX 相当（例如 2s3z、3s5z、1c3s5z 的中位胜率约 94–97%）；在 bane_vs_bane、2c_vs_64zg 等 hard 地图上训练更稳定，在超难 MMM2 中能学会让 Medivac 吸收伤害后撤退的策略，而其他方法常失败；在 3s5z_vs_3s6z 中约两百万步后仍能取得约 16% 胜率。注意力可视化显示模型会把权重集中到关键的 Baneling 等单位。

它的表达能力仍受正权重单调约束，理论展开只在局部最优附近严格成立，多头数和嵌入设计也会影响训练稳定性。注意力权重是相关性而非因果贡献，不能自动解决长期信用分配；实验集中在离散 SMAC，尚未覆盖连续动作、动态通信和真实系统。代表图可选论文 Figure 1 的 Qatten 架构或 Figure 2 的 hard/super-hard 胜率图。

QTRAN 针对一个核心表达问题：VDN 和 QMIX 只覆盖满足加法或单调条件的任务，但很多协作行为是非单调的，例如一个智能体单独追捕会受罚，必须等队友同时到位。论文用 Individual-Global-Max（IGM）描述真正需要的条件——联合最优动作等于各局部 Q 的贪心动作——并指出加法、单调性只是过强的充分条件。

QTRAN 学习三个相互连接的网络：联合动作价值 Qjt(τ, u)、每个智能体的局部 Qi(τi, ui)，以及只依赖联合历史的状态值 Vjt(τ)。它将联合 Q 转换为 Q'jt = Σi Qi，再由 Vjt 修正，使最优联合动作处的等式成立、其他动作满足不等式约束。QTRAN-base 和 QTRAN-alt 对非最优动作的变换与损失不同；实践中用惩罚项软化约束，以避免枚举整个联合动作空间，并在执行时丢弃联合网络，只保留局部 Q。

实验包括非单调的矩阵博弈、多域 Gaussian Squeeze（十个智能体分配资源）和带单独捕获惩罚的 modified Predator-Prey。VDN/QMIX 在多峰或强惩罚设置常收敛到“逃跑/低回报”局部最优；QTRAN 能更快找到合作策略，尤其当惩罚增大或智能体数从 2 增至 4 时优势扩大。QTRAN-alt 通常比 base 更稳定，在四捕食者、高惩罚设置仍能获得正回报，而 base 可能直到训练结束都未收敛。

局限是理论上的 IGM 约束在深度实现中只能用软正则近似，联合 Q、状态值和局部网络的损失相互竞争，导致 SMAC 等复杂任务上训练不稳定；论文后续工作也显示 QTRAN 在许多 SMAC 地图不如 QMIX。非最优联合动作的约束计算仍可能昂贵，部分可观测下的状态值也会受估计偏差影响。代表图可选论文 Figure 1 的 QTRAN-base/alt 三网络结构和 Figure 4 的 Predator-Prey 曲线。

QPLEX 试图在可扩展性与表达能力之间取得比 QMIX、QTRAN 更稳的折中。IGM 只要求联合动作选择和局部贪心一致，并不要求 Q 值本身单调；QTRAN/WQMIX 通过软惩罚或加权投影近似这一条件，复杂任务中可能违反 IGM。QPLEX 的关键观察是，dueling Q 的状态值不影响动作选择，真正需要约束的是 advantage 的相对大小。

网络先对每个局部 Q 做 Qi = Vi + Ai，Transformation 模块利用全局状态或联合历史以正权重变换局部值；Dueling Mixing 再以 Vtot = ΣVi 和 Atot = Σi λi(τ,a) Ai 构造联合 Q，其中 λi > 0 由多头注意力生成。正权重和优势范围约束保证局部与联合最大动作一致，且论文证明这种 duplex dueling 架构具有完整 IGM 表达能力。执行端移除 mixer，只运行各自的循环 Q 网络。

作者先在带严重错配惩罚的矩阵博弈和 two-state MMDP 验证表达能力与训练稳定性，再在 SMAC 的 14 个标准场景加 3 个超难场景比较 QTRAN、QMIX、VDN、Qatten 和两种 Weighted QMIX。QPLEX 在矩阵任务中能避开 VDN/QMIX 的局部最优，在 two-state MMDP 不出现基线的 Q 值发散；在线 SMAC 平均胜率和样本效率整体领先，最多在 17 张地图中的 8 张达到最佳，5s10z 等超难图相对基线有超过 30 个百分点的胜率差。离线数据设置中也能直接利用固定数据集而无需额外在线探索。

局限是完整 IGM 只针对可分解的合作任务，无法解决本身不可分解或观测不足导致的冲突；注意力权重网络的容量、头数和正值参数化会影响优化，模型仍需训练期全局状态。论文主要在离散 StarCraft 微操上验证，离线数据覆盖和分布外动作的安全性仍需更多研究。代表图可选 Figure 1 的 duplex dueling 架构或 Figure 4 的 17 张 SMAC 地图汇总。

Residual Q-Networks（RQN）关注价值分解方法在复杂环境中的不稳定和信用分配。VDN、QMIX、QTRAN、QPLEX 都可能因结构限制或相对过度泛化而在训练后期掉回低回报；而完全依赖全局状态的 mixer 在某些现实设置也不可用。RQN 的思路不是再设计一个永久的 mixer，而是学习每个智能体一条 Q 值轨迹的相对重要性，暂时把有希望的历史放大，帮助局部网络形成正确分解。

对每个 agent 的局部 Q，辅助网络接收当前输入和 episode 轨迹摘要，输出 residual/估计因子，构造 Q+i = Qi + H(Qi)（论文给出的形式是对 Q 轨迹做非线性变换）。训练目标仍遵循 IGM，使局部贪心可组合；当各 agent 已达到训练目标、轨迹不再需要校正时，残差因子趋于稳定，辅助网络不再改变主 Q，这就是“self-depreciation”。该机制不要求额外全局状态，主要通过 replay buffer 中的轨迹改善信用分配与稳定性。

实验在四类矩阵/网格环境（Switch、Checkers、Predator-Prey 2/4、Combat）以及 SMAC 的 8m、3s5z、3s5z_vs_3s6z 上比较 VDN、QMIX、QTRAN-base、QPLEX 和 Weighted QMIX。RQN 在 Switch、Checkers 和高惩罚/多捕食者任务中更快达到高回报并保持较小振荡；在 Predator-Prey 4 里能避免 VDN/QMIX 的后期性能坠落，在没有完整状态信息的设置优势尤其明显。SMAC 上多数方法都能解决较易地图，RQN 具有竞争力，但在 Combat 等高度延迟的场景并非始终最好。

局限是论文的理论条件和残差形式依赖轨迹分布，辅助网络增加了超参数、记忆和训练成本；“达到目标后自动过时”并不等于严格的收敛证明。实验随机种子较少、SMAC 地图有限，尚未与更大规模 agent 或连续动作系统系统比较。代表图可选 Figure 1 的 CTDE/RQN 示意和 Figure 7/8 的残差因子随训练变化图。

GraphMIX 认为 QMIX/VDN 的 mixer 把团队看成无结构的向量，难以表达“谁应该关注谁”。在多智能体微操、交通或机器人编队中，智能体之间的关系随观测和动作变化，且不同 agent 对当前团队回报的贡献不等。论文用完整有向图表示团队，让注意力学习边权，再把图消息传递用于价值分解和信用分配，同时保持集中训练、分散执行。

每个节点先接收一个局部 Qi(τi, ai) 标量，边权由各 DRQN 隐状态的 query/key 注意力得到。多层 mixing GNN 用非负、单调的组合函数聚合邻居，图读出得到 Qtot(s,a)；非负约束保证 IGM，执行时各 agent 仍可独立贪心。节点最终嵌入还经 softmax 映射为有效的局部回报比例 αi，额外的 local TD loss 沿捷径更新局部 Q，和全局 TD loss 一起端到端训练。论文也展示了与 RODE 的组合，让角色层和动作层共用图信用分配。

评测在 SMAC 的 9 张 hard/super-hard 地图进行，训练 2M 步（四张超难地图延长至 5M），比较 QMIX、OW-QMIX、RODE。GraphMIX 在 6h_vs_8z、corridor、27m_vs_30m、bane_vs_bane 等图明显超过 QMIX，并在多张地图超过 Weighted QMIX；RODE+GraphMIX 在 6h_vs_8z、MMM2、3s5z_vs_3s6z 达到更高的最佳胜率。消融表明 local loss 对部分超难图有帮助，单独使用完整图结构并不能替代有效的 action/role 分解。

局限是图仍假设所有智能体两两相连，边数和 GNN 计算随 agent 数平方增长；单调消息传递限制了非单调协作的表达。softmax 边权和局部回报比例是训练信号，不是可验证的因果贡献；实验依赖 SMAC 的全局状态和规则敌人，真实通信、动态图拓扑和连续控制尚未验证。代表图可选 Figure 1 的 GraphMIX 架构及 Figure 2 的九张 SMAC 胜率对比。

Weighted QMIX 从一个反直觉现象出发：即使拥有真实最优 Q*，QMIX 把所有联合动作等权投影到单调函数类，也可能把最优动作的值压低，最终选错策略。问题不是单纯探索不足，而是表示类之外的 Q 值在均方误差下被平均拟合。作者因此把优化重点转向真正影响贪心策略的高价值动作。

论文先在表格情形形式化 QMIX 的“Bellman 更新后投影”算子，再引入加权投影。Centrally-Weighted（CW）QMIX 用一个不受单调约束的集中 Q 估计权重，Optimistically-Weighted（OW）QMIX 用乐观的高值判别强调接近最优的联合动作；二者都保留一个可分散的单调 Qtot，并由 unrestricted Q̂* 提供投影目标。理论上合适的权重能恢复任意联合 Q 的最大动作，且执行端仍只需局部 Q。

实验包括带非单调回报的 Predator-Prey 和 SMAC 多张地图。普通 QMIX 在 Predator-Prey 因单独捕获惩罚而无法获得正回报，QPLEX 也可能失败；CW/OW-QMIX 能较快学到合作捕获策略。把 epsilon 探索从 50K 步延长到 1M 步后，两个 Weighted 变体在 3s5z、5m_vs_6m 等地图仍显著超过 QMIX，并在 bane_vs_bane 对探索率更鲁棒；不过 3s5z_vs_3s6z 等超难图显示额外探索和 unrestricted 网络有时会伤害性能。

局限是加权方案依赖启发式权重和一个额外集中 Q，后者的架构错误会造成回归；理论保证主要针对理想表格投影，深度网络和有限 replay 下不一定成立。它仍继承 QMIX 的单调执行约束，也需要训练期全局状态。代表图可选 Figure 2 的 Predator-Prey 曲线和 Figure 3–5 的不同探索率 SMAC 对比。

MAVEN 研究的是 CTDE 中经常被低估的探索问题。QMIX 等价值分解方法的 epsilon-greedy 只在每一步独立扰动，无法在需要长时间协同的任务中持续尝试一条完整策略；而单调表示限制又会把探索推向容易得到但次优的行为。作者希望让多智能体像层次策略一样“承诺”一个 episode 级的探索模式，同时不破坏分散执行。

方法引入共享离散潜变量 z。高层策略根据全局状态采样 z，每个局部价值网络以自己的历史和同一个 z 为条件，因此固定 z 时会形成一个持续整局的联合行为模式。训练目标加入轨迹与 z 之间的互信息最大化，使不同潜变量产生可区分的行为；底层仍使用 QMIX 风格的单调 mixer 和 epsilon-greedy。潜变量只在 episode 开始或高层决策时改变，带来 committed、temporally extended exploration。

作者在矩阵游戏、专门设计的 2-corridors（训练中途封闭短通道）和 SMAC 的 easy/hard/super-hard 地图上比较 QMIX、QTRAN、COMA、IQL。MAVEN 在 corridor、6h_vs_8z 等超难图显著高于基线，easy/hard 图性能至少不逊于 QMIX；短通道突然关闭后，QMIX 无法恢复，MAVEN 会切换到长通道并重新获得胜率。消融显示只用均匀潜变量或去掉互信息会减少轨迹多样性，说明高层策略和多样性奖励缺一不可。

局限是潜变量空间大小、互信息系数和高层策略都需要调参，离散模式数量增大还会分摊训练预算；它仍依赖价值分解的局部 Q 和 SMAC 式全局状态。持续潜变量适合阶段性策略，但不一定适合需要逐步细粒度适应的任务。代表图可选 Figure 1 的层次潜变量示意或 Figure 4/5 的超难 SMAC 与通道切换结果。

HAPPO 针对把单智能体 PPO/TRPO 直接复制到 MARL 时的理论漏洞：即使每个 agent 的局部更新都朝着正优势方向，多个更新叠加后联合回报仍可能下降。现有 MAPPO/IPPO 通常共享参数，适合同构单位却限制动作空间不同的团队，也没有严格的单调改进证明。论文的目标是在不假设 Q 函数可分解的前提下，为异构 cooperative MARL 建立 trust-region policy iteration。

核心是 multi-agent advantage decomposition lemma：给定任意 agent 顺序，联合优势可写成按顺序条件化的局部优势之和。于是每次随机打乱顺序，只更新一个 agent，并让它在前面 agent 的新策略条件下优化自己的 TRPO/PPO surrogate；其余 agent 暂时固定。HATRPO 使用 KL 约束，HAPPO 用 clipped ratio 近似，二者都不要求参数共享。理论上这种 sequential update 对每次迭代保持联合性能不下降，并在适当条件下收敛到 Nash equilibrium。

实验覆盖 SMAC 的两个 hard 和一个 super-hard 地图，以及把机器人不同身体部件当作 agent 的 Multi-Agent MuJoCo（Ant、HalfCheetah 等多种异构划分）。SMAC 上参数共享的 MAPPO/IPPO 很强、很多地图都能 100% 胜，因此区分度有限；MuJoCo 上 HATRPO/HAPPO 在 agent 数增加时仍超过 IPPO、MAPPO 和非共享 MADDPG，HATRPO 通常回报更高、方差更小。作者还用 r(a1,a2)=a1a2 的单状态例子展示并行更新可能降回报，而顺序更新能改进。

局限是 on-policy rollout 和逐 agent 更新带来较高样本与墙钟成本，HAPPO 不能像 MAT 那样并行更新；顺序随机化、KL/PPO clip 和共享 critic 的实现细节会影响稳定性。单调改进定理依赖有限信赖域、准确优势估计等假设，现实中的函数逼近和截断仍可能违背保证。代表图可选 Figure 1 的双智能体更新反例和 Figure 3 的 Multi-Agent MuJoCo 曲线。

MAT（Multi-Agent Transformer）把“多个 agent 同时决策”重新表述为“按一个任意顺序生成 agent 动作序列”。出发点是 HAPPO 使用的优势分解定理：前面 agent 的动作被条件化后，后续局部优势之和等于联合优势，因而可以安全地做序列化策略搜索。这样能利用 Transformer 的长程建模和可变序列长度，而不是给每个 agent 互相独立的策略。

模型由 encoder-decoder 组成。Encoder 读取全局状态和所有 agent 的观测/历史，self-attention 建立 agent 间关系；decoder 以一个随机排列为顺序，使用 causal mask 自回归地产生每个 agent 的动作分布，训练时用 teacher forcing 将真实前序动作批量输入，所以不同 agent 的梯度仍可并行计算。PPO-style clipped objective 在顺序优势的条件下更新，作者证明其联合策略继承单调改进；MAT-Dec 则用独立 actor 作为 CTDE 对照。相较 HAPPO 的逐 agent 反复优化，Transformer 将复杂度从随 agent 数乘法增长降为线性。

评测覆盖 SMAC、Multi-Agent MuJoCo、Bi-DexHands 双手灵巧操作和 Google Research Football。MAT 在多数 MuJoCo、Bi-DexHands 和 GRF 任务上超过 MAPPO/HAPPO，SMAC 同构单位上 MAPPO 的参数共享很强但 MAT 仍保持竞争力。预训练后在 6 个未见 SMAC 地图和不同故障关节的 HalfCheetah 上做零样本/1–10% few-shot 微调，MAT 的迁移胜率和回报普遍高于从头训练及 MAPPO；例如 8m、2s vs 1sc 等任务只用少量新数据即可恢复高胜率。

局限是 decoder 的自回归推理仍需要按 agent 顺序生成动作，实时性会受团队规模影响；固定/随机顺序是否最优也尚未解决。Transformer 的 encoder 依赖训练期全局状态和较大显存，few-shot 结论主要来自模拟器，真实异构机器人和长期非平稳任务还需验证。代表图可选 Figure 2 的 encoder-decoder 结构、Figure 4 的 MuJoCo/Bi-DexHands 对比或 Figure 5 的足球结果。

RODE（Learning Roles to Decompose Multi-Agent Tasks）针对联合动作空间随 agent 数指数增长、探索难度高的问题。人类往往先分工再行动，但手工预设角色需要任务先验且难以迁移；从零学习角色又几乎等价于直接在完整联合空间探索。RODE 的关键是先按动作的功能效果划分动作空间，让角色发现变成一个更小的搜索问题。

作者训练一个 forward/predictive action encoder，根据当前观测、其他 agent 动作预测下一观测和团队回报，使具有相似影响的动作在潜空间靠近；再用 k-means 将动作聚成若干 role action spaces。高层 role selector 每 c 步为 agent 选择一个 role，使用其动作表示的平均向量和 QMIX mixer 学习低频协调；低层 role policy 只在该 role 的受限动作集合中选择 primitive action，并以动作表示作为查询。两层都采用共享 GRU 和 CTDE，因而同时缩短时间跨度和动作/观测维度。

在 SMAC 全部 14 张地图上，RODE 经过 8 个随机种子比较 VDN、QMIX、QPLEX、ROMA、HSD，在 10/14 张地图达到最高中位胜率，且 9 张 hard/super-hard 全部领先；动作表示会把同类敌人的攻击和相近方向移动聚成可解释簇。消融显示，真正决定收益的是“按效果限制 role action space”，随机子集或保留完整动作空间会接近 QMIX；在 transfer 实验中，从 6 Zealots vs 24 Zerglings 学到的策略无需新策略训练，在最多三倍 agent 数的未见地图仍可获得约 50% 胜率。

局限是动作聚类依赖短期 forward model 和 k-means，环境效果非平稳或连续动作时簇可能失真；role 间边界、更新间隔 c 和簇数需要调参。低层仍使用 QMIX 式单调 mixer，不能表达所有非单调协同；迁移实验固定了观测排序和 SMAC 单位，真实机器人和动态角色切换尚未覆盖。代表图可选 Figure 1 的双层 RODE 架构、Figure 2 的动作表示聚类或 Figure 3 的超难 SMAC 曲线。

EMC（Episodic Multi-agent RL with Curiosity-driven Exploration）认为 MARL 探索不能简单照搬单智能体的全局 curiosity 或局部 novelty。全局状态空间随 agent 数指数增长，局部观测又看不到队友，二者都可能在需要同时到达/集火的任务中走偏。价值分解网络中的局部 Qi 是由全局 TD 梯度训练出的历史嵌入，既压缩了局部状态，又隐式携带队友影响，因此其动态变化可以作为协作相关的新颖性信号。

EMC 在每个 agent 的 Q 网络旁训练预测器，以预测目标 Qi；预测误差作为 intrinsic reward，驱动 agent 访问尚未稳定、且可能包含高价值交互的历史。与简单 epsilon-greedy 相比，这种 curiosity 不需要显式枚举联合状态。为利用探索中偶然发现的成功轨迹，算法维护按全局状态 embedding 索引的 episodic memory，记录从该状态得到的最高回报，并将 memory TD target 与常规 TD loss 加权，促使价值网络快速回放和巩固这些轨迹。EMC 可插入 VDN、QMIX 或 QPLEX 等 mixer。

在需要同步到达目标的 11×12 网格示例中，惩罚 p=2 时，EMC-QPLEX 能找到最优协作策略，而 global/local curiosity 和普通 QPLEX 失败；在 Predator-Prey 中，EMC-VDN/QMIX/QPLEX 都能跳出误捕惩罚造成的局部最优。SMAC 的 17 张地图（14 个标准加 3 个超难）上，EMC 在 corridor、3s5z_vs_3s6z 等图达到当时最佳或并列最佳，最多 6 张图领先，且在 1c3s8z_vs_1c3s9z、5s10z、7s7z 上收敛速度明显更快。消融显示超难探索图需要 curiosity，而 episodic memory 负责把发现的好轨迹稳定保留下来。

局限是预测误差会随 Q 网络本身更新而变化，可能把模型不确定性或表示漂移误当新颖性；memory 的状态 embedding、容量和回报阈值也需调节。全局状态只在训练期可用，稀疏奖励之外的安全/多目标偏好没有建模；SMAC 的规则敌人不能代表真实非平稳协作者。代表图可选 Figure 1 的 CTDE curiosity 示意、Figure 4 的三种 visitation heatmap 或 Figure 7 的超难地图结果。

EMU（Efficient episodic Memory Utilization）延续 episodic control 加速 MARL 的想法，但指出随机投影有两个问题：语义相近的全局状态未必在 embedding 中相近，窄距离阈值只能召回几乎相同的状态；若早期记到的是局部最优，反复利用记忆反而会阻止探索。论文因此同时改进“记忆怎样表示”和“记忆怎样施加奖励”。

首先用带 timestep 条件的 encoder/decoder 学习全局状态的语义 embedding：decoder 预测该状态记忆中的最高回报，并通过 deterministic conditional autoencoder 额外重建状态，使相似回报和相似任务进度形成平滑空间。其次为每条记忆标注 desirability（例如 SMAC 击败全部敌人、GRF 进球），只对通往 desirable next state 的转移加 episodic incentive。该奖励按记忆中 desirable 轨迹比例和目标网络估计的价值差构造，论文证明其 TD 梯度在策略趋于最优时逼近真实最优梯度；EMU 可插在 QPLEX、CDS 等任意 MARL 框架上。

实验在 SMAC 的 easy/hard/super-hard 地图（包括 MMM2、6h_vs_8z、3s5z_vs_3s6z）和 Google Research Football 上比较 QPLEX、EMC、QMIX、CDS 及其 EMU 版本。EMU(QPLEX) 与 EMU(CDS) 通常更快到达最优策略，超难图的多随机种子方差明显小于传统 episodic control；GRF 中也能在早期利用语义相似记忆找到胜球策略。去掉 episodic incentive 后会出现局部收敛和大幅 seed 波动，去掉 dCAE 后可召回的语义邻居减少，验证两个组件互补。

局限是 embedding 网络需要持续更新并同步重映射记忆，带来额外计算和存储；desirability 阈值通常依赖任务是否有清晰的成功回报，复杂多目标任务难以二值化。激励设计仍依赖全局状态和近似计数，策略早期的错误高回报记忆可能污染训练。评测主要是离散模拟环境，真实机器人、视觉状态和长期变化的任务尚未证明。代表图可选 Figure 1 的 EMU 总体结构和 Figure 2 的随机投影/EmbNet/dCAE t-SNE。

这篇工作从表示而非损失函数入手处理 MARL 的维度诅咒。SMAC、足球和 MPE 的观测常是实体集合：把队友/敌人按任意顺序拼接并不会改变信息，但普通 MLP 会把每种排列当成不同样本；同时“攻击哪个敌人”“把球传给哪个队友”等动作又应随对应实体一起置换。论文把前者形式化为 permutation invariance（PI），后者形式化为 permutation equivariance（PE），目标是在不改变主干网络的情况下消除这些冗余排列。

DPN（Dynamic Permutation Network）在输入层为每个实体用 module-selection network 选择对应模块，再求和得到 PI 表示；输出层用另一组选择器把同一实体映射到同一 action module，从而保证 PE。HPN（Hyper Policy Network）进一步让 hypernetwork 直接根据实体特征生成输入/输出模块参数，不受固定模块数量限制，提升表示能力。两者只改 policy/Q 网络的输入和输出层，主干可替换为 QMIX、VDN、MAPPO、QPLEX 或 MADDPG，并以端到端 RL loss 训练。

在 SMAC 的 hard/super-hard 场景，HPN-QMIX 相比 fine-tuned QMIX 在几乎所有地图达到 100% 胜率；在 5m_vs_6m 达到相同 80% 胜率所需环境步数，HPN-VDN/HPN-QMIX 可减少约 14 倍。比较 PI/PE 基线时，性能顺序大致为 HPN > DPN ≥ UPDeT ≥ ASN > QMIX > GNN/Deep Set/数据增强，显示共享 embedding 虽保证 PI 但容量不足。将 HPN 插入 MAPPO/QPLEX 也能稳定提升；MPE 的 cooperative navigation 和 predator-prey 进一步验证只需 PI 的场景。

局限是 HPN 为每个实体生成参数，显存和计算开销可能随实体数增长，且仍要求正确识别实体类型与动作对应关系；若实体本身有身份、顺序或拓扑语义，强行 PI/PE 会损失信息。实验主要使用规则化的实体特征和模拟环境，动态加入/删除实体、遮挡、连续动作和真实通信尚未充分测试。代表图可选 Figure 1 的 SMAC 排列示意、Figure 4 的 HPN 架构或 Figure 6 的 PI/PE 基线比较。