SkillFlow:
Flow-Driven Recursive Skill Evolution
for Agentic Orchestration

01 论文概览

作者团队： Mingda Zhang (CUHK-SZ)、Tiesunlong Shen (NUS)、Haoran Luo & Wenjin Liu & Erik Cambria (NTU)、Zikai Xiao (ZJU)、Xiaoying Tang (CUHK-SZ)。涉及中国三所高校 + 新加坡两所高校。

02 三大痛点

论文精准定位了现有 Agent RL 编排的三个问题：

这三点与你之前在 AutoTTS 和日常工作中看到的痛点高度一致——奖励信号稀疏、多样性损失、人工设计成本高。SkillFlow 的方法比 AutoTTS 更底层（GFlowNets MDP），但二者在"用更好的反馈信号指导 Agent 行为"这一点上殊途同归。

03 核心方法

整体架构

环境设计

SkillFlow 采用 Supervisor-Executor 范式：

• Supervisor π_θ：可训练的 LLM（Qwen3.5-9B LoRA 微调），负责生成推理、选择动作类型（skill/act/accept）和参数
• 动态技能库 S：与策略共同演化，由技能创建者 Ψ 管理
• 冻结执行器 M_exec：不可训练的 LLM 或模拟器，执行原子操作
• 状态 H_t：对话历史严格递增（DAG 结构），H_t = H_t-1 ⊕ (推理, 动作, 执行反馈)

前向策略与后向策略

• 前向策略 P_F：π_θ(a_t | r_t, H_t-1) — 基于当前历史决定下一步动作
• 后向策略 P_φ：P_φ(a_t | H_t-1 ⊕ o_t^exec) — 知道执行结果后逆向评估刚才的选择

关键区别：前向看不到执行反馈，后向看得见——这个信息不对称是信度分配的核心。

04 TTB 损失：替代 GRPO 的流匹配目标

步骤重要性 I(t)：

• I(t) = π_θ(a_t | r_t, H_t-1) / P_φ(a_t | H_t-1 ⊕ o_t^exec)
• |log I(t)| 大 = 知道结果后概率变化大 = 该决策对结果影响大
• 这个指标直接用于下游技能演化——定位关键决策缺口

与 GRPO 的对比：

05 流驱动的递归技能演化

SkillFlow 从流训练信号中回答技能演化的三个核心问题：

06 实验结果

主实验：14 个基准全面碾压

消融实验关键发现

真实演化案例

SkillFlow 自主总结出了人类未显式定义的高阶策略：

• Skill A："宁可选择部分匹配直接购买，也决不要反复退回搜索"
• Skill B："只要手持目标物品且台灯开启即判定成功，无需将两者置于同处"

这些策略极大节省了动作开销，展示了 Agent 在流信号引导下自主涌现的决策智慧。

07 分析解读

为什么 GFlowNets 适合 Agent 编排？

GFlowNets 的核心优势——轨迹采样与奖励成正比——天然契合 Agent 编排场景：

• Agent 执行任务往往有多条路径都能成功（不同工具、不同顺序），不需要只选一条
• 维护策略多样性意味着当一条路径因环境变化失效时，Agent 有备用方案
• 这对你正在做的 auto-research 也适用：搜索超参或策略时，保留多条有效路径比一条最优路径更鲁棒

零成本信度分配的价值

现有的 Agent RL 方案（GRPO、DAPO、VAPO）都需要额外的过程奖励模型（PRM）或蒙特卡洛采样来做信度分配。SkillFlow 的 TTB 在训练时就已经把前向和后向策略对齐了，I(t) = 前向概率 / 后向概率 可以直接当信度信号用，不需要额外模型或额外推理。这对推理成本敏感的部署场景是一个显著优势。

08 批判性分析

09 与 AutoTTS 对比：两种 Agent 优化范式

巧合的是，今天看了两篇论文，一个用 离线搜索，一个用 在线演化，正好构成 Agent 优化的两条路径：