SuperAPI AI 工具集

rlm-gepa

智能体与模型

查看项目

更新于 10-16 06:42

技能介绍

用途:RLM-GEPA 用带评分的 PredictRLM 真实执行结果,改进可复用文本组件,通常是一个 Skill.instructions 字符串。它不替代 RLM 的初始设计;只有当基础 RLM 已有具体签名、工具、可衡量结果且冒烟路径可用后才开始。不适合一次性回答或通用聊天智能体提示。

结构:系统含两个循环——Executor 循环对训练或验证样本运行候选 RLM,收集输出、RunTrace、分数与反馈;Proposer 循环依据带评分轨迹对声明的可变组件做精准编辑。AgentSpec 控制可迁移行为的改进范围,OptimizeConfig 控制预算、并发、模型与搜索行为,两者分开。

流程:确认适用性并准备可用 PredictRLM、值得优化的文本组件、代表性样本与确定性评分、对不完善输出的具体反馈。审计数据与划分边界,区分 train、validation 与可选 held-out test,避免泄漏,按文档、用户、任务族或来源切分并记录种子。先构建具体 RLM,再用 agent_spec_from_rlm(...) 派生签名与工具,添加至少两个 use_cases、至少三个 runtime_grounding_examples、scoring_description 等。继承 RLMGepaProject 实现 seed_candidate、load_trainset、load_valset、evaluate_example。反馈需非空并指出实际失败面,运行成功需转发 trace 与 evidence;失败时可通过 predict_rlm.evidence.extract_evidence_from_exc 恢复证据。

用法:安装 predict-rlm[gepa]>=0.8.0a0,<0.9 并暴露 CLI。先执行 uv run rlm-gepa optimize --check 校验,再用小预算验证全流程;可用 rlm-gepa eval、optimize、stats、plot 等命令。plot 还需 gepa-viz。优化会写出 run_metadata.json、gepa_state.bin、optimization_summary.json、all_candidates.json、任务与提议者轨迹、cost_log.jsonl。

限制:只优化声明的文本组件,不让 GEPA 改动代码、评估逻辑、数据划分或隐藏答案访问;任务执行与评分尽量确定性;并发的评估应使用共享适配器语义;训练证据、验证选择与留出报告需隔离。