SuperAPI AI 工具集

perfguard-performance-aware-agent-visual

智能体与模型

查看项目

更新于 10-16 01:34

技能介绍

用途:该技能用于构建面向 AI 生成视觉内容的多工具编排系统,把任务路由到多个图像生成或编辑模型(如 FLUX、SDXL、DALL-E、Midjourney API),依据实测性能边界而非通用描述进行选择。

主要能力:实现 PerfGuard 的三个机制。PASM(性能感知选择建模)为每个工具在细粒度能力维度上建立 0.0-1.0 评分指纹,文本生成维度包括 color、shape、texture、2d_spatial、3d_spatial、numeracy、non_spatial,图像编辑维度包括 addition、removal、replacement、attribute_alter、motion_change、style_transfer、background_change。选择时按任务权重与工具评分做加权点积排序,取 top-N 候选并行执行。APU(自适应偏好更新)在执行后对比预测排名与实际质量排名,用指数移动平均修正评分。CAPO(能力对齐规划优化)把更新后的评分反馈给规划器,避免生成无工具可可靠处理的子任务。结果评估采用多维质量打分(对象数量、位置、属性、风格、背景、语义对齐),三级制 L1=1.0、L2=0.66、L3=0.33,复合分低于阈值(默认 0.8)时重规划并换工具重试,最多 5 轮。

使用方式:先为领域定义能力维度,建立带初始评分的工具注册表(如 JSON 字典);实现任务分析器提取任务类型、目标对象、空间关系、风格要求;从任务计算维度权重;调用 select_tool 计算偏好加权排名;执行后由 evaluator 评分,再由 updater 按 APU 更新;把完成任务记录为经验(含 CLIP 嵌入)供检索;规划时用更新后的评分做 CAPO 对齐分解。

适用场景:多模型图像生成路由、按子任务选择最佳工具、生成图像质量评估系统、随时间自我改进的智能体、带回退重试的视觉生成管线、把复杂视觉任务分解到工具强项。

限制:评估依赖能力足够的视觉语言模型(GPT-4V 级或更强),否则 APU 无法运行;初始评分需人工基准测试,冷启动均匀评分效果差;维度体系为领域特定,未必直接迁移到视频、3D 或音频;PASM 独立评分工具,不建模工具间交互;每步 VLM 评估增加端到端延迟。论文为 PerfGuard: A Performance-Aware Agent for Visual Content Generation (ICLR 2026),代码位于 github.com/FelixChan9527/PerfGuard。