SuperAPI AI 工具集

agentic-eval

智能体与模型

查看项目

更新于 10-15 21:52

技能介绍

用途:agentic-eval 提供让智能体评估并改进自身输出的模式,把单次生成升级为“生成→评估→批判→改进→输出”的迭代循环,适合代码、报告、分析等对准确性要求高的任务,以及存在明确成功标准或需符合风格、合规、格式规范的内容。

主要能力:一是基础反思,智能体按给定标准自我批判并改进,批判结果用结构化 JSON 输出以便可靠解析;二是评估器-优化器,将生成与评估拆成独立组件,按总分阈值决定是否继续优化;三是代码专用反思,先生成代码与 pytest 测试,再依据测试失败信息迭代修复。评估策略包括结果评估(判断是否达成预期结果)、LLM-as-Judge(比较排序两个输出)和评分量表(按加权维度打分)。

使用方式:资料给出 Python 函数与类示例,如 reflect_and_refine(task, criteria, max_iterations=3)、EvaluatorOptimizer(score_threshold=0.8) 的 generate/evaluate/optimize/run、CodeReflector.reflect_and_fix(spec, max_iterations=3),以及 evaluate_outcome、llm_judge、evaluate_with_rubric 等函数。实施清单建议先定义评估标准或量表、设定“足够好”的分数阈值、配置最大迭代次数(默认 3),再实现生成、评估、优化函数并接好循环,同时加入收敛检测、记录全部迭代日志、优雅处理评估解析失败。

限制:资料未提供具体安装命令、依赖、平台支持、收费或价格信息,暂未提供。示例中的 llm、run_tests、json 等为示意调用,需自行接入实际模型与测试运行环境;迭代上限建议 3-5 次以防死循环,并在分数不再提升时停止。