SuperAPI AI 工具集

opik-optimize

智能体与模型

查看项目

更新于 10-16 05:03

技能介绍

用途:依据数据改进一个提示词,最终产出在未参与调优的数据上指标得分优于基线的优化提示词,并给出 Opik 中的运行链接、成本,以及在提示词库中保存为新版本(代码中的提示词只返回优化文本与差异,不改动代码库)。

主要能力:入口为 /opik-optimize <prompt-name>、/opik-optimize <path or function> 或 /opik-optimize(在仓库中查找系统提示词)。可先测量基线,再声明预算后执行;默认数据集来自项目已有数据集、回归套件或轨迹,默认指标为启发式(有 expected_output 时)或单个二元评判器,默认算法 MetaPromptOptimizer,默认预算 n_samples=50、max_trials=10,默认留出 20% 验证集。算法可按故障类型选择,例如 FewShotBayesianOptimizer、HierarchicalReflectiveOptimizer、EvolutionaryOptimizer、GepaOptimizer 或 ParameterOptimizer.optimize_parameter。

使用方式:在临时环境安装 uv add opik-optimizer(或 pip install opik-optimizer),在仓库外写运行脚本,使用 opik_optimizer 的 ChatPrompt 与优化器 optimize_prompt,读取 result.initial_score、result.score、stop_reason、llm_calls、llm_cost_total 与 result.get_run_link()。库中提示词用 client.create_chat_prompt 保存为新版本,代码提示词不改文件。

限制:验证集至少约 10 项,否则候选会打平;总体少于约 20 项结果会有噪声。缺少 provider 密钥、数据集键不匹配或无数据集时应在最早阻塞点停止并只给出一个下一步。不得把训练集分数当作提升,不得针对未经验证的评判器优化,不得原地覆盖提示词或修改代码库。成本可能返回 None,此时应说明成本不可用而不编造。