SuperAPI AI 工具集

opik-optimizer

智能体与模型

查看项目

更新于 10-16 02:28

技能介绍

用途:在 Opik 中为提示词、工具和模型参数设计、运行并解读优化工作流,进行可复现的评估与调优。

主要能力:支持多种优化器,包括 MetaPromptOptimizer、FewShotBayesianOptimizer、EvolutionaryOptimizer、HierarchicalReflectiveOptimizer (HRPO)、GepaOptimizer 和 ParameterOptimizer。可构建 ChatPrompt 与自定义指标函数,优化工具(function calling 或 MCP)、指定提示词角色或片段,并用 optimize_parameter 调优 LLM 调用参数。结果以 OptimizationResult 呈现,含 score、initial_score、history、optimization_id 等。

使用方式:安装 pip install opik-optimizer;从 opik_optimizer 导入 ChatPrompt、优化器类与 datasets,用 opik.evaluation.metrics 定义指标函数(签名 dataset_item, output -> float),加载数据集后调用 optimize_prompt(...) 或 optimize_parameter(...)。支持 n_threads、n_samples、max_trials、seed 等控制项,可指定 project_name 追踪,并用 optimize_prompts="system" 或 "user" 限定范围。片段编辑可用 extract_prompt_segments 与 apply_segment_updates。

适用场景:提示词/智能体优化、工具优化、模型调用参数调优,以及对比优化器输出和基线差异。

限制与注意:避免空数据集或占位符字段不匹配;不要混用已弃用的 num_threads 与 n_threads;工具优化不等同于智能体函数调用优化;不要用 ParameterOptimizer.optimize_prompt(会报错)。多模态输入需保留非空内容段;小数据集需谨慎设置 n_samples。详细参数见 references/algorithms.md、references/prompt_agent_workflow.md、references/example_patterns.md。