SuperAPI AI 工具集

opik

智能体与模型

查看项目

更新于 10-15 19:54

技能介绍

用途:Opik 由 Comet 构建,覆盖 LLM 应用全生命周期,包括 LLM 调用与智能体活动追踪、LLM-as-a-judge 评估、实验管理、生产监控(资料称每日 4000 万+ trace)、Opik Agent Optimizer 与 Opik Guardrails。本技能是路由优先的封装,负责选择部署模式、接入 SDK,并驱动追踪→评估→监控→优化的闭环。

主要能力:支持通过 @opik.track 或框架集成追踪 LLM 调用与智能体,集成覆盖 OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI、DSPy、Haystack、Ollama、Bedrock、Vercel AI SDK、Pydantic AI 等 50 余种;内置 Hallucination、Moderation、Answer Relevance、Context Precision/Recall 等评判指标,也支持启发式与自定义指标;支持 Datasets 与 Experiments 评估、PyTest 集成 CI/CD 门禁、Prompt Playground、生产监控仪表盘、在线评估规则、智能体/提示优化与护栏。

使用方式:先选服务器模式——Comet.com 云(注册获取 API key 与 workspace)、Docker Compose 本地(git clone https://github.com/comet-ml/opik.git && cd opik && ./opik.sh,UI 在 localhost:5173)或 Kubernetes/Helm 自托管。Docker 服务档位:./opik.sh(完整套件)、--infra(仅基础设施)、--backend(基础设施+后端)、--guardrails(启用护栏)、--help(排障);Windows 用 powershell -ExecutionPolicy ByPass -c ".\opik.ps1"。安装配置 SDK:pip install opik 或 uv pip install opik,然后 opik configure;也可在代码中 opik.configure(use_local=True)。另有 TypeScript 与 Ruby(经 OpenTelemetry)SDK。

适用场景:需要 LLM 追踪、评估、CI 门禁、生产监控、提示/智能体优化或安全护栏的项目。

限制与注意:评判指标依赖传入的上下文,空上下文会产生误导性分数;自托管升级前应查看变更日志(如 v1.7.0 含破坏性变更);CI 门禁宜使用小而稳定的数据集;生产检查应转为在线评估规则。若技术栈为 LangSmith、需要非 LLM 的通用监控告警、离线 KPI 解读或日志取证,应改用相邻技能。许可证为 Apache-2.0。