netra-evaluation-setup

用途：把 QA/开发规格文档转成可编辑的评测计划（数据集条目、评测器、变量映射、通过标准），经用户批准后在 Netra 中创建。

主要能力与流程：

1. 校验组织默认 provider（netra_get_default_llm_configuration），未配置则停止并提示在 Netra 面板 Settings → Providers → Set Default 设置。
2. 检测项目语言（Python 或 TypeScript/JavaScript），据此只生成对应 SDK 示例。
3. 读取规格，提取可测需求（场景名、类别、输入、期望行为），并补充边界、对抗输入、性能等用例，交用户确认。
4. 通过代码分析（Grep/Read 查找 @workflow、@agent、@task、@span、start_span、@tool、CrewAI、LangGraph、Claude Agent SDK 等）构建 span 映射；不足时用 netra_query_traces 与 netra_get_trace_by_id 从真实 trace 推断。
5. 选择评测器（netra_get_evaluator_library、netra_list_evaluators，或 references/evaluator-library.md），按场景类别推荐，并配置变量映射（taskOutput、expectedOutput、spans[?name=='...'] | [0].output、trace.tools、trace.latency/cost/tokens 等）。部分评测器需 configurableVariables，如 Guideline Adherence 的 assistant_instructions、assistant_constraints，Factual Accuracy 的 reference_facts；assistant_instructions 必须通过 evaluatorConfigs 提供。
6. 判定单轮或多轮：单轮用 Netra.evaluation.run_test_suite()；多轮用 Netra.simulation.run_simulation()（Python）或 await Netra.simulation.runSimulation({...})（TS），并需用户提供 BaseTask 任务实现；多轮数据集条目需 providerConfig。
7. 多轮场景可检测相关性并建议 hooks（before_all/before_each/before/after/after_each/after_all 等，TS 为驼峰命名），每个 hook 需 description（≤200 字符）。

限制：需组织已配置默认 provider；无法确定映射时标记为 NEEDS CONFIGURATION；不直接调用 agent 执行评测；具体价格、平台支持范围等资料未提供。