SuperAPI AI 工具集

mixseek-evaluator-config

通用与其它

查看项目

更新于 10-15 21:13

技能介绍

用途:为 MixSeek-Core 的 TUMIX 锦标赛生成 Submission 评估配置。生成 evaluator.toml(评分设置,置于 configs/evaluators/)与 judgment.toml(最终判定设置,置于 configs/judgment/)。

主要能力:支持标准指标——ClarityCoherence(清晰性与一致性)、Coverage(覆盖面)、Relevance(相关性)、LLMPlain(通过 system_instruction 自定义的通用评估)。可设置权重(须全部指定或全部省略,总和须为 1.0,省略则均分),并可设置模型、temperature、timeout_seconds 等。

使用方式:先确认评估重点、权重与判定风格(如 temperature=0 的决定性),再选择指标并生成文件。若使用自定义路径,须在 orchestrator.toml 中显式指定路径: [orchestrator] evaluator_config = "configs/evaluators/evaluator.toml" judgment_config = "configs/judgment/judgment.toml" 生成后必须验证,命令示例: uv run python skills/mixseek-config-validate/scripts/validate-config.py $MIXSEEK_WORKSPACE/configs/evaluators/evaluator.toml --type evaluator 同法验证 judgment。

适用场景:需要为说明文、报告、研究任务、FAQ、Q&A、客户支持等设定评分标准。

限制:需已完成工作区初始化并设置环境变量 MIXSEEK_WORKSPACE;权重规则与有效指标名受限;判定不稳定时可设 temperature 为 0 或固定 seed。其他细节暂未提供。