用途
scienceclaw-benchmark-for46 是一个用于 Python 代码生成评测的技能,目标是在隐藏测试下衡量单次生成程序的通过率(execution pass@1,越高越好)。它适用于给定一批编程问题、需要为每个问题产出一个可执行 Python 程序的场景。
输入与输出
输入为问题字典列表,每个问题包含:
- prompt:HumanEval 风格的函数桩(含签名与 docstring),或 MBPP 风格的任务文本;
- entry_point:入口点名称;
- visible_tests:以换行分隔的 assert 行,可能很少或没有;
- kind:python_function_stub 或 other。
输出为一个字符串列表,按顺序每个问题对应一个 Python 程序。对于函数桩类问题,实际执行的程序是 prompt 加上你返回的字符串(返回完整函数定义会覆盖桩,返回裸函数体则延续桩);其他类型则只执行你返回的字符串。隐藏测试会被追加并运行,每条语句有单条时间限制(build_prompts 中默认 6 秒)。
质量指标
执行 pass@1:单个程序通过全部隐藏测试的问题占比。程序必须为 entry_point 定义真实函数体。
主要工具
工具来自 scilib 的 codegen,不使用预训练权重:
- build_prompts(problems, style="direct"|"plan"|"examples"):对应算子 code_generation_prompts,生成提示词。
- sanitize(texts, problems, index=None, base=None):对应 code_reply_sanitize,将模型回复(带围栏代码、函数体、截断围栏、散文等)转换为程序;保留入口点函数及其可达内容,丢弃演示代码,对不可用回复使用失败的占位符。
- repair_prompts(problems, codes, results) -> {"prompts", "index"}:对应 code_repair_prompts。
- select_best(candidate_sets, results):对应 code_select_best_candidate。
- assembled_program、is_implemented。
results 为每个问题的字典,包含 passed、n_tests、n_passed、error、failing_tests。若任务声明了测试工具则使用它,否则使用一个代码节点,在独立子进程中运行每个程序及其公开断言,并设置超时。
推荐流程
代码节点(build_prompts)-> LLM 节点(模板 {item},items = prompts,config.parse = "text";输出为每个 item 一个回复或 None)-> 代码节点(sanitize)-> 公开测试 -> repair_prompts -> 第二个 LLM 节点 -> sanitize(..., index=, base=)。
代码节点不能调用模型。相同提示词会产生相同回复(temperature 0,带缓存),因此候选多样性应通过不同 style 或 config.seed / config.temperature 获得,再用 select_best 选择。
规则与限制
- 公开测试是隐藏测试的子集:绝不要针对可见示例做特例处理,应按陈述的行为求解。
- 保留入口点名称与签名;不得使用 input()、打印、网络或文件写入;需远低于时间限制。
- 生成的代码只能在沙箱代码节点或任务声明的测试工具中执行。
- 每个问题恰好一个字符串。
暂未提供的信息
关于收费、价格、平台支持范围、具体效果数据等,资料中暂未提供。