用途:对提示词进行系统化评估,在标准 AI 基准上衡量提示词效果,并比较不同提示策略的准确率。
主要能力:内置 MATH(数学,准确率)、GSM8K(小学数学,准确率)、Game of 24(算术推理,成功率)、HumanEval(代码生成,pass@1)、MMLU(知识,准确率)等基准,并给出基线值与元提示目标值。提供 Game of 24、GSM8K、MATH 的评估实现,包括表达式校验、答案抽取与数学答案归一化。提供基准运行器,逐题记录响应、正确性与延迟,汇总准确率。
提示策略:包含 Chain-of-Thought、Tree-of-Thought 及 Game of 24 元提示模板,可对比 baseline、cot、tot、meta 等策略并按准确率排序输出。
统计分析:提供均值、标准差、95% 置信区间、最小/最大值,以及 bootstrap 置信区间。
使用方式:以 TypeScript 与 fp-ts 编写,通过 runBenchmark 传入基准配置与生成函数,用 comparePrompts 比较多个提示模板,结果可用 console.table 展示。
限制:资料未提供安装命令、依赖版本、运行环境要求、收费信息或具体平台支持;基准数据与目标值为资料中给出的参考值,实际效果需自行运行验证。