SuperAPI AI 工具集

dspy-bootstrap-rs

通用与其它

查看项目

更新于 10-15 23:58

技能介绍

用途:当基础 BootstrapFewShot 效果不稳定时,用 BootstrapFewShotWithRandomSearch(BootstrapRS)在多个候选演示集上做随机搜索,选出验证集得分最高的程序。它只优化演示(demos),不优化指令。

主要能力:包装 BootstrapFewShot,以 num_candidate_programs 次不同随机训练子集运行自举,逐个评估并返回最高分候选。关键参数包括 metric、max_bootstrapped_demos(默认 4)、max_labeled_demos(默认 16)、num_candidate_programs(默认 16)、num_threads、stop_at_score、metric_threshold、teacher_settings、max_rounds、max_errors。支持用大模型作为 teacher 生成演示、再用小模型部署,也支持把优化结果再传给 MIPROv2 叠加优化。

使用方式:用 dspy.BootstrapFewShotWithRandomSearch 构造优化器后调用 optimizer.compile(program, trainset=trainset, valset=devset)。结果程序可 save("optimized_qa.json") 保存,候选保存在 candidate_programs 属性。安装技能命令:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>。

适用场景:50-200+ 样本、需要更优 few-shot 演示、可接受约 10-20 倍成本时使用;样本少于 50 建议用 BootstrapFewShot,需同时优化指令或样本超 200 建议用 MIPROv2。

限制:成本随 num_candidate_programs 线性增长(16 约 16 倍);候选数低于 8 收益有限;多步流水线中演示数过多易超上下文;未显式传 valset 时内部划分不可控。资料未提供具体价格,仅给出成本量级估计。