用途:该技能用于引导用户降低 AI API 成本,同时尽量保持输出质量,提供从快速见效到进阶的多档策略。
主要能力与步骤:
- 成本审计:先了解所用提供商/模型、每日或每月调用量、最贵的模块,并用 dspy.inspect_history(n=3) 查看每次调用的 token 数。
- 快速见效:换用更便宜的模型(如 gpt-4o-mini、claude-haiku 或开源模型),并确认 DSPy 默认缓存未被关闭。
- 分任务用模型:用 dspy.context 或直接设置模块的 lm 属性,让简单步骤走便宜模型、复杂生成走贵模型。
- 智能路由与级联:先用便宜模型判断复杂度或先作答,置信度不足再升级到贵模型,资料称典型可省 50%–90%。
- 缩短提示词:减少 few-shot 示例(如从 4 降到 2)、减少检索段落(如 k 从 5 降到 2)、精简 Signature 描述。
- 微调便宜模型:用 BootstrapFinetune 从贵模型蒸馏到小模型,需 500+ 训练样本,资料称可省 10–50 倍成本并保留 85%–95% 质量。
- 简单任务用 dspy.Predict 替代 dspy.ChainOfThought,并在优化器饱和时提前停止。
使用方式:属于 DSPy 技能集合,可通过 npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name> 安装;文中给出 Python 代码示例,涉及 dspy.LM、dspy.configure、dspy.context、dspy.Retrieve、dspy.BootstrapFewShot、dspy.BootstrapFinetune 等。
限制与注意:切换模型后必须重新优化提示词,提示词不跨模型迁移;路由步骤本身不要用 ChainOfThought;示例不要减到 0;每次成本改动前后都要用 dspy.evaluate 测量质量;temperature>0 时缓存会锁定单个样本;若流量整体复杂、用例频繁变化或尚未建立质量基线,则不宜做成本优化。具体价格、平台支持范围等资料未提供。