prompt-compare 是 snowflake-labs/cocoplus 提供的提示词比较技能,核心用途是把同一组测试输入分别交给两个提示词版本运行,直观查看两者输出的差异,并据此分析优劣、给出选用建议。
主要能力包括:
- 对比两个提示词文件的输出差异,结果以表格形式呈现,包含测试输入、Prompt A 输出、Prompt B 输出和差异说明。
- 在对比后输出分析部分,分别列出 Prompt A 与 Prompt B 的优势和不足,并给出推荐使用哪个提示词及理由。
- 仅提供一个提示词路径时,可生成可编辑的草稿对比版本,并在文件头部或 frontmatter 加入 draft_variant: true 标记及草稿说明,创建后停止,等待开发者修改后再对比。
使用方式:命令为 $prompt compare [prompt-a-path] [prompt-b-path]。执行前会检查当前目录是否存在 .cocoplus/,若不存在则提示先运行 $pod init 并停止。参数缺失时输出用法并停止;两个路径都存在时读取文件,若任一文件缺失则报错并指出缺失文件。随后要求提供 3-5 条测试输入(每行一条),对每条输入分别以两个提示词作为系统上下文,通过 SnowflakeSqlExecute 调用 Cortex COMPLETE 生成输出,再生成对比表与分析。
适用场景:需要评估新旧提示词版本在相同输入下表现差异、验证提示词修改是否引入回归、或在两个候选提示词之间做选择时使用。
限制与注意事项:必须在已初始化的 CocoPlus 目录中运行;一次对比需要提供 3-5 条测试输入;仅一个提示词路径时只生成草稿并停止,不会自动执行对比;草稿仅是编辑起点,需开发者修订后再用于正式比较。技能说明还明确反对只用单一输入对比、省略差异列、忽略文件校验以及把草稿当作正式策略等做法。