SuperAPI AI 工具集

quality-enriched-prompting

智能体与模型

查看项目

更新于 10-16 07:09

技能介绍

Quality-Enriched Prompting 是一个围绕提示词质量优化构建的技能,其核心思想来自 [0,1]-enriched category([0,1]-富化范畴)。在该框架中,对象是提示词、响应和上下文,Hom-object 不再是集合,而是 [0,1] 区间内的质量分数;组合操作通过乘法或最小值实现质量衰减,恒等态射对应完美质量 1.0。

主要能力

该技能提供了一套完整的 Python 数据结构与算法,用于对提示词质量进行连续建模和优化。

EnrichedHom 表示富化范畴中的态射,包含 source、target 和 quality 三个字段,quality 必须在 [0,1] 之间。它支持 compose 方法进行乘法组合,也提供 min_compose 作为悲观组合方式,取两者质量的最小值。identity 静态方法返回质量为 1.0 的恒等态射。

QualityVector 将质量表示为多维向量,包含 clarity、specificity、completeness、coherence、relevance 五个维度,每个维度取值在 [0,1]。它支持加权聚合为标量质量、Pareto 支配判断以及转换为 numpy 数组。

EnrichedPromptCategory 是提示词的富化范畴,维护对象字典和态射质量字典。它支持添加提示词、添加态射、沿路径计算组合质量,以及使用 Dijkstra 变体寻找最高质量路径。

QualityOptimizer 实现基于梯度的迭代优化。它接收一个评估函数,通过反复生成改进版本并接受质量提升的版本,直到达到阈值或最大迭代次数。它还提供 pareto_frontier 方法,从历史记录中提取非支配的 Pareto 最优提示词。

QualityFunctor 是保持富化结构的函子,将对象映射为质量评估,将变换映射为质量态射,并通过质量保持比率计算态射质量。

使用方式

该技能以 Python 代码形式提供,依赖 dataclasses、typing、numpy、heapq 等标准库或常用库。LLM 质量评估部分使用 OpenAI 客户端,调用 gpt-4o 模型,通过 JSON 格式返回五个质量维度的评分。用户需要自行配置 OpenAI API 密钥。

典型使用流程包括:定义提示词对象和态射质量,构建 EnrichedPromptCategory;使用 QualityOptimizer 配合自定义的 evaluate 和 improve 函数进行迭代优化;或者使用 llm_quality_eval 和 llm_quality_improve 结合 LLM 进行质量评估与改进。

适用场景

该技能适用于需要质量感知的提示词系统、提示词自动优化流程、多步骤提示词链的质量组合分析,以及需要可解释质量度量的 AI 应用。它特别适合研究提示词工程中质量衰减和组合效应的场景。

限制

该技能依赖 [0,1]-enriched category 的数学框架,要求质量分数在 [0,1] 区间内。组合操作采用乘法或最小值,可能不完全适用于所有实际场景。LLM 质量评估部分依赖外部 API,存在成本和延迟。优化过程是启发式的,不保证全局最优。资料中未提供具体的安装命令、价格信息或平台支持细节。