SuperAPI AI 工具集

llm-engineering-expert

智能体与模型

查看项目

更新于 10-16 08:03

技能介绍

该技能面向在大语言模型上构建可靠应用的工程实践,核心观点是:模型只是管道中的一个非确定性组件,而非整个系统。生产级 LLM 功能通常包含输入校验、上下文组装、模型调用、输出解析与校验,以及失败时的处理决策,把模型调用当作整体是多数可靠性问题的根源。

主要能力与要点:

提示设计:指令在前、参考材料居中、具体请求最后;用规则声明硬约束,明确定义超出范围时的行为,用分隔符隔离不可信内容。少样本示例通常 2 至 5 个,覆盖决策边界并包含负面或拒绝案例。规划与结果分离,便于解析;推理调优模型可能不需要额外脚手架,应实测而非假设。

结构化输出:不要解析未加约束的散文,优先使用提供方的 schema 约束输出并进行校验,校验需同时覆盖结构与语义(如金额与明细之和的一致)。

评测:在调参前建好测试集,10 到 50 个代表性案例即可起步。指标按输出类型选择:抽取与分类用精确匹配及逐字段精确率召回率;有参考的生成用语义相似度并保留人工抽查;自由质量用带评分标准的模型打分并对照人工校准;事实性用逐断言溯源。每次提示或模型变更都应运行并记录分数。

护栏:输入侧做长度、内容类型与策略检查;把检索与用户内容视为不可信数据,用分隔符隔离,防止提示注入;限制爆炸半径,输出仅返回值更安全,若可触发动作则需与普通调用者相同的授权检查;连续两次校验失败即失败关闭;记录模型、版本、提示哈希、token 数、延迟与结果,默认不记录客户内容。

成本与延迟:按需选模型、简单案例走小模型并按低置信度升级;缓存稳定前缀;精简上下文;限制输出长度;离线任务用批处理;有人等待时用流式降低感知延迟;按成功结果而非调用次数衡量成本。

最佳实践与反模式:提示按代码版本管理、固定模型版本、设置超时与带退避抖动的重试预算、结构化分离系统提示与用户内容、不可逆操作保留人工、先写失败路径;避免无评测的提示微调、解析未约束散文、堆砌上下文、盲信自信回答、相同输入相同重试、把模型输出当可信输入执行。

限制:资料未提供具体安装命令、依赖、收费或平台支持信息,具体 API 名称与实现细节需以实际使用的提供方文档为准。