Prompt Compression 是一个用于提示词压缩的技能，其目标是实现令牌高效（token-efficient）的提示压缩，从而对大语言模型（LLM）的调用进行成本优化。根据现有资料，该技能的能力与使用方式如下。
主要能力
- 实现令牌高效的提示压缩
- 设计上下文剪枝（context pruning）策略
- 配置选择性上下文包含（selective context inclusion）
- 实现 LLMLingua 风格的压缩
- 设计基于摘要的压缩
- 建立压缩质量指标
目标流程
- cost-optimization-llm
- agent-performance-optimization
压缩技术
- LLMLingua：令牌级压缩
- Summary Compression（摘要压缩）：基于 LLM 的摘要
- Selective Context（选择性上下文）：相关片段提取
- Token Pruning（令牌剪枝）：移除低重要性令牌
- Document Filtering（文档过滤）：检索前过滤
配置选项
- 压缩率目标
- 质量阈值设置
- 令牌预算约束
- 压缩模型选择
- 评估指标
最佳实践
- 监控质量与压缩之间的权衡
- 使用有代表性的提示进行测试
- 设置合适的压缩率
- 验证压缩后提示的质量
- 追踪成本节省
依赖
- llmlingua（可选）
- tiktoken
- transformers
限制与暂未提供的部分：资料未说明具体的安装与使用命令、代码示例、平台支持范围、适用模型清单、价格与收费方式、实际效果数据或性能基准，以上内容暂未提供。