Lunary 是一个开源的 LLM 聊天机器人与智能体平台,主打可观测性、提示词管理、测试等功能,旨在帮助企业团队更有信心地构建、部署和扩展 AI 应用。
【主要能力】
- 可观测性与分析:实时查看 LLM 性能表现、用户交互方式,追踪模型使用量与成本,分析高频主题、用户满意度,并支持自定义仪表盘。
- 调试与追踪:记录所有提示词和结果,查看智能体在生产环境中的运行情况,提供追踪与错误堆栈信息、即时搜索与过滤、数据标注(用于微调)。
- 提示词管理:创建提示词模板,与非技术团队成员协作迭代提示词,保持源代码整洁。
- 测试与评估:对 LLM 响应进行评分,跟踪用户反馈;允许团队评判 LLM 响应;无需编码即可试验提示词和 LLM 模型。
- 集成与数据捕获:1 行代码集成,轻量 SDK 可无缝接入代码库;支持跨整个技术栈捕获 LLM 数据,兼容任意 LLM 与任意框架,并可对接偏好的数据目标。
- 多模态与多语言:全面支持文本、音频和图片;可识别用户使用的语言;支持将对话按主题分组,快速发现趋势。
- 通知与搜索:当智能体表现不符合预期时接收通知;毫秒级搜索与过滤任何内容。
【使用方式】 通过 1 行代码集成,使用轻量 SDK 接入现有代码库。云工作区需付费激活;也可自托管部署,支持 Kubernetes 或 Docker 部署于自有 VPC 或私有云。
【适用场景】
- 内部知识库:帮助团队访问公司知识并自动化工作流,监控使用情况并基于真实反馈改进。
- 客户支持:构建面向客户的聊天机器人,理解文档并提供准确回复,跟踪满意度并持续改进。
- 自主智能体:部署执行复杂任务的自主智能体,实时监控性能并尽早发现错误。
- 从下一代初创公司到成熟企业均适用。
【限制与合规】 Lunary 已通过 SOC 2 Type II 和 ISO 27001 认证,专为自托管设计,可保障敏感数据安全,避免 GDPR 合规困扰;支持 RBAC 和 SSO,确保数据访问权限可控。云工作区起价为每用户每月 20 美元,需付费激活工作区。