SuperAPI AI 工具集

running-livekit-simulations

智能体与模型

查看项目

更新于 10-16 00:01

技能介绍

用途:在部署前对 LiveKit 智能体做长程对话回归测试。模拟用 LLM 驱动的模拟用户与真实智能体完整对话,再由评审模型对转录文本打分,判断整段对话是否达到预期结果;单轮断言应改用单元测试。

主要能力:文本模式为默认,模拟用户与智能体交换文字,框架关闭 STT、TTS、VAD,速度快、成本低、更确定,适合迭代和自动化。音频模式通过完整语音管线运行同一批场景,可评估轮次切换、打断处理、双向转录准确率(姓名、数字、地址、确认码)与用户感知延迟;音频实时执行并每轮调用 STT/TTS,计费更高,仅用于候选发布或涉及语音、轮次、打断的改动。音频子命令还可加入噪声、差麦克风、丢包来劣化模拟来电者音频,检验智能体是否会请求重复。

使用方式:在智能体项目目录下运行,先阅读 lk agent simulate --help,因为子命令和参数会变化。示例:lk agent simulate text --scenarios scenarios.yaml。不提供场景文件时,CLI 会从智能体源码生成场景,这会先上传代码并请求确认。默认本地启动智能体 worker、分发场景并在结束后停止;也有选项可按名称评估已运行的智能体,但此时必须有场景文件。并发每次运行和每个项目均有限制。

自动化:提交场景文件后可接入定时或发布分支任务。非终端环境下 CLI 输出纯文本并在任一场景失败时以非零码退出,任务即可失败;自动化运行保持文本模式,把尚未通过的探索性场景放到单独文件。

结果解读:每次运行输出各场景结论和仪表盘链接;结论说明发生了什么,转录文本说明原因。可用 export 得到含完整聊天上下文的 JSON,用于读取失败转录、对比两次运行或归档;list 可查找运行 id,也有机器可读输出。失败可分为智能体缺陷、场景缺陷(如 agent_expectations 过于笼统)、模拟世界缺口三类,修复后应重跑整个文件。反复以同一方式失败的场景可下沉为单元测试。

限制:具体参数、版本、并发限制与 CI 示例需查阅官方文档,本文未提供;音频模式成本更高、不宜放入定期任务。