SuperAPI AI 工具集

xb-add-ai

设计与创作

查看项目

更新于 10-15 21:54

技能介绍

用途:为 XR Blocks 应用接入 AI 行为,构建从输入、提供方分支、响应模态、应用消费方到可观察结果与资源清理的完整链路。

主要能力:支持 xb.ai.query({prompt}) 的提供方中立文本请求;Gemini 多部分输入处理图像或类型化片段;Gemini Live 进行持续音频或视频对话;xb.ai.generate() 生成可作为应用资产的图像;以及用窄范围 xb.Tool 执行经校验的应用动作。

使用方式:先写 AI 契约,明确输入、提供方分支、响应模态、消费方、离设备数据、用户披露、并发规则及等待、不可用、空、断开、错误等状态。再阅读 ../../docs/docs/manual/AI.mdx 与 references/current-api.md,核对 ../../src/xrblocks.ts、../../src/ai/AI.ts 及所选提供方中的符号;涉及 Live、工具、摄像头或上下文时读 references/live-tools-grounding.md。模板可用 ../../templates/06_ai_query/ 与 ../../templates/07_ai_live_assistant/。选择单一主分支后实现:初始化前配置并启用提供方,使用时检查可用性,捕获失败,防止意外并发启动;Live 需在连接前注册回调,以 onopen 判定就绪,使用提供方类型化的嵌套实时输入,并通过单一幂等清理入口处理远端关闭、本地停止、错误与释放,停止会话、麦克风、播放、帧定时器及应用自有轨道。工具参数在执行时再次校验,目标经允许列表或当前场景上下文解析,重要动作需应用授权或确认。最后构建或类型检查并做启动冒烟测试,向用户说明触发方式、凭据与权限、离设备数据、各状态与恢复步骤。

适用场景:XR Blocks 中需要文本查询、图像生成、语音视觉对话或场景动作的 AI 集成。

限制:资料未提供具体收费、价格、平台支持范围与效果数据;实现依赖所选提供方对所需操作与模态的支持。