Extentos MCP Server 是一个 MCP(Model Context Protocol)服务器,旨在让 AI 编程智能体(如 Claude Code、Cursor、Cline)为 Android 和 iOS 应用添加智能眼镜能力。其核心用途是帮助开发者在接触真实硬件之前,完成发现、脚手架生成、验证和模拟的完整工作流。
主要能力包括:
- 发现与指导:getPlatformInfo 提供 SDK 能力目录、版本/工件信息和平台约束;getCapabilityGuide 提供 Kotlin 和 Swift 的逐功能调用形态及注意事项;getCodeExample 提供规范端到端模式(语音问答、照片描述、实时转录 UI 等);getMigrationGuide 提供从 Meta DAT 直接使用迁移到 Extentos 的映射表和切换计划。
- 脚手架与配置:generateConnectionModule 将连接 UI、清单和平台配置脚手架生成到应用中;getConnectionPageConfig、setConnectionPageConfig、regenerateConnectionPageFile、adoptConnectionPageFile 管理连接页面配置;getAssistantConfig、setAssistantConfig 管理语音助手配置(模型、语音、记忆、唤醒音);listProjectSounds、addProjectSound 管理项目自定义声音。
- 验证与检查:inspectIntegration 读取仓库中集成的当前状态;validateIntegration 对集成(清单、配置、接线)进行确定性检查;getPermissions 获取各平台所需的确切权限集;getCredentialStatus 查看已配置的凭证;setCredential 存储凭证;getProductionChecklist 提供从模拟器到真实眼镜的路径;getCredentialGuide 说明如何获取和配置 Meta DAT 凭证。
- 模拟器与端到端测试:createSimulatorSession 创建浏览器模拟器会话;ensureSimulatorBrowser 打开/附加模拟器浏览器标签;completeAuthLink 完成设备代码登录流程;getEventLog 读取会话事件日志;injectTranscript 注入语音转录;injectAssistantUtterance 端到端驱动语音助手;assertToolCalled 等待匹配的助手工具调用事件;getSimulatorStatus 获取实时会话状态;setSimVideo 将测试视频管道输入模拟摄像头;setSimDevice 切换模拟眼镜型号;getDisplayState 读取渲染的显示树和交互元素 ID;injectInput 驱动显示输入;injectHardwareButton 模拟硬件拍摄按钮;shutter 触发摄像头快门。
- 其他:getGatewayUsage 获取 AI 网关使用和计量;getProjectAnalytics 获取项目眼镜集成的使用分析;getVoiceCommandGuidance 提供语音触发和唤醒短语的实现指导;searchDocs 搜索捆绑的版本化文档主题。
使用方式:应用依赖原生 SDK(Android 使用 com.extentos:glasses,Maven Central;iOS 使用 Swift 包)。代码从自己的处理类订阅能力原语,如 glasses.audio.transcriptions()、glasses.camera.capturePhoto()、glasses.audio.speak()。模拟器是同一应用在不同基板上运行:使用 WebSocket 传输而非蓝牙,因此智能体验证的行为可延续到硬件。发现、验证和指导工具可匿名使用;创建浏览器模拟器会话和脚手架需要免费账户,服务器会在需要时引导智能体(和用户)完成设备代码登录。
适用场景:为 Android 或 iOS 应用添加智能眼镜功能,尤其是使用 Meta 智能眼镜(Ray-Ban Meta、Oakley Meta、Meta Ray-Ban Display)的开发者。社区集成示例包括 EgoFlow(自我中心视频捕获平台,其 extentos 分支通过 Extentos Android SDK 驱动眼镜连接和实时视频,并已在真实 Ray-Ban Meta 眼镜上端到端运行)和语音触发捕获 POC(MIT 许可的 iOS 概念验证,注册唤醒短语触发 glasses.camera.capturePhoto,通过 MCP 工具在浏览器模拟器中无头驱动)。
限制:该包为 pre-1.0 版本,工具界面可能在小版本之间演变。需要 Node 20+。安全报告请参阅 SECURITY.md,不要公开提交漏洞问题。