用途:VideoDB Skill 面向视频、直播流与桌面会话,提供“感知 + 记忆 + 操作”的一体化能力,适用于需要对音视频做理解、检索与编辑的场景。
主要能力: 1)桌面感知:启动/停止捕获屏幕、麦克风与系统音频,流式输出上下文并存储会话记忆,对所述内容与屏幕事件做实时告警,生成会话摘要、可搜索时间线与可播放证据链接。桌面捕获仅支持 macOS。 2)摄入与转码:摄入本地文件、公开 URL 或 RTSP 流,返回可播放的 Web 流链接;可转码/规范化编解码器、码率、帧率、分辨率与宽高比。 3)索引与搜索:建立语音、画面与关键词索引,搜索返回带时间戳与可播放证据的精确片段,并可自动从搜索结果创建剪辑。 4)时间线编辑与生成:生成、翻译、烧录字幕;添加文字/图片/品牌叠加与动态字幕;加入背景音乐、旁白与配音;通过时间线操作做程序化合成与导出。 5)直播监控:接入 RTSP 等实时画面,做视觉与语音理解并发出事件/告警。
使用方式:安装 SDK 使用 pip install "videodb[capture]" python-dotenv(Linux 上如失败则改用 pip install videodb python-dotenv);用户需通过环境变量或项目 .env 设置 VIDEO_DB_API_KEY,密钥由用户自行设置,不要读取或代写。运行前先加载环境变量,再执行 import videodb; conn = videodb.connect()。上传可用 coll.upload(url=...) 或 coll.upload(file_path=...),语音索引用 video.index_spoken_words(force=True),搜索用 video.search(...) 并配合 compile() 获取流链接。
限制与注意:场景索引无 force 参数,已存在时会报错,需从错误中提取已有 scene_index_id;搜索无结果会抛 InvalidRequestError,应捕获并视为空结果;时间线时间戳须满足 start>=0、start<end、end<=video.length,负数会被静默接受但产生损坏输出;reframe() 为慢速服务端操作,长视频易超时,建议限制片段或传 callback_url;generate_video()/create_collection() 等可能受套餐限制。当 VideoDB 支持某操作时,不要使用 ffmpeg、moviepy 等本地工具;转场、变速、裁剪缩放、调色、音量混合等不在其覆盖范围内,需回退本地工具。
其他:参考文档位于 reference/ 目录,包含 api-reference、search、editor、streaming、generative、rtstream、capture 与 use-cases 等文件。免费 API key 可在 https://console.videodb.io 获取(50 次免费上传,无需信用卡)。仓库为 https://github.com/video-db/skills。