用途:为视频、直播流和桌面会话提供感知、记忆与操作能力,覆盖摄取、理解、检索、编辑与生成。
主要能力:桌面感知可启停屏幕、麦克风与系统音频捕获,输出实时上下文、会话摘要、可搜索时间线与可播放证据链接,并支持语音与画面告警;视频摄取支持本地文件、公开 URL、YouTube 与 RTSP 直播,返回可播放 Web 流链接,并可转码归一化编码、码率、帧率、分辨率与宽高比;索引与搜索可建立视觉、语音与关键词索引,返回带时间戳与证据的精确片段,并自动生成剪辑;时间线编辑支持字幕生成、翻译与烧录,文字/图片/品牌叠加与动态字幕,背景音乐、配音与旁白,以及程序化合成导出;直播监控可连接 RTSP 并实时理解画面与语音,发出事件告警。
使用方式:安装 pip install "videodb[capture]" python-dotenv(Linux 失败可去掉 capture 额外项),由用户自行设置 VIDEO_DB_API_KEY(终端导出或项目 .env),代码中 load_dotenv(".env") 后 videodb.connect()。上传用 coll.upload(url=...) 或 file_path=...;语音索引 video.index_spoken_words(force=True);搜索用 video.search() 并捕获 InvalidRequestError 视为空结果;场景索引用 index_scenes(),已存在时从报错中提取 id;时间线用 Timeline 与 VideoAsset/TextAsset,注意校验 start>=0、start<end、end<=video.length;转码用 conn.transcode(),改宽高比用 video.reframe(),长视频建议限定片段或传 callback_url 异步处理。
适用场景:视频内容检索与证据定位、社媒平台宽高比适配、字幕与配音制作、直播监控告警、桌面会话记录与摘要。
限制:桌面捕获仅支持 macOS;reframe 为慢速服务端操作,长视频可能超时;generate_video()/create_collection() 等受套餐限制;转场、变速、裁剪缩放、调色、混音等需回退本地工具;API 密钥须由用户设置,不应由模型读写。