videodb

用途：为视频、直播流与桌面会话提供感知、记忆与操作能力，适合需要时间戳、可搜索证据、字幕、片段、叠加层或实时监控告警的任务。\n\n主要能力：1）桌面感知：启停捕获屏幕、麦克风与系统音频，流式获取上下文并保存会话记忆，对语音与屏幕内容运行实时告警，输出会话摘要、可搜索时间线与可播放证据链接；2）视频摄取与流：摄取文件或 URL 并返回可播放的网页流链接，支持转码与归一化（编解码、码率、帧率、分辨率、宽高比）；3）索引与搜索：构建视觉、语音与关键词索引，返回精确时刻的时间戳与证据，并可据结果自动生成片段；4）时间线编辑：生成、翻译、烧录字幕，添加文字/图片/品牌叠加与动态字幕，加入背景音乐、配音、口型同步，支持程序化合成与导出；5）直播（RTSP）监控：连接 RTSP/直播源，运行实时视觉与语音理解并发出事件/告警。\n\n使用方式：安装 SDK：pip install "videodb[capture]" python-dotenv（Linux 上若失败可改为 pip install videodb python-dotenv）。API key 须由用户设置 VIDEO_DB_API_KEY（终端导出或项目 .env 文件），不要代读代写；密钥缺失时 videodb.connect() 会抛 AuthenticationError。免费密钥见 https://console.videodb.io（50 次免费上传，无需信用卡）。连接代码：from dotenv import load_dotenv; load_dotenv(".env"); import videodb; conn = videodb.connect()。常用操作：coll.upload(url=...) 或 file_path=... 上传；video.index_spoken_words(force=True) 建语音索引；video.index_scenes(extraction_type=SceneExtractionType.shot_based, prompt=...) 建场景索引（无 force，重复会报错，需从报错提取已有 id）；video.search(...) 返回结果并可用 compile() 生成流；Timeline 组合 VideoAsset/TextAsset 后 generate_stream()。\n\n限制：桌面捕获仅支持 macOS；server 端已覆盖裁剪、合并、叠加音频、字幕、文字/图片叠加、转码、分辨率与宽高比转换、转写与媒体生成，这些不要用 ffmpeg/moviepy 等本地工具，仅过渡、变速、裁剪缩放、调色、音量混合等参考文档 Limitations 所列操作才回退本地工具；reframe() 较慢，长视频可能超时，建议限制片段或用 callback_url 异步；时间线时间戳须满足 start>=0、start<end、end<=video.length；generate_video()/create_collection() 等可能受套餐限制；搜索无结果会抛 InvalidRequestError，应捕获视为空。\n\n适用场景：文件/URL/直播流的索引与检索、带时间戳证据提取、字幕与片段生成、社媒宽高比重构、桌面会话摘要与实时告警。