用途:为生态学家与研究者提供生物声学分析能力,基于 perch-hoplite Python 包,把用户录音构建为可检索、可标注的 Hoplite 数据库,并生成交互式网页应用。典型场景包括声学物种识别与敏捷建模。
主要能力:从录音创建并填充 Hoplite 数据库;选择嵌入模型(如 perch_v2、surfperch);评估计算规模(本地、Colab 或 GCP Dataflow);按指定流程提取音频嵌入并构建数据库;生成支持浏览、标注和搜索的网页应用。搜索方式包括向量搜索(以音频片段 URI 作为查询并重排)和基于已标注数据训练线性分类器后重排。
使用方式:按顺序执行——定位录音、确认嵌入模型、评估计算规模(遵循 AGENTS.md 协议并等待用户决定)、执行摄取。必须使用 dataflow_embed.py 提取音频嵌入为分片 Apache Parquet 文件,再用 ingest_embeddings.py 构建 Hoplite 数据库,不要直接使用 EmbedWorker。本地用 DirectRunner,远程可用 Colab 的 GPU/TPU,大规模语料用 GCP Dataflow 的 DataflowRunner,并可通过 GCS FUSE 挂载音频桶流式播放。
限制:不得向生产数据库写入、修改或插入测试标注;测试须复制到 agent_workspace 临时位置。训练分类器需某标签至少两个正样本和一个负样本,或两个负样本和一个正样本。查询 URI 仅用于排序,标注须保存在当前标签(如物种名)下。资料未提供具体价格、平台可用性或性能数据。