SuperAPI AI 工具集

two-tier-extraction

智能体与模型

查看项目

更新于 10-15 21:50

技能介绍

用途:处理大规模语料(邮件档案、文档集、转录库)时的分层抽取模式。核心矛盾是:便宜模型处理全部内容速度快但漏掉细微之处,昂贵模型处理全部内容质量最高但成本高 10-50 倍,而多数语料是噪声。

主要流程(单遍,无中间文件):步骤 0 隐私墙(确定性规则、不经 LLM):命名实体与敏感模式在模型看到内容前被剥离或分流,歧义内容转人工复核。步骤 1 分诊(utility 层,约 2 秒/条):仅做分类,输出 JSON,含 filing、user_writing_quality、emotional_significance、business_significance、era、one_line_summary 等字段,是分类器而非抽取器。步骤 2 闸门:高价值转 deep 层,普通转 reasoning 层(默认深读),噪声跳过或最小抽取。步骤 3 深读(默认 reasoning 层,升级时用 deep 层):完整抽取摘要、实体、概念、观点、写作质量与情感意义等。步骤 4 即时写入:直接生成 brain 页面与反向链接、时间线条目、检查点(默认每 25 条保存一次)。

成本模型为单次档案运行的示例锚点,非基准;分诊约 $0.003/条、深读约 $0.05/条,实际随模型定价变化,运行前需重新校准。声称相比全量使用最贵模型节省约 50-70%,但属观察结论,需自行验证。

用法与限制:运行前可用 gbrain models 查看当前层级到模型映射,可用 gbrain config set models.tier.deep opus 固定升级层。层级通过 gbrain models 解析,禁止硬编码模型 ID。批量前须按 test-before-bulk 约定跑 10 → 100 → 500 渐进试跑。硬规则包括:用户本人写作、个人内容与重大商业时刻一律走 deep 层;分诊保持精简;不用中间文件;每 25 条检查点;隐私墙必须确定性且先于 LLM;存疑时向上提升层级。失败处理:触及成本上限或 no_pricing 时停止深读并询问用户;分诊失败或低置信度时失败关闭转人工;速率限制或重启后从检查点恢复,不重复分诊已完成的条目。