SuperAPI AI 工具集

mfs-ingest

数据与分析

查看项目

更新于 10-16 02:44

技能介绍

用途

mfs-ingest 是 MFS 的数据源接入技能,负责把数据源注册、更新或重新同步进 MFS,使其变得可搜索。它覆盖从预检、意图分类、连接器选择、凭据收集、编写 TOML 配置,到执行 mfs add 并跟踪任务的全流程。

主要能力

  • 支持多种连接器方案:数据库(postgres、mysql、mongo、snowflake、bigquery)、代码仓库(github)、工单与知识库(jira、linear、notion)、CRM(hubspot)、客服(zendesk)、聊天与消息(slack、discord、gmail、feishu)、云存储与文件(s3、gdrive、file、web)。
  • 按用户意图分流:零摩擦新增、全新引导、强制重新摄入、编辑已有配置、列出已注册连接器、澄清意图。
  • 凭据处理推荐使用 env:VAR 或 file:/path 间接引用,避免明文写入 TOML。
  • 支持估算确认模式,对成本敏感的外部源(大表、多 issue 仓库、大 Slack 工作区、整站爬取)先估算再确认。
  • 支持 --since 限定时间范围、--full 全量重嵌入、--force-index 在 text_fields 变更后重新分块。
  • 任务跟踪:mfs job show / list / cancel,确认 succeeded_objects 与 objects.indexed / chunk_count 的差异。

使用方式

  1. 预检:mfs --version、mfs status、mfs config show、mfs connector list。若 CLI 缺失,用 cargo install mfs-cli 或 GitHub releases 的 shell 安装器;服务器未启动时按资料给出的源码方式启动。
  2. 分类意图:根据用户最新消息选择对应分支(§A 零摩擦新增、§B 全新引导、§C 强制重同步、§D 编辑配置、§E 列出、§F 澄清)。
  3. 解析 URI:形如 <scheme>://<alias>,scheme 为连接器类型,alias 为实例 ID。file 方案使用本地路径。
  4. 阅读对应 reference/connectors/<scheme>.md 获取字段集与凭据获取方式,参考 reference/credentials.md 处理凭据。
  5. 写入临时 TOML(如 /tmp/mfs-<alias>.toml),运行 mfs add <uri> --config <toml>,必要时先估算确认。
  6. 跟踪任务至终态,用 mfs connector inspect <uri> 报告 object_count 与 objects.indexed / chunk_count,并给出示例查询。

适用场景

  • 首次接入某数据源,需要引导选择连接器并收集凭据。
  • 数据源有更新,需要立即重新同步而不等待计划任务。
  • 需要修改已注册连接器的 token、DSN、channels、text_fields、max_read_rows 等配置。
  • 需要查看当前已注册的连接器列表。

限制

  • 搜索类请求(find/search/grep/cat)不属于本技能,应转向 mfs-find。
  • --since 目前仅 gdrive、feishu 支持,其他连接器会报错。
  • 只有文档、代码以及(启用视觉模型时)图片会被嵌入;数据/配置文件(.json .csv .yaml .log 等)可列出和 grep,但不支持向量搜索。
  • URI 字符串即连接器身份,MFS 不会对同一物理源的不同 URI 形式做规范化,可能产生重复连接器。
  • mfs remove 会永久删除连接器及其索引数据,执行前必须确认。
  • 具体各连接器的字段、凭据获取步骤与注意事项需查阅对应 reference 文件;资料未提供完整字段清单。