SuperAPI AI 工具集

conform

数据与分析

查看项目

更新于 10-15 23:48

技能介绍

Conform 是一个遵循 Unix 哲学的 CLI 工具,只做一件事:把非结构化数据转换为结构化 JSON,不负责过滤、格式化或存储。默认输出到 stdout,便于用管道组合;仅在需要最终落地时使用 --output。若数据本身已结构化(JSON/CSV/Excel)或只需正则匹配,官方建议改用 jq、xsv、xlsx、grep、sed、awk 等更简单的工具。

主要能力:单文件转换,基本用法为 conform input.txt --schema schema.json,可自动检测提供方。通过 --provider ollama --model llama3.2 使用本地模型,或通过 --provider vertex 配合 --vertex-project、--vertex-location、--vertex-model(如 gemini-2.5-flash)使用云端模型。可控制重试与规模:--no-retry 单次尝试、--max-retries 5、--max-input-size 5242880、--max-context-tokens 100000。输出可用 --output result.json,--verbose 日志只写 stderr,不破坏管道。

批量处理基于 Vertex AI 异步模式。先用 conform init-bucket 创建 GCS 桶并保存到 ~/.conform/config.json,再用 conform batch submit 提交目录或 requests.jsonl(--raw),支持 --gcs-bucket、--vertex-model、--name、-y。提交前会显示成本估算、要求确认(可用 -y/--yes 或 --skip-cost-estimate 跳过),并校验 schema 与 Vertex AI 兼容性。管理命令包括 batch status、batch list(支持 --remote、--status、--json)、batch download、batch cancel、batch import。任务元数据在 ~/.conform/batch-jobs/,用户配置在 ~/.conform/config.json。

模型注册表提供 conform models list(默认 Vertex,可选 ollama、all,支持 --region、--verbose)和 conform models update(更新本地缓存 ~/.cache/conform/models.json)。MCP 服务器支持 stdio 与 HTTP 传输(OAuth 2.1),提供 convert、batch、config 三个工具,HTTP 端点为 /mcp(Bearer 认证),健康检查 /health,环境变量含 MCP_PORT、MCP_HOST、MCP_ISSUER、MCP_OAUTH_SECRET、MCP_TOKEN_TTL_SEC、MCP_REFRESH_TTL_SEC。

Schema 设计建议:为属性添加 description 可提升抽取准确率,用 enum 约束类别字段,将关键字段标记为 required。Vertex AI 不支持 uniqueItems、pattern、maxLength、minLength、minimum、maximum、$ref、$defs、additionalProperties: false,批量提交会校验并拒绝这些 schema。

适用场景:从笔记、调查 PDF 等抽取结构化信息后再用 jq、DuckDB 分析,或批量处理目录并聚合结果。限制:结构化数据、简单正则或无需语义理解时不应使用;Ollama 不提供异步批量;使用 Vertex 需完成 gcloud auth application-default login 或设置 GOOGLE_APPLICATION_CREDENTIALS。