用途:该技能管理数据资产的元数据,支持数据发现、治理和血缘追踪,可编目数据集、模式与依赖关系,服务于 ETL、数据治理审计和数据管道等场景,尤其适合大规模数据仓库、合规要求或协作型数据团队。
主要能力:以 JSON 结构登记和更新数据集元数据,如 {"name": "sales_data", "schema": {"columns": ["id", "date"]}};通过全文或标签过滤搜索与查询资产,支持追溯数据来源的血缘查询;通过为资产关联“sensitive”等标签实施访问控制等治理策略;以 JSON 生成血缘图,如 {"source": "raw_logs", "target": "processed_reports"};可与 S3 或数据库等存储系统集成,连接器需通过 $DATA_CATALOG_API_KEY 提供 API 密钥。
使用方式:先认证,如 export DATA_CATALOG_API_KEY=your_key。随后按初始化目录、登记资产、按需查询、处理更新的模式操作;在管道中可嵌入脚本自动登记输出。操作前应校验元数据以避免冲突。常见 CLI 命令包括:dcatalog register --asset-name sales_data --type dataset --metadata '{"schema": ["id", "amount"]}' --api-key $DATA_CATALOG_API_KEY;dcatalog search --query "sales" --tags metadata --limit 10;dcatalog update-lineage --source raw_data --target processed_data --relation depends_on。API 端点包括 POST /api/v1/assets、GET /api/v1/assets/search?query=sales、PUT /api/v1/lineage,认证使用 Authorization: Bearer $DATA_CATALOG_API_KEY。配置为 JSON,如 ~/.dcatalog/config.json 中设置 default_tags 和 api_endpoint。
集成与限制:可通过包装 API 调用与 Apache Airflow 或 AWS Glue 等工具集成,需匹配模式版本,生产前应在沙箱测试。错误处理应检查 HTTP 状态码,401 时重新校验 API 密钥;CLI 脚本可用 try-catch。常见问题包括 JSON 元数据无效和认证失败。资料来源未提供价格、平台范围、具体性能或效果等信息。