用途:让 AI 智能体分析、归属并降低 Lakehouse 架构的云成本,覆盖存储、计算与 API 操作。背景指出,陈旧快照、孤儿文件、过量 S3 PUT/GET 调用与未优化集群会快速推高成本,该技能用于在 Databricks、AWS EMR、Snowflake 上落实 FinOps 实践。
主要能力与用法:
- 存储优化。按环境推荐清理阈值:生产保留 7-14 天用于 Time Travel,开发/测试保留 1-3 天。Delta Lake 使用 VACUUM catalog.schema.table_name RETAIN 168 HOURS;。Iceberg 使用 CALL catalog.system.expire_snapshots(table => 'catalog.schema.table_name', older_than => TIMESTAMP '2023-10-01 00:00:00.000', retain_last => 5); 及 CALL catalog.system.remove_orphan_files(table => 'catalog.schema.table_name');。
- 计算 FinOps。检查 PySpark 作业配置中的反模式:集群利用率低于 30% 仍用超大实例、未设严格 max_workers 导致数据倾斜时费用失控;批处理 ETL 建议 worker 使用 Spot/Preemptible。示例 Terraform 配置设置 autoscale min_workers=2、max_workers=10,并启用 spot_bid_price_percent=100、first_on_demand=1、availability="SPOT_WITH_FALLBACK"。
- S3/云存储 API 成本。Iceberg 与 Delta 需频繁 LIST/PUT;若流作业每 10 秒提交一次,按 ((606024*30 / 10) * S3_PUT_Cost) 估算 API 费用,建议在非严格实时 SLA 下把触发间隔提高到 1-5 分钟。
- 标签与归属。要求资源与表带 CostCenter、Environment、DataDomain 标签,例如 ALTER TABLE main.sales SET TAGS ('CostCenter' = 'Finance');。
输出:以 FinOps 审计报告格式呈现,分计算分析、存储分析、标签三部分,含发现与建议。
限制:资料未提供具体支持的云平台版本、安装命令、价格数据、节流阈值来源与集成方式;以上命令与配置仅为资料中给出的示例,实际执行前需结合环境验证。