SuperAPI AI 工具集

cloud-storage-optimization

智能体与模型

查看项目

更新于 10-15 16:16

技能介绍

用途:跨多家云厂商优化云存储的成本与性能,通过压缩、智能分层、数据分区与生命周期管理,在满足可访问性和合规要求的前提下降低存储费用。

适用场景:降低存储成本、优化数据访问模式、实施分层存储策略、归档历史数据、提升数据检索性能、管理合规要求、组织大型数据集,以及优化数据湖与数据仓库。

主要能力:启用 AWS S3 智能分层并设置归档层级;分析存储用量;结合压缩与分区策略;使用 Terraform 进行多云存储配置;针对数据湖的分区策略。推荐使用 Parquet 或 ORC 格式用于分析,按时间和可查询维度分区,启用版本控制,使用 gzip、snappy、brotli 压缩,定期监控成本,实施生命周期策略并归档冷数据。避免存储未压缩数据、长期保留原始日志、仅使用热存储层、存储重复数据或忘记清理旧测试数据。

用法示例: aws s3api put-bucket-intelligent-tiering-configuration
--bucket my-bucket
--id OptimizedStorage
--intelligent-tiering-configuration '{ "Id": "OptimizedStorage", "Filter": {"Prefix": "data/"}, "Status": "Enabled", "Tierings": [ {"Days": 90, "AccessTier": "ARCHIVE_ACCESS"}, {"Days": 180, "AccessTier": "DEEP_ARCHIVE_ACCESS"} ] }'

aws s3api list-bucket-metrics-configurations --bucket my-bucket

参考指南涵盖 AWS S3 存储优化、数据压缩与分区策略、Terraform 多云存储配置、数据湖分区策略。

限制:资料未提供 Azure Blob 与 GCP Cloud Storage 的具体命令与实现细节,相关部分暂未提供;未提及收费、价格或性能提升的具体数值。