用途:用于编排 AI/ML 流水线,包括文档摄取与重索引、多步批量 LLM 处理、夜间模型评估与微调、为 AI 模型供数的 ETL,以及数据准备与模型服务间的依赖管理。
主要能力:提供工具选型参考——Prefect 适合 Python 优先、低复杂度场景;Airflow 适合复杂 DAG 与大型团队;Dagster 适合以资产为中心、强调数据血缘;Temporal 适合长时运行、可靠性优先的流程。
必要用法:Prefect 可用 pip install prefect prefect-kubernetes 安装,用 prefect server start 启动服务,用 prefect worker start --pool default-agent-pool 启动 worker。可定义 fetch_documents、chunk_and_embed、upsert_to_vector_store 等任务并组合为 RAG 摄取 flow,通过 serve 设置 cron 调度;批量推理可用 concurrency 控制速率;Airflow 可用 KubernetesPodOperator 在 GPU 节点跑训练并做评估门禁;Dagster 以 asset 定义管线并按 cron 调度刷新。
最佳实践与限制:任务级重试用于 API 调用,流程级重试用于基础设施故障;对嵌入生成、数据拉取等昂贵步骤做缓存;输出分块数、错误率、成本等指标;用并发限制或池槽位遵守外部速率限制;将摄取、训练、部署流水线分离。以上命令与流程细节均来自公开资料;具体版本兼容、费用与部署环境要求暂未提供。