SuperAPI AI 工具集

daft-udf-tuning

通用与其它

查看项目

更新于 10-15 21:39

技能介绍

用途:优化 Daft 中用户自定义函数(UDF)的性能,适合需要 GPU 推理、UDF 运行缓慢,或关注异步与批处理的场景。

三类 UDF: 无状态:@daft.func,适合简单转换;I/O 密集任务可用 async。 有状态:@daft.cls,适合初始化开销大的场景(如加载模型),支持 gpus=N。 批处理:@daft.func.batch,面向向量化 CPU/GPU 运算(NumPy/PyTorch),速度更快。

常见用法:异步 I/O 可用 @daft.func 定义 async 函数(如通过 aiohttp 请求 Web API);GPU 批量推理可用 @daft.cls(gpus=1) 在有状态类中加载模型,并用 @daft.method.batch(batch_size=32) 标注批处理方法,再通过 with_column 调用,可传 max_concurrency 控制并发。

调优参数:max_concurrency 控制并行 UDF 实例总数;gpus=N 指定每个实例的 GPU 需求;batch_size 决定每次调用的行数,过小会增加开销,过大可能 OOM;into_batches(N) 可在内存紧张时预先切分分区。

限制:资料未提供具体适用版本、依赖要求、性能数据与许可信息。