SuperAPI AI 工具集

tripy-new-operation

编程与开发

查看项目

更新于 10-16 02:34

技能介绍

用途:为 nvtripy 添加新的数学、张量或神经网络算子,或创建映射到 TensorRT/MLIR 算子的前端函数,并扩展算子注册表。

架构:算子遵循 Frontend → Trace → MLIR 流水线。Trace 算子位于 nvtripy/trace/ops/,定义计算图节点,负责秩推断、dtype 推断与 MLIR 代码生成;前端算子位于 nvtripy/frontend/ops/,是公开 API 函数,含导出、约束、文档字符串,并通过 create_op() 桥接到 Trace 算子;两个 init.py 需更新以便自动发现。

主要步骤:一、创建 Trace 算子,继承 TraceOp,设置 infer_rank(可用 InferRankPolicies 的 same_as_input、same_shape_as_input、same_as_shape_of_shape_input、max_of_inputs 或自定义),实现 to_mlir 返回 MLIR 操作列表;可选覆盖 infer_dtypes、infer_devices、get_num_outputs、str_skip_fields。相似算子族可用工厂模式(参考 trace/ops/unary.py)。二、创建前端算子,使用 @export.public_api(document_under=...) 与 @wrappers.interface(...) 定义输入约束和输出保证,通过 op_utils.create_op(MyOp, [input], dim=dim) 桥接。三、在 nvtripy/frontend/ops/init.py 添加导入;trace/ops/init.py 通常为空。四、如需 tensor.my_op() 调用,在 TENSOR_METHOD_REGISTRY 注册。

文档与测试:文档字符串需含 Args、Returns 和可运行的 .. code-block:: python 示例;测试添加在 tests/frontend/ops/ 与 tests/trace/ops/。

限制:资料未提供具体安装命令、版本要求、性能数据或收费信息。