SuperAPI AI 工具集

thinker-model-pack-validation

智能体与模型

查看项目

更新于 10-16 00:01

技能介绍

用途:对 Linger 导出的量化 ONNX 计算图完成 Thinker 适配,包括模型检查、打包、拆分分析、参数优化与一致性验证,并在失败时生成最小复现报告。

主要能力:区分部署子图切分(--inputs/--outputs)、流式改图(--isstream split_h|split_w)与硬件算子拆分(threshold1~3、7_graph_op_split.onnx);通过 threshold1~4、-m、--dma_prefetch 调整内存放置与算子拆分;用 tvalidator 校验 Linger 与 Thinker 推理一致性。

必要输入:量化 ONNX 路径、目标平台(venus/arcs/venusa)、真实共享内存与 PSRAM 上限、动态模型符号维度 shape 范围;可选固定 .npy 输入、同平台开启 dump 的 libthinker.so、子图边界或流式模式。禁止虚构硬件内存容量,未提供内存限制时可用平台默认值但须标记假设。

用法要点:从 Thinker 仓库根目录执行,结果目录须在 workspace/<model> 之外;保留输入 ONNX 不原地修改;参数优化后必须带 tvalidator -r;优先固定输入复测;不能仅凭退出码判断成功,需确认资源非空且日志无 Error occurred。

适用场景:量化 ONNX 模型打包、减少硬件算子拆分、内存规划调优、多资源部署子图设计、Linger/Thinker 一致性验证与故障最小复现。

限制:平台内核存在不可绕过的对齐、输入尺寸、权重块、拆分数与 workspace 限制,提高阈值无法突破;不得将 --ramsize/--psramsize 提高到真实硬件之上;不得仅为降低拆分数而使用 --inputs/--outputs/--isstream。具体阈值语义以当前版本源码为准。