SuperAPI AI 工具集

ov-gguf-add-architecture

智能体与模型

查看项目

更新于 10-16 03:11

技能介绍

用途:在 OpenVINO GGUF 前端的原生 .gguf 构建器中启用新的模型架构或模型家族,也可用于判断某个 GGUF 模型是否已被支持。

主要能力与用法:先阅读 src/frontends/gguf/docs/adding_an_architecture.md。资料指出,transformer 家族中的大多数架构无需写代码,只需在 arch_registry.cpp 中添加 general.architecture 字符串,并配置正确的 RoPE 类型。该文档还列出了哪些结构特征会从张量表和元数据中自动检测,以及如何验证新架构。

支持性检查:先查看 src/frontends/gguf/docs/supported_models.md,确认目标架构是否已被接受,以及其支持是如何验证的。

何时写代码:仅当该家族在结构上属于全新情况时,才参考文档中的“10% case”部分,再添加构建器代码。

验证与回归:按文档规定进行验证,包括图形指纹(graph-fingerprint)检查;对共享构建器逻辑做任何修改后,需重新运行其他已支持架构的验证。

限制:资料未提供安装命令、依赖版本、具体平台、性能或收费信息;实际支持的架构清单及验证结果以仓库文档为准。