quark-torch-llm-eval
在 AMD ROCm 上对大语言模型进行端到端精度评测的技能,支持 Docker 容器或主机(无 Docker)运行,可配合 vLLM、SGLang、ATOM 等推理服务,并使用 lm-eval、lighteval 等评测框架,仅限 ROCm 环境。
找到适合任务的 Agent Skill,阅读介绍并复制安装命令。
更新于 10-31 00:15
12,985 个结果
在 AMD ROCm 上对大语言模型进行端到端精度评测的技能,支持 Docker 容器或主机(无 Docker)运行,可配合 vLLM、SGLang、ATOM 等推理服务,并使用 lm-eval、lighteval 等评测框架,仅限 ROCm 环境。
面向 GitHub PR 的资深工程师式代码审查技能,采用两阶段审批流程:先在本地生成问题清单并逐条确认,再一次性提交分组审查意见。内置 PR 描述质量、体积、单一关注点预检,以及 11 个维度的深度审查。
在 Amp 托管 Orb 中运行的 Amp 插件里创建持久 HTTP webhook 的技能,使用 amp.createWebhook 注册处理程序并在插件重载与 Orb 重启后恢复同一 URL。
将 E2E/QA 测试报告(Markdown 加截图)发布为私密 GitHub Gist 的技能。采用双 Gist 模式绕过 GitHub 渲染限制:一个存放 PNG 资源,另一个存放引用原始 URL 的 Markdown 报告。
gm-eliminate 是解决单个 PRD 行(row)的第三阶段技能:通过实时 JIT 运行逐一消除未知项,并在过程中记录新发现的未知项;仅当没有打开的未知项时才加载 gm-edit。输入为 row=<id>; session=<SESSION_ID>,输出写入 .gm/receipts/<row>/03-eliminate.md。
gm-validate 是 gm 工作流中的验证通道技能,由编排器(orchestrator)在 executor 交付编辑后派生,用于对某一行 PRD 的推送修改进行验证。它先为每条验收条款写下一个预期值,再逐项实时运行检查,记录 dispatch id 与观测值,匹配即视为通过。任一失败或出现新未知项时,返回 STATUS: fix <check id>,由编排器派发新的 executor 修复;本通道自身不执行 ELIMINATE 或 EDIT。全部通过则写入验证回执并返回 STATUS: verified <witness dispatch id>。该技能在独立会话(<parent>-v<k>)中运行,作为该行的见证者,executor 不得见证自己的编辑。输出文件为 .gm/receipts/<row>/05-validate.md。它不加载 gm-publish 也不读取 CI,CI 通道由编排器针对同一 sha 另行派发。
用于在提交前审查未提交代码变更的技能,检查安全漏洞、Bug、逻辑错误与代码质量问题,输出按严重程度分类的结构化报告,并给出文件与行号引用及修复建议。
面向 Swift 项目的测试技能,作为测试模式与实践的智能路由。适用于编写单元测试、创建 mock、测试边界情况,以及使用 Swift Testing 与 XCTest 框架。
run-e2e 是 Apache SkyWalking 仓库中的一个技能,用于在本地运行 SkyWalking 的 E2E 测试用例,基于 skywalking-infra-e2e 工具,需手动准备 e2e CLI、swctl、yq 等依赖并设置环境变量。
Minervia 更新工具,用于在保留自定义修改的前提下将 Minervia 升级到最新版本。它会检测被修改过的文件、显示版本更新内容、创建带时间戳的备份,并让你决定冲突文件的处理方式,支持预览和从备份恢复。
该技能要求在任何"已完成、已修复、已通过"等成功声明前,先运行完整验证命令并确认输出,强调以新鲜证据代替推测与自信,避免未经核实的完成声明。
gps-testers 是 Google Play Console CLI(gps)中的一个技能,用于管理各发布轨道(internal、alpha、beta 或自定义轨道)的测试人员名单,支持读取和更新测试者邮箱列表或 Google Groups,并可配合 MCP 操作调用。
Shots 是 ArchDev 中的截图与录屏工具,通过 `archdev shots` 命令把 UI 工作转化为可评审的证据。截图会以 PNG(或海报 PNG 加视频)形式写入工作树根目录下的 .astroshot/<feature>/,并记录在该目录的 manifest.json 中;评审者在 Astroshots 应用或 `archdev shots review` 中查看,评审意见写入 review.json,代理可用 `archdev shots status` 读回反馈。功能默认关闭,需由人在终端手动开启,代理不得自行启用或绕过限制。
一个用于补齐测试覆盖的 AI 技能:在代码库中定位复杂业务逻辑、边界与角落用例、以及历史回归中缺少测试的部分,随后按测试金字塔选择层级并写出缺失的单元/集成/E2E 测试,跑通真实测试套件后输出缺口与回归报告。
genai-conformance 是 arize-ai/openinference 仓库中的一个自包含一致性测试工具,位于 python/openinference-instrumentation/scripts/conformance/ 目录。它通过确定性的模拟提供商 API,对 OpenInference 各 instrumentor 进行测试,并将 OTLP trace 导出至 weaver registry live-check,打印出注册表属性命中、缺失及 advice 级别计数的控制台摘要。该工具的核心目的是验证 _genai_conversion.py 中的双重写入逻辑——即将 OpenInference 原生属性(llm.*、input.*、output.*、openinference.*)转换为 OTel GenAI 语义约定(gen_ai.*)。适用于需要运行一致性测试、提升 gen_ai.* 注册表覆盖率、扩展双重写入转换逻辑、新增提供商/测试场景/模拟端点,或检查特定 gen_ai.* 属性是否被发射的场景。该工具通过 uv run 调用,首次运行会下载固定版本的 weaver 和 semconv 至缓存目录。
deslop 是一个面向现有代码库的代码质量清理技能,用于去冗、简化、强化类型、消除重复与遗留代码,使代码更小更清晰。适合在用户要求 deslop、clean up、harden、simplify 或 deduplicate 时使用。
这是一套面向 AI 编码代理与开发者的测试编写规范,核心原则是“默认不新增测试”。它主张每条测试都会持续消耗 CI 时间、代理 token 与重构成本,只有能捕获重要回归且别处无法覆盖时才值得存在。规范给出四项价值门槛(破坏代价高、失败不易察觉、容易出错、成本低廉),要求至少满足其中三项才允许编写测试;并明确禁止类型断言、常量断言、同义反复、调用计数、空操作、快照、重复覆盖、层级错配、不稳定测试、死测试等模式。它还列出代理常照抄的低价值测试形态及替代做法,按纯规则、服务与查询、路由、组件、关键旅程划分测试层级,强调优先在既有测试中追加断言,禁止为测试添加生产代码接口,禁止削弱或跳过既有测试。
基于 PyTorch 框架的昇腾 NPU 模型推理运行时错误诊断与修复技能,系统化排查模型加载、初始化、推理执行全链路的运行时错误,覆盖 aicore timeout(507014)、HCCL 通信错误、OOM、Shape 不匹配、算子约束违反、推理卡住等场景。
PyPTO 算子精度问题调试技能,提供文件保存(pypto.pass_verify_save 与 torch.save)和二分对比(检查点 tensor)两种精度对比方法,用于定位精度差异来源和进行中间结果对比。
用于运行 ATB(Ascend Transformer Boost)CSV 测试用例、验证算子正确性的技能,需配合 CANN 环境与已编译的 ATB 测试框架,仅支持 Ascend910B 设备。
模型层 Tensor 打点与精度对比工具,在模型 forward 过程中捕获各层中间 tensor,用于 GPU/NPU 精度对比调试,支持 vLLM 与 SGLang 推理框架。
用于对 GitCode 已合入主分支的 PR 做质量抽检的技能:可按时间范围或仓库列表抽样,从评论未解决、必选标签、新增行数、测试、Issue 数、检视、标题描述清晰度等维度检查合规性,并输出 Markdown 或 CSV 表格。
用于规划、设计和实施 A/B 测试或实验的技能,帮助产出统计有效、可执行的结果。涵盖假设框架、测试类型、样本量参考、指标选择、变体设计、流量分配、实施方式与结果分析,并列出常见错误与检查清单。
CUDA-Q 入门引导技能,按参数讲解安装、测试程序、GPU 模拟、QPU 硬件与内置应用,支持 Python 与 C++。