SuperAPI AI 工具集

paddleocr-ui-test

测试与质量

查看项目

更新于 10-15 16:51

技能介绍

用途:该技能用于 AI 驱动的 UI 测试,将 PaddleOCR 截图分析与 DOM/无障碍树交叉校验结合,进行智能视觉回归测试。适用于需要从截图验证 UI、检查按钮文本是否正确、校验 UI 是否符合预期的场景。

主要能力:提供六级测试。L1 文本一致性,比较 OCR 文本与预期文本,检测错别字、缺失或多余文本、编码问题与文本截断;L2 布局合理性,分析 OCR 框坐标,检测元素重叠、文本溢出、组件错位;L3 DOM 一致性(核心功能),交叉比对 OCR 所见与 DOM 声明,检测 DOM 有但未渲染、渲染但不在 DOM、文本不匹配与计数差异;L4 无障碍,联合 OCR 与无障碍树分析视觉无障碍问题,如低对比度文本、缺失标签;L5 国际化,检测多语言 UI 中的语言不匹配、未翻译字符串;L6 动态内容,比较截图序列验证状态转换,检测加载状态未清除、动画卡住、内容未更新。

使用方式:需 Python 3.8+ 及 openai、playwright、Pillow,配置 PADDLEOCR_API_KEY 或 SILICONFLOW_API_KEY 环境变量,并执行 playwright install。运行 /ui-test 命令或直接执行脚本:python3 scripts/ui_test.py --url https://example.com --config examples/test-config.json。参数包括 --url、--config、--levels(默认 L1,L3)、--viewport(默认 1280x720)、--wait(默认 2000)、--output、--format、--source-map、--annotate。执行流程为:Playwright 导航、等待稳定、截图、提取无障碍树、发送截图至 PaddleOCR 提取文本与坐标、交叉校验、映射源码位置、生成报告、可选生成标注截图。

输出与集成:支持 JSON 与 Markdown 报告,提供 --source-map 时可将问题映射到源文件:行号。可与其他技能集成,如先用 dogfood 探索性分析再回归验证,或用 dev-browser 导航并截图后交由本技能分析。

限制:资料未提供具体价格、收费、平台支持范围、OCR 准确率及性能数据;部分检测依赖 OCR 置信度推断,实际效果暂未提供。