SuperAPI AI 工具集

semantic

通用与其它

查看项目

更新于 10-16 03:41

技能介绍

用途:Semantic 是一个零依赖的 Go 库加命令行工具,用于把自然语言查询与无障碍树元素做语义匹配,适合在自动化或测试流程中按描述定位 UI 元素。

主要能力:支持按查询查找元素(find)、为指定元素打分(match),以及分类错误(classify,例如把“could not find node with given id”归为 element_not_found 且可恢复,把“net::ERR_CONNECTION_REFUSED”归为 network 且不可恢复)。匹配策略有 combined(默认,60% 词法 + 40% 嵌入)、lexical(Jaccard 相似度 + 同义词扩展 + 角色加权)和 embedding(基于哈希的稠密向量余弦相似度)。输出格式支持 table(默认)、json(含分数与置信度)和 refs(仅 ref 字符串,便于管道传递)。

使用方式:CLI 可从快照文件或标准输入读取,例如 semantic find "sign in button" --snapshot page.json,或 pinchtab snap --json | semantic find "login";可用 --threshold、--top-k、--format、--strategy 控制行为。快照格式为 JSON 数组,元素含 ref、role、name 字段。Go 库用法为 semantic.NewCombinedMatcher(semantic.NewHashingEmbedder(128)),再调用 matcher.Find 并传入 FindOptions(Threshold、TopK),返回结果含 BestRef 与 BestScore。

适用场景:需要按自然语言描述定位界面元素、对候选元素排序或对错误做归类处理的自动化与测试场景。

限制:资料未提供安装命令、平台支持范围、性能数据与收费信息,暂未提供。