SuperAPI AI 工具集

type4me-macos-voice-input

办公与效率

查看项目

更新于 10-15 15:11

技能介绍

Type4Me 是一款面向 macOS 的语音输入工具。它通过全局热键捕获音频,使用本地或云端的 ASR(自动语音识别)引擎进行转写,可选通过 LLM 对文本进行后处理,再将结果注入任意应用程序中。所有凭据和历史记录都存储在本地,具备无遥测、无云同步的特性。项目使用 Swift 编写。

【主要能力】 该工具支持本地与云端两类 ASR 引擎:本地引擎包括 SherpaOnnx、Paraformer、Zipformer;云端引擎包括火山引擎(Volcengine)和 Deepgram。转写完成后,可选用 LLM 对文本进行后处理。内置处理模式包括:fast(直接输出 ASR 结果,零延迟)、performance(双通道:流式加离线精修)、englishTranslation(中文语音转英文文本)、promptOptimize(原始提示词经 LLM 优化)、command(语音命令结合选中/剪贴板上下文交由 LLM 执行)以及 custom(用户自定义提示词模板)。自定义提示词支持三个上下文变量:{text} 为识别出的语音文本,{selected} 为录音开始时活动应用中被选中的文本,{clipboard} 为录音开始时的剪贴板内容。

【使用方式】 安装可从源码构建或下载预构建应用。从源码构建的前置条件为 Xcode Command Line Tools 和 CMake。构建步骤为:克隆仓库后,先执行 bash scripts/build-sherpa.sh 编译本地引擎(约 5 分钟,一次性),再执行 bash scripts/deploy.sh 完成构建、打包、签名、安装到 /Applications 并启动。也可下载 Type4Me-v1.2.3.dmg(仅云端 ASR,不含本地引擎)。若 macOS 阻止应用运行,可执行 xattr -d com.apple.quarantine /Applications/Type4Me.app。本地 ASR 模型需下载至 ~/Library/Application Support/Type4Me/Models 目录,提供三种选项:轻量版约 20MB、均衡版约 236MB(推荐)、中英双语版约 1GB。使用流程为:按下热键进入录音状态,音频流式传输至 ASR 客户端;松开或再次按下热键进入处理状态;ASR 返回文本后进行 LLM 后处理(若模式需要);最后将文本注入活动应用。

【架构与扩展】 项目分为 ASR、Bridge、Audio、Session、Input、Services、Protocol、UI 等模块。ASR 层通过 SpeechRecognizer 协议与 ASRProviderConfig 协议实现引擎抽象,并设有插件注册表 ASRProviderRegistry。新增 ASR 提供商需创建 Provider 配置、实现 ASR Client,并将提供商类型注册到注册表的 all 数组中。凭据存储于 ~/Library/Application Support/Type4Me/credentials.json,权限为 0600,代码中通过 CredentialStore 读写,禁止硬编码密钥。历史记录可使用 SQLite 数据库 ~/Library/Application Support/Type4Me/history.db,并支持在设置中按日期范围导出 CSV。

【适用场景】 适用于在任意 macOS 应用中通过语音快速输入文本,包括普通语音转文字、中文语音转英文、语音命令操作选中文本或剪贴板内容、代码审查、邮件回复草拟,以及自定义提示词驱动的 LLM 文本处理等场景。

【限制与要求】 系统要求 macOS 14.0(Sonoma)或更高版本;本地 ASR 推理推荐使用 Apple Silicon(M1/M2/M3/M4);源码构建需要 Xcode Command Line Tools 和 CMake;互联网连接仅在需要云端 ASR 提供商时使用。修改源码后需执行 git pull 与 bash scripts/deploy.sh 更新,SherpaOnnx 除非引擎版本变更否则无需重新编译。若出现应用无法打开、本地模型未被识别、SherpaOnnx 构建失败、新 ASR 提供商未出现在设置中、音频未捕获或无浮动条、凭据未保存等问题,需参照相应排查步骤处理,例如授予麦克风权限与辅助功能权限、核对模型目录结构、清理 Frameworks 目录后重试、确认提供商已注册且 providerID 唯一、修正凭据文件权限为 0600 等。价格、收费模式、性能指标等具体信息暂未提供。