SuperAPI AI 工具集

voice-corpus

通用与其它

查看项目

更新于 10-16 03:15

技能介绍

用途:把原始导出转成 corpus.jsonl,每行一条用户本人写过的消息,供下游 profile、write、check、calibrate 读取。它解决的问题是:Sent 导出常混入他人文本(引用线程、签名、日历邮件、转发内容)和 AI 辅助草稿,直接测量会得到错误画像。

主要能力:支持 .mbox、.eml(文件或文件夹)、Slack 导出文件夹(users.json + 频道文件夹)、WhatsApp .txt、.txt/.md(每条一个样本,可带 register:/date: 头)、含 text 字段的 .jsonl。用 --me 指定地址或显示名(可重复),地址精确匹配、姓名按整词匹配;--internal-domain 默认取 --me 地址的域名。默认将收件人显示名和称呼名替换为 [name],邮箱、URL、电话、长数字串和指定姓名也会脱敏。

使用方式:先干跑查看计数与丢弃原因:python3 "${CLAUDE_SKILL_DIR}/scripts/build_corpus.py" <inputs...> --me dom@example.com --me "Dom" --internal-domain example.com --dry-run。常用开关:--since/--until、--min-words、--max-words、--drop-flagged、--date-order、--include-undated、--redact-names、--register、--home。去掉 --dry-run 正式运行。退出码 2 表示没有匹配 --me,退出码 1 表示清洗后无样本。输出 <home>/corpus.jsonl(0600)和 corpus-report.md,home 目录 0700 并带 .gitignore。

适用场景:整理 Takeout mbox、Sent.mbox、.eml 文件;导入 WhatsApp/Slack 导出并只保留本人消息;为语音画像准备邮件并脱敏姓名。

限制:交错回复(无 > 的逐行回答)无法检测,只有顶置回复能被干净切除;AI 辅助残留会被标记 ai_leftover 而非删除;去重为精确匹配;过短消息被丢弃;Slack 免费/Pro 导出仅含公开频道,DM 需 Business+;WhatsApp 需“不含媒体”导出;符号链接的 home 目录会被拒绝。这是尽力而为的假名化而非匿名化,组织、地址和机密内容仍会保留。语料留在本地,脚本不联网,但代理读入上下文的内容会发送给模型提供商,切勿 cat corpus.jsonl 到聊天中。下一步是 voice-profile,不要未经要求运行。