SuperAPI AI 工具集

kelly-local-model-lab

数据与分析

查看项目

更新于 10-16 01:28

技能介绍

用途:在 Apple Silicon Mac 上做可复现的本地模型微调实验。用 Busabase 保存结构化状态与溯源,由受信本地 Agent/Worker 领取训练任务并执行计算;AirApp 只负责审阅示例、运行、评估和已注册适配器,不启动 MLX、不读取本地模型文件、不自行训练。微调改变行为,不替代 RAG 注入最新知识。

主要能力:逐条审阅训练示例(approve、request_changes、block),保留批注、审阅人、时间戳、来源与内容哈希;仅导出已批准示例,按来源等抗泄漏方式切分,生成 train.jsonl、valid.jsonl 与锁定 test.jsonl,上传不可变快照并记录 SHA-256。创建含基础模型与修订、方法、快照引用/哈希、配置的训练运行,原子领取并记录心跳,先评估基础模型,训练适配器,再用同一锁定测试集与解码设置评估适配器,上传适配器、完整报告与模型卡,由人工决定晋升、搁置或拒绝。

默认实验:基础模型 mlx-community/Qwen3-0.6B-4bit,方法 QLoRA(经 MLX-LM),任务为简短 App-in-Skill 描述转严格 app_spec JSON,指标为 JSON 有效性、schema 有效性、精确字段准确率与延迟,输出 LoRA 适配器。客服训练使用 support_qa 任务,评估指标为归一化精确答案匹配与 Unicode 字符 F1。

使用方式:先完成 Space 选择与依赖检查;本地冒烟命令:python3 -m venv .venv;.venv/bin/python -m pip install -r requirements-mlx.txt;.venv/bin/python scripts/mlx_smoke.py。客服 QA 同步与训练:pnpm sync:support-qa、pnpm sync:support-qa -- --apply、.venv/bin/python scripts/mlx_smoke.py --task support_qa --data <snapshot-directory>。MLX-LM 版本须固定在 requirements-mlx.txt 中。输出位于被忽略的 .cache/smoke-run/,报告写入 report.json。

UI 含 #/overview、#/examples、#/runs、#/evaluations、#/registry、#/settings;?demo=1 等参数进入演示模式,lang=en 或 lang=zh 切换语言,演示不写 Busabase。

限制:依赖不可用时停在 Busabase 操作前并报告,禁止用 SQLite 或本地 JSON 替代。不得从可变实时查询训练;基线须用同一锁定用例与解码设置。单一来源不足以支持晋升,需至少三个独立来源组并保留一组锁定测试。Space 或数据集含糊、缺少审阅与溯源、领取后变更、检测到测试泄漏、模型许可不兼容、哈希失败或密钥将进入浏览器时应停止。捆绑训练数据仅为流水线冒烟夹具。已部署的 AirApp 不能访问本机 localhost。其他收费与平台信息暂未提供。