caio-review

用途

caio-review 是一个命令式技能，命令为 /cs:caio-review <plan>。它充当“要求评估（eval-demanding）的首席 AI 官（CAIO）”，对任何涉及 AI 的计划进行质问式压力测试。它被定位为在“任何 AI 功能发布、任何多年供应商承诺、任何 AI 团队扩张”之前提出的六个问题。

何时运行

资料列出的运行时机包括：

在发布任何新的 AI 驱动功能之前
在签署多年期 AI 供应商合同（API 或自托管基础设施）之前
在欧盟上线任何 AI 功能之前
在重大 AI 团队招聘之前（尤其是 ML 工程师或研究科学家）
在承诺微调项目之前
在受监管领域（就业、信贷、医疗、教育等）采用 AI 之前
当创始人把“AI”这个词用在“竞争优势”或“护城河”附近时

六个 CAIO 问题

这个 AI 需要擅长什么，你会如何度量？
- 无评估集就不发布。在任何 AI 功能部署前，先定义评估标准。
- 至少 50-100 个具有代表性的输入
- 预期输出或用于评分的评分标准（rubric）
- 边界情况：模糊、对抗性、格式边缘
- 如果写不出“好”是什么样子，那就不是一个功能，而是一种感觉。
幻觉/错误率的 SLO 是什么，回退方案是什么？
- 每个 AI 功能都有失败模式，要为之规划。
- 量化 SLO：例如“事实性查询上幻觉率 <5%”
- 检测机制：监控、抽样、客户反馈回路
- 回退：人工介入复核、低风险默认回复、拒答
- SLO 被突破时的影响范围：影响多少用户，成本是多少？
在 EU AI Act 下的风险层级是什么，是否需要合格性评估？
- 如果涉及任何欧盟居民或属于受监管领域，运行 ai_risk_classifier.py。
- PROHIBITED → 无法在欧盟发布；需重新界定范围
- HIGH → 合格性评估 + 欧盟数据库注册 + 10 条义务（3-12 个月，$50-200K）
- LIMITED → 透明度义务（聊天机器人披露、AI 生成内容标记）
- MINIMAL → 无特定义务；NIST AI RMF 为自愿
API、微调，还是自建？
- 针对具体用例运行 model_buildvsbuy_calculator.py。
- 80% 的 B2B SaaS 用例：API
- 15%：微调（当具备领域特定行为 + 标注数据 + ML 团队 + 高用量时）
- <1%：从零自建
- 决策必须同时考虑经济盈亏平衡与实际可行性（数据、团队、合规）
按预期规模，12 个月的成本轨迹是什么？
- 针对工作负载运行 ai_cost_economics.py。
- API：可变成本，线性扩展
- 自托管：主要是固定成本，70B 级别通常盈亏平衡点约在每月 1-10B tokens
- 自托管的隐性成本：运维、监控、模型更新、容量、故障转移、安全
- API 的隐性成本：供应商锁定、能力漂移、速率限制、数据驻留
- 提示缓存（prompt caching）是最被低估的杠杆；检查供应商是否支持
什么角色能解阻这件事——我们是否已先招聘了前置岗位？
- 将 AI 能力映射到具体角色。创始人常混淆 AI 工程师 / ML 工程师 / 研究科学家。
- AI 工程师：应用 + 全栈 + 提示 + 评估 + 部署（多数初创公司需要这个）
- ML 工程师：微调 + 重训练基础设施（仅在平台工程师 + 标注数据之后）
- 研究科学家：模型发明（仅当模型本身就是产品时）
- 不要把研究科学家作为第一个 AI 招聘——他们需要基础设施才能产出

工作流

资料给出的命令流程：

# 1. Model selection check
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/model_buildvsbuy_calculator.py use_case.json

# 2. Regulatory classification
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_risk_classifier.py use_case.json

# 3. Cost projection
python ../../../c-level-advisor/skills/chief-ai-officer-advisor/scripts/ai_cost_economics.py workload.json

输出格式

资料定义了如下输出结构：

# CAIO Review: <plan>
**Date:** YYYY-MM-DD

## The Decision Being Made
[one sentence — which CAIO decision: model selection | risk classification | economics | next hire]

## Eval Discipline
- Eval set committed: yes/no
- SLO defined: <metric> < <threshold>
- Fallback behavior: <one line>

## Model Selection (if applicable)
- Recommended: API / FINE_TUNE / BUILD
- 3-year TCO: $X (chosen path) vs $Y (alternatives)
- Breakeven: <volume>

## Risk Classification (if applicable)
- EU AI Act tier: PROHIBITED / HIGH / LIMITED / MINIMAL
- Conformity assessment required: yes/no
- US state triggers: [list]
- Required controls open: N

## Cost Economics (if applicable)
- Monthly cost at current volume: $X
- Breakeven for self-hosted migration: <volume>
- Migration cost if applicable: $X (3-6 months)

## Org (if applicable)
- Next hire: <role>
- Why this, not the alternative: <one line>
- Prerequisite hires in place: yes/no

## Verdict
🟢 SHIP | 🟡 SHARPEN | 🔴 BLOCK

## Next Steps
[3 concrete actions]

路由

资料给出的路由指引：

/cs:cdo-review — 涉及任何训练数据影响时
/cs:gc-review — 涉及 AI 供应商合同、输出责任、训练数据许可时
/cs:ciso-review — 涉及提示注入 / 越狱 / 训练数据投毒威胁模型时
/cs:cfo-review — 涉及多年期供应商或 GPU 承诺 TCO 时
cs-chro-advisor agent — 涉及 AI 团队招聘（薪酬、晋升阶梯、职级）时
/cs:decide — 记录结论
/cs:freeze 60 — 针对多年期 AI 承诺

限制

资料未提供价格、收费模式、部署平台或运行环境的更多信息；上述内容均以资料给出的描述为准。

技能介绍

用途

何时运行

六个 CAIO 问题

工作流

输出格式

路由

相关

限制