ki-monitoring-konzept

用途：为 AI 系统上线后的持续监控制定方案，明确监控哪些指标、频率、阈值、负责人及升级路径。方法上遵循 ISO/IEC 42001（第8章运行、第9章绩效评价）与 NIST AI RMF（MEASURE/MANAGE）；欧盟 AI 法案的日志与监督义务（第12、14、72条）仅作为参照点，义务本身的核查属于 ki-vo-compliance 插件。输入包括：系统 ID 与风险等级、模型类型（经典机器学习/大模型/混合）与训练数据来源、使用场景、现有遥测与日志基础设施、涉及的保护法益。流程分七部分：一是监控维度，含性能、数据漂移、概念漂移、公平性与偏见、稳健性与安全、可用性、合规与日志、人类监督，每项附示例指标与依据；二是按风险等级确定频率，高风险为每日/持续性能检查、每周漂移检查、每季度公平性审计、每半年完整审计，有限风险与最小风险频率依次降低，有行业监管（如 BaFin、BAFA、BfArM、BNetzA）时以其要求优先；三是阈值与升级，每个 KPI 分绿（容忍）、黄（警告，加强观察与原因分析）、红（告警，升级至 AI 负责人与风险负责人，必要时停用并上报）；四是日志与记录，高风险系统参照 AI 法案第12条自动记录生命周期事件，保留期限参照第19条，同时注意日志可能含个人数据，需制定访问与删除方案；五是人类监督，包括明确的覆写机制、监督人员培训与覆写决策记录，并限制自动化偏见；六是事件管理，区分严重事件与内部事件，明确内外部报告路径与经验教训归档；七是审计，内部审计至少每年一次，第三方供应商依合同审计权及 BSI AIC4 评估。输出格式为结构化监控方案，含 KPI 表、升级矩阵、审计计划等。常见风险：无阈值、缺漂移检查、公平性仅看总体、覆写机制流于形式、忽视日志的个人数据属性、把 AI 法案义务写进监控方案而非交由合规插件处理、忽略行业监管。