用途:定义黑胶唱片店推荐系统的评估方式,用于计算或报告推荐质量指标、设计训练/测试划分、比较两种算法,以及撰写 CSX4207 报告或幻灯片的评估章节。核心观点是推荐质量应以排序与目录健康衡量,而非 MSE/RMSE。
主要能力:先明确“相关”的定义(显式评分阈值或隐式交互),再做无泄漏的数据划分(小数据用留一法,有时间戳优先时间切分,禁止随机行打乱)。排序指标包括 Precision@k、Recall@k、HitRate@k、MRR、AP@k/MAP@k、DCG@k/NDCG@k,按用户宏平均聚合。超越准确率的指标包括目录覆盖率、Gini 系数、新颖性、惊喜度、个性化。要求始终与随机基线、流行度基线对比,并给出每行一句话解读。
使用方式:技能提供 JavaScript 参考实现,建议放在 vinyl_record_store_backend/src/lib/recommender/evaluate.js,为纯函数、无 I/O、可单元测试,包含 precisionAtK、recallAtK、hitRateAtK、averagePrecisionAtK、ndcgAtK、mrr、meanOverUsers、catalogCoverage 等。新颖性、惊喜度、个性化需离线计算物品流行度或内容相似度后传入,不要在指标循环内重复计算。跨客户端可移植:GitHub Copilot 放在可见技能路径或项目说明中;Claude Code 放在本地技能目录或兼容插件源;Codex 同步到 $CODEX_HOME/skills/recommender-evaluation 并在重大变更后重启。无需 MCP 服务器,回退提示为“Use the Recommender Evaluation skill without MCP...”。
适用场景:推荐系统课程项目、算法对比实验、评估章节写作。
限制:报告前需验证理想排序 NDCG@k 为 1.0、留出正样本不在训练集、流行度基线使用相同划分与 k、明确 k 值与评估用户数;无法确认时应在报告中说明而非给出确定数字。资料未提供具体收费、平台支持范围或效果数据。