SuperAPI AI 工具集

karpathy-practice-environments

智能体与模型

查看项目

更新于 10-15 23:57

技能介绍

用途:为智能体搭建练习环境(Practice Gym)与评估训练场,使其能像学生一样通过“尝试→失败→看反馈→再试”提升技能。核心观点是:LLM 训练缺的不是更多参数,而是可自动评分的练习环境。

主要能力:资料提出三类训练数据——EXPOSITION(背景知识,相当于预训练)、WORKED EXAMPLES(带推理的完整输入输出对,相当于 SFT)、PRACTICE PROBLEMS with feedback(有可验证答案与自动评分的问题,相当于 RL)。提供 PracticeGym 类模板(含 task_generator、scorer、history、sample_task、evaluate、summary),以及练习环境设计提示词、快速评估循环提示词、课程设计模板、常见技能评分标准(代码生成、推理/分析、指令遵循)、Gist 式环境规格模板。

使用方式:按提示词模板填写技能描述、当前表现、目标表现,定义任务生成器、评分器、课程与反馈格式;或对给定测试用例运行评估循环,输出 PASS/PARTIAL/FAIL、错误说明、通过率、常见失败模式与改进建议。评分标准示例:代码生成 1.0 为正确且处理边界,0.8 为漏一个边界,0.5 为核心逻辑正确但部分输入失败等。

适用场景:为智能体技能建立可重复评测与渐进式训练;属于“月度体检”工作流第 3 步,上游为 karpathy-understanding-first,下游为 karpathy-education-first,完整链路为 meta-reflection → understanding-first → practice-environments → education-first。

限制:资料未提供具体安装命令、依赖版本、平台支持、收费或价格信息;评分标准与模板为示例,实际效果取决于任务与评分器设计。验证清单要求技能定义明确、示例覆盖典型与边界、评分可自动化、失败有具体反馈、难度递进、智能体可自主重试。