langfair
AI开发平台LangFair 是一个 Python 库,用于针对具体用例对大型语言模型(LLM)进行偏见与公平性评估。它采用“自带提示(BYOP)”方式,让用户根据自身用例定制评估,而不是仅依赖静态基准。LangFair 关注基于模型输出的指标,无需访问模型内部状态,适合治理审计和真实场景测试。它覆盖文本生成、摘要、分类、推荐等用例,提供毒性、刻板印象、反事实公平性、分类公平性、推荐公平性等指标,并支持对抗性红队评估。库内含 AutoEval 和 SelfEval 类,前者两行代码完成多步评估,后者允许用户自行生成响应后评估。该库由 CVS Health 开发并开源,提供完整文档、示例笔记本和研究论文。