用途:使用 DSPy 对杂乱数据字段进行规范化与修复,适用于地址、公司名称、日期、电话号码和自由文本等字段的一致化处理。
主要能力:通过 dspy.Signature 定义清洗任务,输出 cleaned_value、confidence、change_made 等字段;提供地址标准化、公司名归一、日期转 ISO 8601、电话格式化等常见模式;支持用 Pydantic TypedPredictor 做格式校验,按置信度分流自动接受、人工复核与拒绝;可用 BootstrapFewShot 在少量金标准样本上优化。
使用方式:先明确需清洗的字段、不一致类型、目标格式与数据量;用 dspy.LM 配置模型(如 openai/gpt-4o-mini),以 dspy.Predict 调用单字段清洗器;大规模数据先在 20-50 条异常样本上推断正则/替换规则,再用 pandas 确定性应用,仅对歧义部分调用模型。安装命令:npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>;配套技能含 /ai-parsing-data、/ai-checking-outputs、/dspy-refine、/dspy-modules、/ai-generating-data 与 /ai-do。
适用场景:需规模化规范化字段、有少量金标准可优化、格式部分明确且可容忍非确定性输出的数据清洗任务。
限制:结构化模式覆盖 95% 以上时、简单类型转换、已有少量异常值、需要 100% 可复现或极端规模成本敏感时,应改用 regex、pandas 或确定性转换。须显式指定目标格式示例,否则模型会自行选择格式;相关字段(如地址各组成部分)应一并传入;注意避免破坏性归一化,可增加 meaning_preserved 字段并标记或拒绝被丢弃组成部分的结果。dspy.Assert/dspy.Suggest 已弃用,应改用 dspy.Refine 配合格式奖励函数。模型输出非确定性,成本随行数增长。具体价格、平台支持与效果数据暂未提供。