用途:该技能面向需要从图像中获取结构化数据的场景,通过 DSPy 的 dspy.Image 类型把图片与文本一并传入签名,由支持视觉的大模型完成分析、抽取或生成。
主要能力:支持从 URL 或本地文件加载图片;可搭配多种视觉模型(如 openai/gpt-4o、openai/gpt-4o-mini、anthropic/claude-sonnet-4-5-20250929、google/gemini-2.5-flash,均需自行确认视觉支持);可用 Pydantic 模型定义类型化输出;并提供常见模式,如生成 alt 文本、票据发票 OCR、图表数据抽取、UI 截图分析。
使用方式:先安装技能,命令为 npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>。使用时用 dspy.LM 与 dspy.configure 配置模型,定义 dspy.Signature,图片字段写为 image: dspy.Image = dspy.InputField(),调用时传 dspy.Image(url="...")(本地路径或 data URL 同理),直接抽取用 dspy.Predict,需要推理用 dspy.ChainOfThought。
适用场景与限制:适合产品图分类、截图文字提取、票据解析、图表读取等;不适合大规模目标检测、像素级分割、实时视频和亚 100 毫秒延迟任务,干净印刷体 OCR 通常用 Tesseract 或云 OCR 更快更省。视觉模型一般支持图片输入,但需部署前确认;大图应预处理,最长边建议不超过 1024px;不要用 dspy.Assert,改用 dspy.Refine 迭代改进。原文未提供具体定价与部署步骤。