用途
awesome-openai-vision-api-experiments 是一个面向希望实验和构建在 OpenAI 视觉 API 之上的开发者和研究者的资源库。它作为一个创新实验的汇聚中心，展示从简单图像分类到高级零样本学习模型的各种应用，供初学者和专家探索视觉 API 的能力、分享发现并协作推进视觉 AI 的边界。
主要能力与覆盖范围
该仓库展示如何在以下输入上运行推理：图像、视频文件以及摄像头视频流。实验涵盖简单的图像分类、进阶的零样本学习模型等。资料中列出了多个实验主题，包括：How CLIP and GPT-4V Compare for Classification、Experiments with GPT-4V for Object Detection、Distilling GPT-4 for Classification with an API、DINO-GPT4-V: Use GPT-4V in a Two-Stage Detection Model、First Impressions with GPT-4V(ision)。此外，还列出了多篇必读论文，涉及 Set-of-Mark Prompting、GPT-4V 初步探索、GPT-4 系统卡等。
使用方式与限制
使用 OpenAI API 进行实验需要一个 API 密钥，并可通过指定链接获取。资料说明：每个 API 密钥每天可使用 100 次 API 请求。该 API 不能用于目标检测或图像分割；该问题可以通过将 GPT-4V 与 GroundingDINO 或 Segment Anything (SAM) 等基础模型相结合来解决，仓库中提供了相关示例和博客文章。仓库欢迎贡献：可以提交新实验或提出改进建议，通过 issue 或 pull request 参与；若要添加新实验，可参考贡献指南。
适用场景
适用于希望基于 OpenAI 视觉 API 进行实验、原型开发或学习的研究者、开发者以及对视觉 AI 感兴趣的初学者和专家。可用于探索图像、视频和摄像头流上的推理能力，以及将视觉 API 与基础模型结合以扩展检测和分割能力。
补充说明
资料中未提供具体的安装命令、代码示例内容、仓库文件夹结构细节、收费或价格信息，这些内容暂未提供。
