用途
本技能用于调用 Newton C 2.6 融合模型(模型标识符:Newton::c2_6_8b_fp8_260424d7a55d5e),通过生产环境的 /query 端点,以单次无状态 POST 请求对文本、图像或视频进行推理。一次调用返回一次响应,无需 Lens 会话、批处理管道或 SSE。
适用场景包括:用户希望通过一次 API 调用对图像进行描述、分类或结构化提取;对短视频进行单次 /query 调用推理;进行无状态多模态推理(无需按会话预热或孤儿清理);从多模态输入获取 JSON 输出(提示词即模式);构建无服务器或按请求处理的处理器,此时流式 Lens 会话形态不合适。
不适用场景:实时流式视频转文本(长时间运行的摄像头画面应使用基于会话的活动监控);大型多文件批处理任务;通过嵌入进行时间序列分类(KNN / 异常检测)。
模型标识符
Newton::c2_6_8b_fp8_260424d7a55d5e
必须包含完整的 Newton:: 前缀和 fp8 段。缺少任一部分的变体将返回 400 invalid_model_version。
端点
POST {ATAI_API_ENDPOINT}/api/lens/query Authorization: Bearer <API_KEY> Content-Type: application/json
ATAI_API_KEY 和 ATAI_API_ENDPOINT 均为必填,没有默认端点。生产环境为 https://platform.u1.archetypeai.app/api。同一端点服务以下三种模态,仅请求体不同。
请求形态
文本 + JSON
将系统指令放在 instruction_prompt 中,这是 C 2.6 唯一遵循的字段;仅放在旧版 system_prompt 字段中的指令会被静默忽略,因此应完全省略 system_prompt。JSON 输出时,将模式放在 instruction_prompt,输入放在 query,并明确告知模型不要用 markdown 代码围栏包裹。
对于附加文本文件的推理:通过 /api/files 以 text/plain(.txt 文件)上传,然后将文件名放入 file_ids。模型会在提示上下文中看到文件内容。关键:仅 text/plain 有效。以 text/csv(.csv)上传的文件会被接受并逐字节存储,但其内容永远不会到达 /query 的模型,模型会从先验中静默虚构。application/json 上传会被直接拒绝。因此应将表格数据放入 .txt,或在 query 中内联。
图像
两种附加路径,均到达同一融合模型:
(a) 上传 + 在 file_ids 中按文件名引用——适用于同一图像跨多次查询复用(一次上传,多次 /query 调用)。
(b) 在 data.base64_img 事件中内联 base64——适用于一次性调用,避免上传往返。
(c) 多图像——设置 multi_image: true 进入多图像模式:每个附件是独立图像(前后对比、多视角),而非视频帧。平台限制:每请求最多 16 张图像。未设置 multi_image: true 时,图像列表表示“一个视频的帧”,需要 query_metadata;两者都缺少时请求失败并返回 400 query_failed。
视频
C 2.6 在 /query 上支持两种视频推理方式,这使其区别于 C 2.4 / 2.5 文本检查点(后者接受 .mp4 但忽略帧并回复“我看不到视频”)。
(a) .mp4 + max_frames——上传片段,GPQ 在服务端解码并均匀采样后再送入模型。无需客户端视频工具。
(b) 客户端采样帧 + query_metadata——自行发送帧(每个帧一个 data.base64_img 事件,或图像 file_ids),设置 multi_image: false,并包含带有视频元数据三元组的 query_metadata 块。query_metadata 块是使其工作的关键——没有它请求失败并返回 400 query_failed。
注意事项:max_frames 是 GPQ 在送入模型前从视频中均匀采样的帧数。默认 32,平台最大 64。超过 64 的值会静默失败:请求返回 200,但视频被丢弃,模型从先验中虚构场景。超时——将客户端请求超时设置为至少 600 秒。multi_image 在视频和多图像模式之间选择。
生成参数
所有通过 /query 的 C 模型生成均接受请求体中的采样控制:max_new_tokens(默认 256)、temperature(上限 2.0)、do_sample(默认 true,false 强制贪婪解码)、repetition_penalty(默认 1.0)、presence_penalty(默认 0.0,仅 C 2.6)、top_p(默认 0.8)、top_k(0 禁用)。
对于“提取 X”类任务,建议从 do_sample: false(或 temperature: 0.0)加上紧凑的 max_new_tokens 开始。
可复现性注意事项:采样旋钮被遵循,但贪婪解码在此部署上并非位确定性(fp8 数值/批处理位于解码器之外)。在边界判断上,残余波动足以翻转答案。如果判定重要,应聚合多次调用而非信任单次。
延迟预算
文本仅约 500 ms;文本 + JSON 输出约 600 ms;图像经 file_ids 约 1.3–1.9 s;图像经内联 base64 约 0.8–2.5 s;两图像 multi_image: true 约 2.9 s;视频 mp4 + max_frames=32 约 2–6 s;视频 2 帧 + query_metadata 约 1.9 s。以上为冒烟测试数量级,生产数据可能重 5–10 倍并相应更慢。
响应形态
响应包含 query_id、status、inference_time_sec、query_response_time_sec 和 response.response 数组。规范提取路径为 payload["response"]["response"][0]。
常见陷阱
模型标识符错误;JSON 被 markdown 围栏包裹;视频超时;多图像未设 multi_image: true 且缺少 query_metadata;max_frames 超过 64 静默失败;“视频在 /query 上不工作”的说法已过时;file_ids 接受文件名而非 fil_... uid;文本附件必须为 text/plain 而非 text/csv;混合模态调用应避免。
本地设置
在虚拟环境中安装依赖,创建 .env 文件并填入 ATAI_API_KEY 和 ATAI_API_ENDPOINT,然后运行参考脚本。脚本基于官方 Archetype AI python 客户端(pip install archetypeai)。
文件布局
技能目录包含 SKILL.md、references/ 下的 _common.py、text_query.py、image_query.py、video_query.py、csv_vs_txt_proof.py、requirements.txt、.env.example 和 sample_assets。