SuperAPI AI 工具集

chatqna-docker-deploy

部署与运维

查看项目

更新于 10-16 02:39

技能介绍

用途:将 Chat Question and Answer Core 示例应用以容器方式部署,代码根目录为 sample-applications/chat-question-and-answer-core/。支持三种后端配置:OpenVINO CPU(OPENVINO)、OpenVINO GPU(OPENVINO-GPU)、Ollama CPU(OLLAMA)。

主要能力:完成环境变量设置、配置选择、容器启动与验证,并生成部署报告,包含所选运行时配置、镜像来源(预构建标签或本地构建)、是否使用固定默认标签、访问 URL 与 API 文档 URL,以及令牌/模型/设备相关警告。

使用方式:先确认后端(openvino 或 ollama)、设备(cpu 或 gpu,GPU 仅对 OpenVINO 有效)、镜像来源、可选 MODEL_CONFIG_PATH 与 HUGGINGFACEHUB_API_TOKEN。缺失时默认 openvino + cpu。预检使用 docker --version 与 docker compose version。选择配置:OpenVINO CPU 用 source scripts/setup_env.sh;OpenVINO GPU 用 source scripts/setup_env.sh -d gpu;Ollama CPU 用 source scripts/setup_env.sh -b ollama。启动用 docker compose -f docker/compose.yaml up -d。验证用 docker compose -f docker/compose.yaml ps、logs --tail=150 及 curl -sf "http://${HOST_IP:-127.0.0.1}:8102/v1/chatqna/health"。停止用 docker compose -f docker/compose.yaml down,深度清理用 down -v --remove-orphans。

适用场景:部署或启动 ChatQnA 容器、运行 docker compose、部署 OpenVINO GPU 或 Ollama 后端。

限制:仅使用 Docker Compose 执行部署操作;GPU 请求但无 /dev/dri/render* 时回退 CPU;首次启动可能因模型下载/转换耗时较长;未提供的信息暂未说明。