AIKit 是一个综合平台，旨在帮助用户快速开始托管、部署、构建和微调大型语言模型（LLM）。它提供三大主要能力：推理、微调和 OCI 打包。
用途： AIKit 用于简化开源 LLM 的部署、构建和微调流程，使开发者能够轻松地在本地或 Kubernetes 环境中运行和定制语言模型。
主要能力：
- 推理：AIKit 使用 LocalAI，支持广泛的推理能力和格式。LocalAI 提供与 OpenAI API 兼容的 REST API，因此可以使用任何兼容 OpenAI API 的客户端（如 Kubectl AI、Chatbot-UI 等）向开源 LLM 发送请求。
- 微调：AIKit 提供可扩展的微调接口，支持 Unsloth，实现快速、内存高效且易于使用的微调体验。
- OCI 打包：将模型打包为 OCI 工件，以便通过任何符合 OCI 标准的注册表进行分发。支持 CNCF ModelPack 规范和通用工件打包。
使用方式： AIKit 无需 GPU、互联网访问或额外工具，仅需 Docker 或 Podman。它提供声明式配置，便于推理和微调。用户可以在本地机器上快速开始，运行后访问 http://localhost:8080/chat 即可使用 WebUI。AIKit 提供与 OpenAI API 兼容的端点，因此可以使用任何兼容 OpenAI API 的客户端。AIKit 还提供预置模型，开箱即用。用户也可以创建自己的镜像并托管在选择的容器注册表中。
适用场景：
- 本地或 Kubernetes 环境中的 LLM 部署。
- 需要与 OpenAI API 兼容的客户端集成。
- 对开源 LLM 进行微调。
- 通过 OCI 注册表分发模型。
- 支持多模态模型和图像生成。
- 支持 GGUF（llama）和 GGML（llama-ggml）模型。
- 支持 AMD64 和 ARM64 CPU，以及 NVIDIA CUDA 和 AMD ROCm GPU 加速推理。
- 支持气隙推理，使用自托管或本地注册表，前提是模型内容和依赖项已预先烘焙或镜像。
限制：
- 默认情况下，启动时下载模型的运行器镜像不支持气隙环境。
- AMD ROCm 支持目前仅适用于 linux/amd64 上的 llama-cpp 后端，且为实验性功能。
- Apple Silicon 支持为实验性功能，仅支持 gguf 模型，且仅适用于 Apple Silicon，不适用于其他架构（包括 Intel Mac）。
- 预置的 GPU 镜像基于 CUDA，对于 AMD GPU 需要自行创建镜像。
- 部分功能（如微调、OCI 打包）的具体使用步骤和配置细节需参考 AIKit 网站文档。
其他特性：
- 最小镜像大小，减少漏洞和攻击面。
- 支持 SBOM、来源证明和签名镜像，确保供应链安全。
- 支持单个镜像包含多个模型。
- 支持 NVIDIA CUDA 和 AMD ROCm GPU 加速。
- 提供贡献指南。
更多信息及如何微调模型或创建自己的镜像，请参阅 AIKit 网站。
