Lance 是字节跳动（ByteDance）发布的一个原生统一多模态模型研究项目，论文标题为《Lance: Unified Multimodal Modeling by Multi-Task Synergy》。其核心定位是在一个统一框架内同时完成图像和视频的理解、生成与编辑任务。
用途与定位 Lance 是一个 3B 激活参数（3B-active-parameter）的模型，官方强调其“原生统一”特性，即图像与视频的理解、生成、编辑都在同一框架内实现。官方明确说明 Lance 是研究项目（research project），而非打磨成熟的产品模型，目标是分享一个在相对较小模型规模和有限算力预算下研究统一图像/视频理解、生成与编辑的研究产物。
主要能力 根据官方资料，Lance 支持的任务包括：t2i（文生图）、t2v（文生视频）、i2v（图生视频）、image_edit（图像编辑）、video_edit（视频编辑）、x2t_image（图像理解）、x2t_video（视频理解）。官方称其在图像生成、图像编辑和视频生成基准上取得了有竞争力的表现。项目还展示了多轮一致性编辑（Multi-turn Consistency Editing）和智能视频生成（Intelligent Video Generation）能力。
训练与规模 Lance 从零开始训练，采用分阶段多任务训练方案，训练预算最高为 128 张 A100 GPU，训练覆盖最高 768x768 的图像生成以及 480p、12 FPS 的视频生成。官方表示输出质量会因提示词、分辨率、时长、运动复杂度和编辑场景而变化，并认为后训练方案仍有改进空间。
使用方式 环境要求：Python 3.10+、CUDA 12.4+（必需）；推理需要至少 40GB 显存的 GPU。官方在 NVIDIA A100 上测试过的依赖组合为 PyTorch 2.8.0 + cu126 + flash-attn 2.8.3，以及 PyTorch 2.5.1 + cu124 + flash-attn 2.6.3。默认安装命令使用 PyTorch 2.8.0 + cu126 方案。
安装步骤：先克隆仓库，再配置环境；若从源码安装 flash-attn 失败，可改用预编译 wheel（官方提示该 wheelhouse 来自第三方仓库，仅供参考，需自行核对 Python、PyTorch 与 CUDA 版本匹配）。随后从 Hugging Face 的 Lance-3B 下载模型权重并放入 downloads/ 目录。运行前需在 inference_lance.sh 顶部配置推理参数。
任务与参数：支持任务 t2i、t2v、i2v、image_edit、video_edit、x2t_image、x2t_video，可通过修改 inference_lance.py 中的 TASK_DEFAULT_CONFIGS 自定义各任务默认数据样本。官方建议所有任务按所提供示例的提示词格式编写输入提示词，通常可获得更好的生成质量。视频生成任务可选参数 --ENHANCE_PROMPT true 可为 T2V/I2V 启用提示词重写，该选项需要 openai==2.26.0（已列入 requirements.txt），并需通过环境变量配置重写服务：LANCE_REWRITE_API_KEY、LANCE_REWRITE_MODEL_NAME、LANCE_REWRITE_BASE_URL；官方强调不要把真实 API key 放进仓库源文件。若未提供有效重写配置，则跳过提示词重写，此时建议按示例风格编写提示词。所有任务可选参数 --CONFIG_PATH path/to/config.json 可用自定义验证 JSON/JSONL 文件替代任务默认示例配置。理解任务示例配置包括 config/examples/x2t_image_example.json（图像问答、推理与图像描述）和 config/examples/x2t_video_example.json（视频问答与视频描述）。
界面与集成：可用 python lance_gradio.py --server-name 127.0.0.1 --server-port 7860 在本地启动 Gradio 演示，该界面支持图像和视频的生成、编辑与理解。Lance 已支持 vLLM-Omni。benchmarks/ 下提供可直接运行的基准脚本。
更新记录（官方列出）：2026/05/18 发布项目主页并开源初始推理代码与模型权重；2026/05/19 技术报告上线 arXiv；2026/05/25 Hugging Face Space 上线；2026/05/26 Gradio 界面支持图像和视频的生成、编辑与理解；2026/05/29 新增图生视频（Image-to-Video）生成支持；2026/06/03 支持 vLLM-Omni；2026/06/17 发布微调代码（训练指南见 TRAIN）。
适用场景与限制 适用场景：研究统一多模态建模、图像/视频生成与编辑、图像/视频理解，以及在较小模型规模和有限算力下进行相关实验。限制：官方明确其为研究项目而非成熟产品，输出质量存在波动；推理需至少 40GB 显存；训练与生成分辨率、视频帧率有明确上限；提示词重写依赖外部 OpenAI 兼容服务配置。版权信息为 Copyright 2025 ByteDance Ltd. and/or its affiliates。项目致谢 BAGEL、Qwen2.5-VL-3B-Instruct 和 Wan2.2 的贡献者。
