AI项目和框架
AI工具集介绍和收录了当前流行的AI研究项目和框架，紧跟最新AI领域的进展，解读AI研究论文和方法框架，帮你快速了解这些项目的工作原理。
HART – 麻省理工学院推出的自回归视觉生成模型
HART（Hybrid Autoregressive Transformer）是麻省理工学院研究团队推出的自回归视觉生成模型。能直接生成1024×1024像素的高分辨率图像，质量媲美扩散模型。H...
AI工具
2年前 (2024)
DELIFT – 数据高效语言模型指令微调算法
DELIFT（Data Efficient Language model Instruction Fine-Tuning）是新型算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶...
AI工具
2年前 (2024)
StoryTeller – 字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
StoryTeller是字节跳动、上海交通大学和北京大学共同推出的系统，能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情...
AI工具
2年前 (2024)
FlipSketch – 萨里大学推出的文本引导生成无约束草图动画的AI系统
FlipSketch 是萨里大学推出的创新系统，能将静态绘图转变为文本引导的草图动画。技术基于三个关键创新实现：微调草图风格的帧生成、用噪声细化保持输入草图视...
AI工具
2年前 (2024)
EchoMimicV2 – 阿里推出的开源数字人项目，能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMi...
AI工具
2年前 (2024)
TÜLU 3 – Ai2 推出的系列开源指令遵循模型
TÜLU 3是艾伦人工智能研究所（Ai2）推出的一系列开源指令遵循模型，包括8B和70B两个版本，未来计划推出405B版本。模型在性能上超越Llama 3.1 Instruct版本，...
AI工具
2年前 (2024)
Markdown-to-Image – 开源的在线 Markdown 转海报编辑器
Markdown-to-Image是开源的Markdown 转为海报的编辑器，作为React组件能将Markdown文本内容转换成图像，适用于创建社交媒体帖子、海报和其他视觉内容。工具支...
AI工具
2年前 (2024)
AutoVFX – 自然语言驱动的视频特效编辑框架
AutoVFX是先进的物理特效框架，是伊利诺伊大学香槟分校研究团队推出的，能根据自然语言指令自动创建真实感和动态的视觉特效（VFX）视频。框架集成神经场景建...
AI工具
2年前 (2024)
BALROG – 基准测试工具，用于评估LLMs和VLMs在复杂动态环境中的推理能力
BALROG是评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏上的推理能力，特别是模型在动态环境中的规划、空间推理和探索能力。基于一系列挑战性的游戏...
AI工具
2年前 (2024)
LTX Video – Lightricks推出的开源AI视频生成模型
LTX Video是Lightricks推出的开源AI视频生成模型，能在4秒内生成5秒的高质量视频，速度超过观看速度。基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，...
AI工具
2年前 (2024)