TAHO 是一款旨在消除计算浪费的基础设施软件,主要面向 AI、云与 HPC 场景。它由 TAHO Labs 推出,定位为“直接替换(drop-in)”的软件层,用来挽救被闲置的 GPU 容量,使工作负载在用户已有的机器上运行得更快、成本更低。
用途方面,TAHO 关注所谓的“执行差距”:虽然单芯片峰值算力在八年内提升了约二十倍,但实际兑现的算力几乎没有同步增长。资料称,如今生产集群中的 GPU 通常只有约 5% 的利用率。被购买、供电、冷却却从未转化为有效工作的容量构成了不断扩大的浪费池。TAHO 的目标就是把这部分浪费转化为可用执行能力。
主要能力上,TAHO 改变了执行的粒度。传统做法是把整个工作负载放到一台机器上,导致处理器一部分忙碌、大部分空闲。TAHO 将工作负载分解为小的作业(称为 unit),再把每个作业路由到与其匹配的资源上执行,从而让硬件被填满而非闲置。资料强调,这来自一个动作:把已经付费的硬件打包利用起来,而不是让它空转。
使用方式上,TAHO 无需淘汰现有系统,也无需重写代码。它位于编排与服务层之下,上层的一切继续工作,只是变得更快。部署位置可以是用户已有的基础设施,也可以是跨多个云的环境。资料提到“Prove it in your stack”,即带着真实工作负载来体验差异;同时显示 Google Cloud 版本即将推出(Coming soon)。
适用场景上,TAHO 面向 AI 与 HPC 工作负载,适用于已有 GPU 或异构硬件、已有编排系统的组织,希望在不为新硬件付费、不迁移、不改代码的前提下提升利用率与速度。它可以运行在任意硬件、任意编排器、任意地点。
限制方面,资料未提供具体支持的硬件型号、操作系统、编排器清单、部署步骤、定价、性能提升幅度或安全合规信息。TAHO 的具体安装命令、代码示例、接口文档在现有资料中暂未提供。