Tether AI 发布 QVAC SDK 0.15.0,支持提示批处理与GPU加速

区块链文库报道:

Tether AI 发布 QVAC SDK 0.15.0:支持提示批处理与本地 AMD GPU

作为高效端侧 AI 实体,Tether AI 近期发布了其广受欢迎的 QVAC 软件开发套件(SDK)的专属版本。此次更新引入多项增强功能,旨在提升端侧 AI 性能并优化开发者工作流。根据 QVAC 官方公告,最新 SDK 0.15.0 版本支持提示批处理、改进的移动端处理能力、新增本地代码代理,以及本地 AMD GPU 后端。此次更新再次凸显了 Tether AI 对打造高性能、不依赖云端基础设施的 AI 应用的一贯重视。

Tether CEO Paolo Ardoino 转发了 QVAC 的公告,凸显了本次更新重要性。

QVAC SDK 0.15.0 正式上线:提示批处理与本地 AMD GPU 支持登场

QVAC SDK 0.15.0 版本的核心亮点是引入了提示批处理功能,以支持大语言模型(LLM)插件。该功能允许开发者将不同提示合并为单一处理任务,并实现并发执行。与等待所有提示一并完成不同,每个生成的响应将在完成后即时返回。

此外,该版本还通过 @qvac/vla-ggml 栈提供了原生 HIP/ROCm 后端,以支持 AMD GPU。在 Linux x64 设备上,当 ROCm 可用时,系统将自动优先选择该后端而非 Vulkan。相较于 Vulkan,该实现提供了近 23% 的性能提升,与 PyTorch-ROCm 相比则提升了近 14%。

提升开发者灵活性与透明度

与此同时,另一项关键改进是集成了 OpenClaw 与 OpenCode。这使得开发者现在可以在无云的编码工作流之间进行选择,从而拓宽了 AI 开发的灵活性。总体而言,Tether AI 的 QVAC SDK 0.15.0 版本采用了包容性代码风格,为开发者带来了更高的易用性、一致性以及代码库透明度。

© 版权声明
THE END
喜欢就支持一下吧
分享