每秒处理600万次请求，谷歌发布推理引擎……服务器端移除Python

区块链文库报道：

谷歌开源XLA Serving Engine，实现无Python依赖的AI模型推理

谷歌（Google）近日正式以开源形式发布了XLA Serving Engine（XSE）。该引擎旨在无需Python执行环境的情况下处理AI模型推理任务。其核心架构设计为：在模型开发阶段支持使用Python进行训练与构建，而在面向用户请求的服务部署阶段，则采用C++运行时环境，从而实现更高效、更轻量级的服务响应。

XSE的核心组成与技术原理

谷歌于11月5日在官方博客中宣布，将XSE以Apache 2.0许可证开源。作为OpenXLA生态体系中的重要组成部分，XSE主要用于模型的导出（Export）与推理（Inference）环节。

XSE主要由两部分构成：

• 模型导出工具：开发者可使用JAX或PyTorch等框架开发模型，并将其导出为XLA SavedModel格式。其中包含描述模型计算图的StableHLO标准，以及存储在Orbax检查点中的模型权重。
• 推理运行时：基于C++构建的高性能运行时环境，负责加载并执行上述导出的模型。

通过这种分离式设计，OpenXLA编译器将模型计算过程针对不同硬件设备进行优化编译，而XSE则专注于将这些优化后的模型接入服务请求的执行环境中，实现高效响应。

内部验证与性能表现

自2025年起，谷歌已在内部服务基础设施中部署了XSE的核心组件。其应用场景涵盖YouTube Shorts、Google Ads、搜索服务以及Gemini Omni的部分模块。

根据谷歌提供的数据，XSE在内部系统中能够每秒处理超过600万次请求。需要说明的是，这一数据反映了谷歌内部的运营规模，并不直接等同于外部通用环境的处理能力。

在针对短延迟请求的性能对比测试中，XSE展现出显著优势：

• 吞吐量：相较于谷歌内部优化的Python服务器，XSE的处理能力高出2至5倍；相较于默认配置的Python服务器，则高出8至36倍。
• 资源效率：单次预测的CPU耗时比Python实现减少30%至70%，内存占用量约为Python实现的四分之一。

适用场景与局限性

XSE主要定位于推荐系统、视频识别等需要快速处理短请求的场景。谷歌将其定义为一个专注于降低单请求延迟的轻量级推理引擎。

对于涉及长上下文处理及连续生成的大语言模型（LLM），XSE并非首选方案。谷歌建议此类任务使用具备专用内存管理功能的工具，如vLLM或SGLang。

多硬件支持与未来规划

OpenXLA公开存储库指出，经XSE导出的模型包可在CPU、NVIDIA GPU以及Google Cloud TPU等多种硬件平台上运行。开发者在导出模型时，可嵌入针对特定硬件的计算信息以实现最佳适配。

XSE既可作为独立的推理引擎部署，也可集成到更复杂的微服务系统中。其设计初衷之一便是从服务请求的执行路径中移除Python解释器，从而简化部署流程并提升稳定性。

展望未来，谷歌计划推进以下工作：

• 通过与TorchTPU集成，增强对PyTorch模型导出至TPU的支持。
• 优先向内部用户开放离线编译功能，随后再向公众发布。
• 提供基于C++的数据预处理器，进一步完善端到端的推理流水线。