谷歌 LiteRT Tensor API 发布：端侧 C++ 开发更灵活，无需重写多平台代码

端侧模型开发新工具

谷歌正式发布 LiteRT Tensor API，这是一个专为端侧机器学习模型设计的轻量级 C++ 接口。开发者可以借此直接构建、定制和优化模型，无需依赖传统转换工具。该 API 在提供原生开发灵活性的同时，保留了跨平台可移植性，适用于多种硬件目标。

解决后端耦合痛点

传统端侧开发中，C++ 计算逻辑往往与 Metal、OpenCL 或 Vulkan 等特定后端紧密绑定，每增加一种硬件目标都需要重写代码。此外，在 CPU、GPU 和 NPU 之间实现零拷贝缓冲区互通，以及拼接预处理、推理和后处理，耗时且复杂。LiteRT Tensor API 允许开发者逐算子搭建计算图，相同的图可在不同加速器上运行，无需为每个目标重新编码。

关键能力与兼容性

该 API 支持从检查点直接导入权重，包括 Hugging Face 的 .safetensors 文件。它实现零拷贝缓冲区互操作，避免在加速器缓冲区间复制数据，从而提升处理效率。此外，LiteRT Tensor API 与 AI 编码智能体高度兼容，智能体可生成 C++ 代码来构建、修改、验证和基准测试模型图，大幅降低开发门槛。

性能实测数据

谷歌使用编码智能体构建了一个多对象分割与跟踪演示应用，并以 SAM 2 模型作为基准进行跨平台测试。在 macOS 笔记本电脑（Metal）、iOS 手机（Metal）和 Android 手机（OpenCL）上运行相同 C++ 代码时，MacBook Pro 上的性能比 Apple MLX（fp16，图像编码器加掩码解码器）快约 1.5 倍。

社区反馈与后续规划

Arm AI 总监 Laurence Moroney 指出，开发者应优先从模型转换入手，仅在需要图级控制或保留预处理/后处理于加速器上时，才采用此 C++ API。他提到在 WebGPU 上，512×512 分辨率帧率从不足 10fps 提升至 30fps 以上，验证了结构化原语的性能优势。谷歌后续将支持 ML Drift 后端、更多 NPU 友好操作、自动全图量化及动态形状扩展。

来源：InfoQ