Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

编辑陈萍

端侧AI推理,高效部署PyTorch模型:官方新工具开源,Meta已经用上了

ExecuTorch 是一个端到端的解决方案,可以在移动和边缘设备(包括可穿戴设备、手机等)上实现推理功能。

在 2023 年 PyTorch 大会上,一个深受大家关心的推理问题得到了很好的解决,会上宣布了一个用于在边缘和移动设备上实现 AI 推理的解决方案:ExecuTorch,并且还是开源的,而促成这一研究的,正是 Meta AI 与 PyTorch 基金会。

ExecuTorch 地址:https://github.com/pytorch/executorch

学习文档:https://pytorch.org/executorch/stable/index.html

随着 ExecuTorch 的开源,预示着 AI 应用程序在设备上本地运行、而需连接到服务器或云成为可能。我们可以将 ExecuTorch 理解成一个 PyTorch 平台,其能提供基础设施来运行 PyTorch 程序,从 AR/VR 可穿戴设备到标准的 iOS 和 Android 设备的移动部署。

ExecuTorch 最大优势是可移植性,能够在移动和嵌入式设备上运行。不仅如此,ExecuTorch 还可以提高开发人员的工作效率。

据了解,Meta 已经验证了这项技术,并将其用于最新一代的雷朋智能眼镜,而这款眼镜也是 Meta 最近发布的 Quest 3 VR 头显的一部分。Meta 表示,作为开源 PyTorch 项目的一部分,他们旨在进一步推动该技术的研究,从而迈入在设备上实现 AI 推理的新时代。

Facebook 创始人、Meta 董事长兼首席执行官扎克伯格表示:「作为开源 AI 工作的一部分,我们与 PyTorch 基金会及其行业合作伙伴一起开源了 ExecuTorch。这一变化预示着将 PyTorch 引入了手机和可穿戴设备等边缘计算平台。ExecuTorch 使 AI 模型能够直接在设备上运行,而无需连接到服务器。」

Meta 软件工程师 Mergen Nachin 指出,「今天的 AI 模型正在从服务器扩展到边缘设备,如移动设备、AR、VR 和 AR 头显、可穿戴设备、嵌入式系统等。ExecuTorch 通过提供端到端的工作流来优化本地程序,从而解决边缘设备遇到的挑战。」

ExecuTorch 关键组件

ExecuTorch 提供了紧凑的运行时和轻量级操作注册表,以覆盖 PyTorch 模型生态系统,以及在边缘设备上执行 PyTorch 程序的简化路径。此外,ExecuTorch 还附带 SDK 和工具链,为 ML 开发人员提供了更好的用户体验。

作为 PyTorch Edge 生态系统的一部分,ExecuTorch 可以有效地将 PyTorch 模型部署到边缘设备。ExecuTorch 的优点包括:

  • 可移植性:与各种计算平台兼容,从高端移动手机到高度受限的嵌入式系统和微控制器。

  • 提高生产力:开发人员能够使用相同的工具链和 SDK,从而提高生产力。

  • 提高性能:由于轻量级运行时和充分利用 CPU、NPU 和 DSP 等硬件功能,为最终用户提供了无缝和高性能的体验。

由于 ExecuTorch 严重依赖 PyTorch 相关知识,因而,想要熟练掌握 ExecuTorch,还需提前补充相关知识。官方文档已经提供了入门级教程。例如,在构建 ExecuTorch Android 演示应用程序示例当中,大家可以跟随指导教程,从而熟悉如何使用 ExecuTorch。

最后,需要提醒大家的一点是,本次发布的 ExecuTorch 是一个预览版本,在测试和评估中可以使用,但是不建议在生产环境中使用。PyTorch 团队欢迎来自社区的任何反馈、建议和错误报告,以帮助他们改进技术。

参考链接:

https://venturebeat.com/ai/pytorch-executorch-extends-open-source-ai-for-new-quests-at-the-edge/

工程PyTorch
暂无评论
暂无评论~