Arm与Meta联合发布ExecuTorch测试版：为边缘设备提供AI解决方案

??大家好！欢迎来到创意Ai实验室公众号。感谢大家的支持与鼓励。在AIGC探索道路上，我将与你一路同行。喜欢就星标关注创意Ai实验室公众号文末扫码加入交流群或前往我的个人网站.

在人工智能技术的迅猛发展中，Arm与Meta的PyTorch团队合作推出了ExecuTorch测试版，旨在为全球数十亿边缘侧设备提供人工智能(AI)和机器学习(ML)功能。新版本集成了KleidiAI微内核，支持4位量化优化，显著提升了Llama 3.2 1B量化模型的预填充阶段执行速度，部分Arm移动设备的文本生成速度可达每秒400个标记。

主要特点

1. 集成KleidiAI微内核：ExecuTorch测试版通过集成KleidiAI微内核，优化了4位量化模型的执行速度。这一技术使得Llama 3.2 1B量化模型的预填充阶段执行速度提升了20%，部分Arm移动设备上的文本生成速度超过了每秒400个标记。

2. 支持4位量化优化：新版本支持4位量化优化，减少了模型大小，同时保持了模型的准确性和性能。这种优化使得模型更适合在资源受限的边缘侧设备上运行。

3. 广泛的应用场景：ExecuTorch测试版的推出，为虚拟聊天机器人、文本摘要和AI助手等小型设备上的生成式AI应用提供了强大的支持。开发者可以无缝集成新的量化模型到应用中，节省时间和资源，快速在广泛的Arm设备上大规模开发和部署智能AI应用。

技术优势

1. 优化AI性能：Arm通过ExecuTorch框架优化了AI性能，使得在Arm计算平台边缘设备运行的真实生成式AI工作负载能更为快速。

2. 提升开发效率：开发者无需额外的修改或优化，便可将新的量化模型无缝集成到应用中，从而节省时间和资源，快速在广泛的Arm设备上大规模开发和部署智能AI应用。

3. 加速边缘侧AI应用开发：ExecuTorch可在Arm Cortex-A CPU和Ethos-U NPU上运行，加速边缘侧AI应用的开发和部署。

应用前景

1. 移动领域：在移动领域，ExecuTorch意味着虚拟聊天机器人、文本生成和摘要、实时语音和虚拟助手等应用能够以更高的性能完全搭载在Arm CPU的设备上运行。

2. 物联网领域：在物联网领域，ExecuTorch将提高边缘侧AI应用的实时处理能力，包括智能家电、可穿戴设备以及自动零售系统等。

3. 更易获取、更快捷的边缘侧AI体验：ExecuTorch有潜力成为全球最受欢迎的高效AI和ML开发框架之一，通过新的量化模型加速AI的普及，让开发者能够更快地在更多设备上部署应用。

结语

Arm与Meta联合发布的ExecuTorch测试版，为边缘侧设备提供了强大的AI解决方案。通过集成KleidiAI微内核和支持4位量化优化，ExecuTorch不仅提升了AI性能，还加速了边缘侧AI应用的开发和部署。这一合作标志着AI技术在边缘计算领域的重要进展，为全球数十亿边缘设备带来了新的AI可能性。

ARM地址：https://www.arm.com/markets/artificial-intelligence/software/kleidi

??我的个人公众号：会分享一些AI绘画相关的教学与工作流。

??我的社群：和创作者一起交流心得，分享经验，共同进步。

  文章内容来自于网络，由百合树AI整理，如有侵权，联系删除。如需开始AI写作请返回主页。