实时边缘 AI 对于医疗、工业和科学计算至关重要,因为这些任务关键型应用需要即时数据处理、低延迟和高可靠性,以确保作出及时准确的决策。这些挑战不仅涉及硬件平台上的高带宽传感器处理和 AI 计算,还需要企业级 AI 软件来支持整个边缘计算软件堆栈。
NVIDIA IGX 专为工业和医疗环境而设计,可为企业提供边缘 AI 所需的性能、耐用性、安全性和保密性。借助 NVIDIA AI Enterprise 上的 GPU 加速计算,IGX 加速了各行业先进的 AI 解决方案的开发,并大幅降低时间和成本,使企业无需花费数年时间设计自定义系统和定制 AI 模型。
在 COMPUTEX 2024 上,IGX 进行了一次重大更新,引入生产就绪型 NVIDIA AI Enterprise IGX 并扩展了 IGX 系统。所有相关的改进都提供长达 10 年的硬件和软件支持,使企业能够提供安全可靠的 AI,以支持人机协作。
随着 NVIDIA IGX-SW 1.0 的公开发布,NVIDIA IGX 上的软件堆栈现已投入生产。您还可以获得 NVIDIA AI Enterprise IGX 的长期支持,并在 NVIDIA 的支持下放心地部署您的产品。
为满足对多模态生成式 AI 部署和高带宽信号处理日益增长的需求,此版本将 AI 计算能力扩展到 1705 TOPS。相比使用板上集成 iGPU,AI 性能提升了 7 倍。借助此类高性能 AI 计算,您可以轻松运行要求严苛的 AI 任务,并支持生成式 AI 应用。
此版本还提供一个简单易用的 Web 界面来安装所有固件,有效简化了安装过程:只需选择所需的固件,然后单击安装按钮。
从下载中心下载 NVIDIA IGX-SW 1.0 公开版本,所有软件堆栈均可免费用于开发和评估。
在生产方面,软件堆栈由 NVIDIA AI Enterprise IGX 提供支持,并通过 NVIDIA 专家提供企业级长期支持。订阅 NVIDIA AI Enterprise IGX 后,您可以访问以下选项:
这两个分支均可提供对安全漏洞、API 稳定性、错误修复的持续监控,并由 NVIDIA 专家和工程师提供技术支持和及时解决问题。有关更多信息,请参阅如何使用 NVIDIA AI Enterprise IGX 支持任务关键型边缘 AI。
首先,将固件、操作系统和计算堆栈下载到 NVIDIA IGX Orin 开发者套件。有关安装的更多信息,请参阅 NVIDIA IGX 用户指南。
要开始使用 NVIDIA AI Enterprise IGX,请申请 NVIDIA AI Enterprise IGX 软件试用版。
NVIDIA IGX 支持 NVIDIA 提供的所有用于边缘的 SDK、应用框架和工具。
图 1. IGX Orin 硬件上的 NVIDIA 应用框架
它包括以下应用框架:
使用 NGC 中的预训练模型缩短模型开发时间,使用合成数据生成器来创建用于模型训练的合成数据,并使用 NVIDIA TAO 工具套件快速训练和优化模型,以实现最佳模型性能。
多模态 AI 和生成式 AI 在处理非结构化数据和多样化环境方面变得越来越重要。
您可以在 Omniverse 中找到许多此类应用示例和生成式 AI 模型,在 /nvidia-holohub GitHub 库中也有相关资源。
NVIDIA IGX Orin 平台引入了一款全新产品—— IGX Orin 500 系统模块。它为 OEM 提供了设计载板和自定义配置的灵活性,以满足客户需求。在不牺牲企业软件支持的情况下,IGX Orin 500 具有与 IGX Orin 700(此前名为 IGX Orin Boardkit)相同的 iGPU、CPU、内存和存储,并且能够通过附加 sMCU 来实现功能安全,适用于机器人和智能农业应用。
图 2. NVIDIA IGX Orin 产品系列
表 1. 主要特性比较* 1705 TOPS = 248 TOPS(GPU)+ 1457 TOPS(dGPU)
通过使用 NVIDIA IGX Orin 500 设计指南,OEM 和 ODM 合作伙伴可以开始进行定制载板设计。对于所有 IGX 系统,OEM 完整系统都需要通过相同的 NVIDIA 认证流程,以确保获得企业级软件支持和最佳的 AI 软件性能。这种严格的测试和验证降低了部署可支持复杂、计算密集型生成式 AI 任务的专用基础设施所涉及的风险和时间。
NVIDIA 认证的 IGX 系统将很快通过指定的 OEM 合作伙伴提供:https://blogs.nvidia.com/blog/nvidia-certified-systems-spectrum-x-igx/
有关 NVIDIA IGX 平台及其最新进展的更多信息,请参阅 NVIDIA IGX 页面:https://www.nvidia.com/en-us/edge-computing/products/igx/
IGX 下载中心:https://developer.nvidia.com/igx-downloads
*与NVIDIA产品相关的图片或视频(完整或部分)的版权均归NVIDIA Corporation所有。