英伟达与 VMware昨日宣布扩大策略合作伙伴关系，推出 VMware Private AI Foundation with NVIDIA，用自家软硬件在 VMware 云端基础设施上运行，估计可让数十万家企业运行生成式 AI，新平台预计 2024 年初上市。
双方表示，VMware Private AI Foundation with NVIDIA 让企业可自定义模型并运行生成式AI应用程序，包括智能聊天机器人、助理、搜索和摘要生成等，此平台主要由英伟达提供生成式AI软件和加速计算，建立在VMware Cloud Foundation上，并针对AI进行优化。
VMware 首席执行官 Raghu Raghuram 表示，生成式 AI 和多云环境是完美的结合。 客户数据无处不在，存在他们的数据中心、边缘设备和云中。 与英伟达合作将使企业能够放心地在其数据附近运行生成式 AI 工作负载，同时解决企业对数据隐私、安全和可控性的担忧。
英伟达创办人暨首席执行官黄仁勋指出，世界各地的企业都在竞相将生成式AI与其业务整合，公司与VMware扩大合作将为金融服务、医疗保健、制造等领域数十万客户，提供他们所需的全端软件和运算，以使用通过自有数据构建的自定义应用程序来释放生成式AI的潜力。
双方补充，企业为更快地获得业务效益，正寻求简化生成式 AI 应用的开发、测试和部署流程。 麦肯锡估计，生成式 AI 每年可能为全球经济增加多达 4.4 万亿美元的价值。
VMware Private AI Foundation with NVIDIA 将使企业能够利用这种能力，定制大型语言模型，为其内部使用生成更安全和私有的模型，向其用户提供生成式人工智能服务，并且更安全地大规模运行推论工作负载。
双方新平台将整合 AI 工具，使企业能够以具成本效益的方式运行在其私有数据上训练的经过验证的模型，通过将数据建立在 VMware Cloud Foundation 和英伟达的 AI Enterprise 软件上，预期产生八大效益。
第一为隐私，使客户在拥有数据的任何地方轻松运行 AI 服务，并采用保护数据隐私和安全访问的架构; 第二则是企业可在建立和运行其模型的地点有广泛的选择，从英伟达 NeMo 到 Llama 2 及更高版本，包括领先的 OEM 硬件配置，未来还可能涵盖公有云和服务供应商的方案。
第三为效能，正如最近行业基准测试所证明的，在某些使用案例中，在英伟达加速基础设施上运行将提供等于甚至超过裸机的效能; 第四为数据中心规模，通过虚拟化环境中的GPU扩展优化，可让AI工作负载在单一虚拟机中扩充至16个vGPU/GPU，并跨越多个节点以加速生成式AI模型的微调与部署。
第五为降低成本，将最大程度地利用跨GPU、DPU和CPU的所有运算资源，降低整体成本，并建立一个可在团队之间有效共享的资源池环境，第六为加速储存，看好 VMware vSAN Express 储存架构 （ESA） 将提供性能优化的 NVMe 储存，并支持基于 RDMA 的 GPUDirect 储存，允许从储存直接 I/O 传输到 GPU，无需 CPU 参与。
第七则为加速网络，通过vSphere与NVIDIA NVSwitch技术深度整合，进一步实现多GPU模型的执行，而不会有GPU之间的瓶颈问题，最后则可满足快速部署和价值，vSphere深度学习VM镜像和影像库通过提供稳定的一站式解决方案影像（包括预安装的框架和效能优化库），支持快速原型制作功能。
