当今的数据中心依赖CPU来驱动运行商业软件的服务器，这将需要为独特的GenAI模型腾出空间。部署和运行GenAI模型将需要新的工具集。
英伟达首席执行官黄仁勋在本周这里的开幕主题演讲中说：“通用计算已经走到尽头，我们需要一种新的计算方式。”
黄仁勋推出了该公司AI企业平台的第五版，其中包含了他所描述的英伟达推理微服务(NIM)。这套组合软件简化了创建和开发利用英伟达 CUDA(用于公司GPU的并行计算平台和编程模型)的GenAI应用程序的过程。
分析师预计，许多企业将在内部部署小型语言模型，以便在不将敏感信息传输到公共云的情况下对其进行微调。在数据中心运行模型有时比云端更经济。
英伟达的合作伙伴瞄准企业
NIM之所以有用，是因为它简化了将实时数据定期输入到训练有素的模型中以做出最新响应的过程——这一过程称为推理。拥有自动化与模型相关过程的工具意味着传统软件工程师可以完成工作，而不必寻找难以找到的AI专家，Weights & Biases首席营销官Robin Bordoli说，该公司是AI模型训练平台的制造商。
Weights & Biases已将其软件与英伟达的推理引擎集成，因此开发人员可以在支持30个基础模型的平台上进行训练和推理。今天，Weights & Biases拥有1000名客户，其中许多是政府机构和生命科学组织，Bordoli说。
他说：“我们正在帮助下一批客户，即企业。他们永远不会从头开始构建模型，但他们想要使用现有模型，并根据自己的企业数据对其进行微调。”
英伟达已将NIM构建为在Kubernetes上运行的容器，Kubernetes是企业熟悉的开源容器编排平台，DataStax开发关系副总裁Patrick McFadin说，该公司为AI应用提供向量数据库。
McFadin说：“我立刻注意到的是，它使用Kubernetes部署。在大型企业运营基础设施的人正在使用Kubernetes，所以他们已经非常好地将自己融入其中。”
英伟达合作伙伴Dell Technologies提供多种配备英伟达 AI企业软件和GPU(H100和L40S)的PowerEdge服务器。
Dell的基础设施和电信营销高级副总裁Varun Chhabra说：“我们从大多数企业看到的是采用现成的模型，无论是大模型还是小模型，并将其与专有企业数据结合。”
Dell认为，检索增强生成(RAG)对企业来说将和推理一样重要。RAG是一种架构，它结合了信息检索系统来保护私人数据。
Chhabra说：“RAG是我们关注的一个重要领域。”
英伟达 NIM最大的好处是在一个容器中打包了推理所需的许多微服务，Chhabra说。“它以一种即插即用的方式做到了这一点。”
Chhabra说：“AI软件和加速计算需要改变数据中心。”
“这绝对感觉像我们处于一个转折点，”他说。“数据中心的彻底重建即将到来。”
英伟达 GTC的客户
在会议上，英伟达的客户描述了他们如何与GenAI合作，所有这些都处于早期阶段。这些公司包括LinkedIn、全球广告公司WPP、化妆品制造商L'Oreál以及德国索赔管理软件制造商ControlExpert GmbH。
WPP与英伟达合作开发了一款内容引擎，用于使用英伟达 Omniverse Cloud和GenAI创建客户产品的视频、3D和2D图像。该系统还使用Getty Images和Adobe内容创作技术的照片。
WPP首席技术官Stephan Pretorius表示，广告艺术的质量取决于AI模型生成作品所需数据的可用性。
他在演讲中说：“我们发现，在我们与拥有非常明确的品牌定义、非常准确的品牌个性、语调、声音等描述方式的客户合作时，我们的效果比那些模糊的客户要好得多。”
Pretorius认为，WPP使用AI模仿“人类内容创作过程”。他说：“但在我们必须处理的复杂性和数据量方面，没有AI就无法执行这样的任务。”
Pretorius认为，AI驱动的语音交流将最终取代今天的内容驱动方法。
他说：“我们认为内容消费的未来将主要是对话式的。”
L'Oreál正在测试GenAI以生成分镜头脚本图像，并使用英伟达 Omniverse进行公司包装产品的3D渲染。它还使用了几个AI模型。
该公司向其模型提供了数千张品牌图像，以及背景色、不同类型的照明和设置(如优雅的巴黎日落)。广告创作者可以使用自然语言让模型创造图像，以激发其营销37个全球品牌的创意。
该系统可以帮助想象未来的美容院或使用空间现象(如红色星云)的广告场景。
L'Oréal首席数字和营销官Asmita Dubey在一次采访中说：“发生的是数据的重新解释。而且是速度[创作]。它可以做得更快。”
在过去的六个月里，L'Oréal与英伟达 Omniverse和WPP合作为其产品创建了定制的3D模型，以便它可以更改背景、颜色和阴影，而不必在摄影棚里花费几天时间与摄影师一起。L'Oréal只需要一次工作室会议就可以捕捉到产品包装的所有角度。
该公司认为它可以节省时间和金钱，但它仍处于使用Omniverse的早期阶段。
在会议的小组讨论中，LinkedIn工程副总裁Sabry Tozin表示，该公司使用AI进行语言翻译。这使得位于内布拉斯加州奥马哈的客户服务代表能够用西班牙语、法语或德语与客户交谈，而无需了解这些语言。
Tozin说：“这使我们能够留住那些非常了解我们的产品并能够向客户提供深入答案的代表。”
ControlExpert的软件使保险公司能够让客户在发生事故后拍摄车辆损坏的照片，并通过移动应用将图像发送给供应商。
AI模型分析图像，评估损坏并返回估计的维修成本和批准的汽车修理厂列表。ControlExpert的客户包括90%的保险公司。
该公司的创新与技术总监Sebastian Schoenen说，该公司已经对20年来收集的数据进行了模型训练。它每年处理2000万个索赔。
汽车模型设计经常发生变化，修理价格也在波动，因此ControlExpert正在不断更新其模型。尽管如此，仍有一小部分案例需要人工干预。
Schoenen说：“如果我们看到我们的模型无法完成某些任务，我们就会将索赔转给人类。”