NVIDIA的H100 AI GPU在新的基准测试中胜过了AMD的MI300X

AMD的演示和NVIDIA的回应

在AMD的“推动AI”演示中，该公司将其Instinct MI300X GPU作为其在数据中心领域AI之旅的开始。AMD将MI300X与NVIDIA的H100 GPU进行了比较，并声称MI300X在比较单个GPU时提供高达20%的更快性能，在比较8个GPU服务器时提供高达60%的更快性能。NVIDIA迅速回应称，这些基准测试与事实相去甚远。

NVIDIA H100 GPU的改进

NVIDIA于2022年发布的H100 GPU经历了各种软件改进。最新的改进包括TensorRT-LLM的改进和内核级优化，从而在AI特定工作负载中提高了性能。NVIDIA强调，这些改进使得H100 AI GPU能够使用FP8操作执行Llama 2 70B等模型。NVIDIA提供了自己的基准测试，显示DGX H100服务器配备8个H100 GPU比AMD展示的产品快2倍，并且比AMD的MI300X 8-GPU解决方案快47%。

NVIDIA使用基准测试和未来的竞争

NVIDIA辩护其使用基准测试的做法，称AMD也使用了优化的软件来评估其GPU的性能。NVIDIA强调，其围绕CUDA生态系统和新兴的AI市场构建的软件堆栈经过多年的发展，是稳定可靠的。相比之下，AMD的ROCm 6.0相对较新，尚未在实际场景中进行过测试。然而，AMD已与顶级公司建立了合作伙伴关系，将其MI300X GPU定位为NVIDIA AI解决方案的替代品。预计在不久的将来，AMD的MI300X和NVIDIA的H100将面临越来越激烈的AI市场竞争，因为新的更快的GPU即将发布。