3月19日|英伟达正式发布Dynamo,号称是“AI 工厂的操作系统”。Dynamo是一个“分布式推理服务库”。本质上,它是一个针对用户需求token而无法生产足够token之间问题的开源解决方案。黄仁勋展示了一张关于推理的图表,X轴显示用户每秒的Token数,Y轴显示工厂每秒的Token数。在Dynamo、Grace Blackwell NVLink72超级芯片的加持下,Blackwell相比Hopper可实现25倍的性能提升。而在推理模型中,Blackwell的性能是Hopper的40倍。黄仁勋还打趣道,有了上述最新技术加持,搭建AI工厂的厂商“买得越多、省得越多”。
新闻来源 (不包括新闻图片): 格隆汇