部门目标以至低于Hopper。生成速度约为每秒450个Token。不外评估AI芯片还有其他维度。英伟达芯片虽然价钱昂扬,英伟达打算推出的下一代Vera Rubin(FP4)架构芯片得分高达19.5,谷歌的TPUv7(FP8)得分仅为4.3,测算成果显示,英伟达Blackwell芯片每生成百万Token的成本则为25美分(约合1.70元人平易近币),另一大环节尺度是每百万Token的生成成本取GPU每小时运转成本的比值!做为对比,位居榜单第一!
但摩根士丹利认为其计较效率远超定制芯片。其建形成本将是利用谷歌TPU或亚马逊Trainium芯片建立划一规模数据核心的两倍。超大规模数据核心运营商利用英伟达当前的Blackwell AI GPU建立一座1吉瓦规模的数据核心,GB300(FP8)得分为6.0,英伟达芯片的每瓦机能比这些定制ASIC芯片超出跨越2到8倍。亚马逊的Trn3(FP8)得分仅为2.5,英伟达其他芯片Vera Rubin(FP8)得分为6.8,此前,按照Nebius测算,
