英伟达推出最新AI芯片H200显存带宽提速到了4
2024-03-28近日，英伟达在2023年全球超算大会（SC23）上推出了一款最新的AI芯片H200，用于AI大模型的训练，相比于其前一代产品H100，H200的性能提升了约60%到90%。这款新芯片是英伟达H100的升级版，与H100同样基于Hopper架构。 在H200的升级中，主要增加了141GB的HBM3e显存，显存带宽从H100的3.35TB/s增加到了4.8TB/s。这样的升级为大模型训练提供了更强大的性能支持。在大模型推理表现上，H200在700亿参数的Llama2大模型上的推理速度比H100快了