明敏 发自 凹非寺
量子位 | 公众号 QbitAI
11分钟内训练一遍GPT-3,8秒训完BERT。
这就是英伟达给AI圈的一点“小小震撼”。
在最新MLPerf训练基准测试中,英伟达H100集群,横扫八项测试,全部创下新纪录,并且在大语言模型任务中表现尤为突出!
在大语言模型任务中,H100集群的加速性能逼近线性增长。
即随着集群处理器数量增加,加速效果也几乎同比增加。
这意味着在集群内GPU之间的通信效率非常高。
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
11分钟内训练一遍GPT-3,8秒训完BERT。
这就是英伟达给AI圈的一点“小小震撼”。
在最新MLPerf训练基准测试中,英伟达H100集群,横扫八项测试,全部创下新纪录,并且在大语言模型任务中表现尤为突出!
在大语言模型任务中,H100集群的加速性能逼近线性增长。
即随着集群处理器数量增加,加速效果也几乎同比增加。
这意味着在集群内GPU之间的通信效率非常高。