当前位置:首页 > Deepseek应用场景 > 正文内容

英伟达宣布创造满血 DeepSeek 推理世界记录

5个月前 (03-19)Deepseek应用场景286

IT之家 3 月 19 日消息,英伟达在今日举行的 NVIDIA GTC 2025 上宣布其 NVIDIA Blackwell DGX 系统创下 DeepSeek-R1 大模型推理性能的世界纪录。

据介绍,在搭载了八块 Blackwell GPU 的单个 DGX 系统上运行 6710 亿参数的满血 DeepSeek-R1 模型可实现每用户每秒超 250 token 的响应速度,系统最高吞吐量突破每秒 3 万 token。

英伟达表示,随着 NVIDIA 平台继续在最新的 Blackwell Ultra GPU 和 Blackwell GPU 上突破推理极限,其性能将会继续不断提高。

▲ 运行 TensorRT-LLM 软件的 NVL8 配置的 NVIDIA B200 GPU

单节点配置:DGX B200(8 块 GPU)与 DGX H200(8 块 GPU)

测试参数:最新测试采用 TensorRT-LLM 内部版本,输入 1024 token / 输出 2048 token;此前测试为输入 / 输出各 1024 token

计算精度:B200 采用 FP4,H100 / H200 采用 FP8 精度

英伟达表示,通过硬件和软件的结合,他们自 2025 年 1 月以来成功将 DeepSeek-R1 671B 模型的吞吐量提高了约 36 倍。

节点配置:DGX B200(8 块 GPU)、DGX H200(8 块 GPU)、两个 DGX H100(8 块 GPU)系统

测试参数:依然采用 TensorRT-LLM 内部版本,输入 1024 token / 输出 2048 token;此前测试为输入 / 输出各 1024 token;并发性 MAX

计算精度:B200 采用 FP4,H100 / H200 采用 FP8 精度

与 Hopper 架构相比,Blackwell 架构与 TensorRT 软件相结合可实现显著的推理性能提升。

英伟达表示,包括 DeepSeek-R1、Llama 3.1 405B 和 Llama 3.3 70B,运行 TensorRT 软件并使用 FP4 精度的 DGX B200 平台与 DGX H200 平台相比已经提供了 3 倍以上的推理吞吐量提升。

英伟达表示,在对模型进行量化以利用低精度计算优势时,确保精度损失最小化是生产部署的关键。IT之家注意到,在 DeepSeek-R1 模型上,相较于 FP8 基准精度,TensorRT Model Optimizer 的 FP4 训练后量化(PTQ)技术在不同数据集上仅产生微乎其微的精度损失。


“英伟达宣布创造满血 DeepSeek 推理世界记录” 的相关文章

突传重磅,获顶级域名认可!DeepSeek引爆“新生意”,已有上千人购买

突传重磅,获顶级域名认可!DeepSeek引爆“新生意”,已有上千人购买

春节期间,在杭州的梁文锋打破了世界科技舞台上沉默许久的平静,也给全球资本市场带来了巨大扰动,特别是对以英伟达为代表的美股巨头造成了直接冲击,一度引发硅谷“恐慌”。DeepSeek的横空出世,对靠AI产...

湖南召开deepseek专题研讨会,释放出了什么信号?

湖南召开deepseek专题研讨会,释放出了什么信号?

为深入分析deepseek对湖南省产业发展带来的影响和挑战,加速推动人工智能赋能新型工业化,2月17日上午,湖南省工业和信息化厅组织基础通信运营商和数字化服务商、高校和科研院所、行业协会等五大类人工智...

托普云农(301556)已接入deepseek

托普云农(301556)已接入deepseek

 同花顺(300033)金融研究中心03月24日讯,有投资者向托普云农(301556)提问, 请问公司是否接入deepseek?  公司回答表示,您好!我司已接入。此次接入对公司业绩无直接影响,截止目...

AI数学天花板来了?DeepSeek新模型低调开源,网友直呼:R2指日可待!

AI数学天花板来了?DeepSeek新模型低调开源,网友直呼:R2指日可待!

就在所有人都在期待DeepSeek官宣R2大模型之际,公司却出其不意地在"五一"前夕投下了另一枚技术炸弹。4月30日,DeepSeek在Hugging Face平台上悄然开源了其最...

郑州大学部署“满血版”DeepSeek!

郑州大学部署“满血版”DeepSeek!

DeepSeek R1作为我国自有团队研制的开源人工智能大模型之一,其能力震惊业界,其应用在全球如火如荼。2月19日,郑州大学国家超级计算中心、计算机与人工智能学院、信息化办公室携手攻坚,成功在超算中...

DeepSeek使用技巧:1个指令解锁DeepSeek的绘画功能

DeepSeek使用技巧:1个指令解锁DeepSeek的绘画功能

今天给大家分享一个很强的DeepSeek指令。它能过让DeepSeek直接在对话框里生成图片。之前分享过,这次是优化过后的版本。先发指令,再发提示的效果如下:优化过后的指令能显著提高成功率。如果你之前...