当前位置:首页 > Deepseek应用场景 > 正文内容

DeepSeek推理性能提升3.8倍 AMD发布ROCm 7开发平台以及开发者云

3周前 (06-13)Deepseek应用场景139

当地时间6月12日,AMD发布全新Instinct MI350系列AI加速器,带来暴涨的AI性能,而且“还有高手”——AMD表示将在2026年发布的Instinct MI400系列,性能相比MI355X最多提升超过10倍!

  卓越的算力夯实了AI的根基,但想要转化为生产力、解决方案,加速AI生态发展,还离不开软件。特别是进入2025年后,在DeepSeek等AI大模型的创新技术带动下,AI加速普惠及规模化应用,让企业、开发者、用户更容易在端边云等更多场景下部署大模型,并将大模型融入业务工作流或者日常生活、创作等场景下。但想让这项进程更加流畅顺滑,易用且好用的开发平台至关重要。

  对此AMD给出的应对方案是ROCm以及开发者云平台。

  作为AMD Advancing AI 2025的重要亮点,AMD宣布推出ROCm 7以及AMD开发者云。

  ROCm 7:性能大幅提升,功能更丰富的开放软件堆栈

  先来看ROCm 7,围绕最新的模型与算法支持、最新的AI特性、MI350系列等新硬件支持、集群管理与企业级特性、提供对AMD Radeon和Windows更广泛支持等方面带来提升,以加速AI创新和提升开发者使用效率。AMD提到,ROCm 7及其新特性将于2025年第三季度全面上线。

  面对持续增加的推理需求,ROCm 7带来了一系列全新特性,包括增强的框架、Serving优化、内核与算法改进、高级数据类型(FP8/FP6/FP4/混合)、优化GPU利用率和数据传输的通信堆栈等,由此实现了推理性能的提升。

  根据AMD公布的数据,在Llama 3.1 70B、Qwen 2 72B、DeepSeek R1的推理测试中,ROCm 7性能相比ROCm 6平均提升了3.5倍,最高达到了3.8倍。

  而且当ROCm 7“叠加”Instinct MI355X时,性能表现也相当出色,DeepSeek R1 FP8吞吐量可以领先NVIDIA B200达到30%。

  训练方面,ROCm 7同样提供多个新特性,包括支持多个AMD开源模型、增强的AI框架、提升的内核与算法、支持BF16/FB8数据类型等等。

  在Llama 2 70B、Llama 3.1 8B、Qwen 1.5 7B测试中,ROCm 7的训练性能相比ROCm 6平均提升达到3倍。

  得益于与开源生态系统的合作,ROCm 7引入了强大的分布式推理方法,包括SGLang、vLLM和llm-d等框架。通过采用开放战略,ROCm 7与合作伙伴共同构建、共同开发共享接口和原语,实现在AMD平台上高效分布式推理。

  ROCm Enterprise AI作为一款强大的MLOps平台,专为企业环境中的无缝AI运营而设计,提供端到端的解决方案。它包含使用行业特定数据进行模型微调的工具,以及与结构化和非结构化工作流程集成的工具,并由AMD生态系统内的合作伙伴提供支持,用于开发聊天机器人和文档摘要等参考应用程序。

  就目前AI用例而言,企业是端边云部署大模型且将AI融入工作流最常见场景。例如,企业通过自身IT基础设施构建专属知识库、企业办公助手,又或者在办公场景中以大模型提升会议、协作、创作效率等等。但是由于企业自身IT能力的参差不齐,以及对于数据隐私安全的高度重视等难点,让AI本地化部署既成为趋势,也成了挑战。ROCm Enterprise AI恰好能够针对企业需求提供相应的功能、特性,将有助于企业完善自身AI方案,或由开发者针对痛点,打造更有价值的解决方案。

  除此之外,ROCm 7进一步优化了在AMD Radeon、Windows上的应用体验,在Windows平台上新增支持PyTorch、ONNX-EP两大框架。此外,ROCm 7还新增原生支持Red Hat EPEL、Ubuntu、OpenSUSE等更多的Linux系统发行版,进一步拓展使用场景,让开发者可以更好地利用现有终端设备进行AI开发,例如Ryzen笔记本或工作站等产品,也让ROCm的准入门槛更低,就像AMD所言,让“ROCm无处不在,人人适用”。

  另外AMD也将持续投入,通过以开发者为中心的活动、各类相关教程资源等多个维度赋能开发者。

  AMD开发者云:让开发者更易于访问、开箱即用

  AMD开发者云具备零设置环境、预装Docker容器和灵活性、率先支持Instinct MI350系列GPU系统、免费开发者积分免费提供云使用时长等亮点,与ROCm 7配合可以进一步助力开发者提升效率,降低使用门槛。

  AMD表示,开发者云已经同步面向全球开发者、开源社区开放,无需任何硬件投资或本地设置就可即时访问AMD Instinct MI300X GPU,并可选1x MI300X GPU(192GB GPU内存)或8x MI300X GPU(1536GB GPU内存)。

  写在最后

  如果算力是种类丰富的食材,那么开发者平台、软件栈就是厨具和调味料,在开发者手中发挥得当加上持续创新下才能给用户、企业呈现精美的菜肴(解决方案、软件应用),进而保证AI的价值和吸引力,避免“食之无味弃之可惜”的尴尬局面。

  AMD通过ROCm 7加速AI从算法到基础架构各个层面的创新,为软件堆栈带来真正的竞争和开放性。同时,AMD推出开发者云、与开源社区紧密合作等举措,向着“开箱即用”的易于访问生态系统演进,践行了“开发者至上”的理念。这不仅有利于AMD在AI浪潮中提升产品力和竞争力,也能够为繁荣AI生态持续注入新鲜血液和创新要素。

  让人期待的是,随着AMD产品在端边云市场出色的表现,以及ROCm平台的不断完善,软硬件协同优化将有机会持续加速AI普惠。届时从AI PC等终端用户,到行业解决方案、数据中心都将受益于来自开发者们的AI创新升级。


“DeepSeek推理性能提升3.8倍 AMD发布ROCm 7开发平台以及开发者云” 的相关文章

24B模型编程超DeepSeek全家桶,32G内存苹果电脑就能跑,专门针对真实GitHub Issue训练

24B模型编程超DeepSeek全家桶,32G内存苹果电脑就能跑,专门针对真实GitHub Issue训练

Mistral沉默好久,果然在憋大招。刚刚发布最新开源编程模型Devstral,在软件工程任务上一举超过DeepSeek全家桶和Qwen3 235B。并且参数只有24B,可以在单卡RTX4090甚至3...

DeepSeek开源周这次又打开了什么魔盒?将如何影响AI开发?

DeepSeek开源周这次又打开了什么魔盒?将如何影响AI开发?

国产人工智能企业深度求索开发的大模型DeepSeek开源周落下帷幕。2月28日,DeepSeek最新宣布,开源面向DeepSeek全数据访问的推进器3FS(Fire-Flyer File System...

中国工程院院士张亚勤:无人驾驶将迎来“DeepSeek时刻”|院士上封面

中国工程院院士张亚勤:无人驾驶将迎来“DeepSeek时刻”|院士上封面

封面新闻记者 边雪过去数十年,从沟通、消费、娱乐到生产、交通、商业往来,无不深深烙刻上数字化的印记。在中国工程院院士,清华大学智能产业研究院(AIR)院长张亚勤眼中,数字世界正逐步与物理世界、生物世界...

怎么用deepseek写好文案?deepseek写材料,deepseek续写小说

怎么用deepseek写好文案?deepseek写材料,deepseek续写小说

DeepSeek在文案撰写、材料编写以及小说续写方面都能提供强大的辅助。以下是如何利用DeepSeek进行这些创作活动的具体方法:一、用DeepSeek写好文案明确核心信息:在使用DeepSeek写文...

开箱即用AI力!华为云MaaS解锁DeepSeek-R1-0528超能推理

开箱即用AI力!华为云MaaS解锁DeepSeek-R1-0528超能推理

小更新,大智慧,新版DeepSeek-R1-0528模型正式开源,该模型在数学推理、代码生成等关键能力上实现显著突破,已成为开源领域高性能推理模型的新标杆。目前华为云已针对该模型完成了基于昇腾AI云服...

“博惠办”DeepSeek智能服务正式上线!

“博惠办”DeepSeek智能服务正式上线!

当“国产AI之光”DeepSeek接入政务服务,将会带来怎样的加速度?博山区行政审批服务局将AI大模型技术运用于政务服务智能问答场景,推出“博惠办”DeepSeek智能政服,为企业群众提供智能化、便捷...