当前位置:首页 > Deepseek应用场景 > 正文内容

1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版

2个月前 (06-13)Deepseek应用场景317

机器之心报道

机器之心编辑部

开源社区的人应该对 vLLM 不陌生,它是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎,核心目标是提升 LLM 的推理速度(吞吐量)和资源利用率(尤其是内存),同时兼容 Hugging Face 等流行模型库。

简单来说,vLLM 能让 GPT、Mistral、LLaMA 等主流模型系列跑得更快、消耗更少资源,取得这些效果的关键是其创新的注意力机制实现方案 ——PagedAttention。

近日,DeepSeek AI 研究者、深度学习系统工程师俞星凯从零开始构建了一个轻量级 vLLM 实现 ——Nano-vLLM,将代码简化到了 1200 行。

目前,该项目在 GitHub 上收获了 200 多的 Star。

GitHub 地址:https://github.com/GeeeekExplorer/nano-vllm/tree/main

具体来讲,Nano-vLLM 具有以下三个核心功能:

一是,Fase 离线推理。推理速度与 vLLM 相当。

二是,易读代码库。实现非常简洁,Python 代码减少到了 1200 行以下。

三是,优化套件。提供 Prefix 缓存、Torch 编译、CUDA 计算图等功能。

俞星凯在基准测试中采用了以下测试配置:

硬件:RTX 4070

模型:Qwen3-0.6B

总请求:256 个序列

输入长度:100–1024 tokens 之间随机采样

输出长度:100–1024 tokens 之间随机采样

基准测试结果如下表所示,Nano-vLLM 与 vLLM 的输出 token 相同,时间略长,推理速度(吞吐量)稍逊一点点。整体而言,二者表现相当。

作者简介

Nano-vLLM 开发者俞星凯目前就职于 DeepSeek,参与过 DeepSeek-V3 和 DeepSeek-R1 的开发工作。

有意思的是,根据其 GitHub 主页,他还曾开发过一个植物大战僵尸 Qt 版,该项目也已经收获了 270 多星。此外,由于毕业于南京大学,他还曾参与了不少南京大学的计算机项目,包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。

而根据其 LinkedIn 页面可知,他曾先后在腾讯、幻方(DeepSeek 母公司)和字节跳动实习过。2023 年后入职 DeepSeek 成为深度学习系统工程师。

你是 vLLM 用户吗?会考虑尝试 Nano-vLLM 吗?


“1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版” 的相关文章

当“医线”代表“接入”DeepSeek

当“医线”代表“接入”DeepSeek

中新网济南2月28日电 题:当“医线”代表“接入”DeepSeek中新网记者 赵晓 祁建月“目前,奥法妥木单抗在治疗自身免疫性脑炎中发挥着越来越大的作用,请详细说明它在临床工作中的应用情况及困境。”一...

华东院成功接入DeepSeek大模型搭建林草知识库框架

华东院成功接入DeepSeek大模型搭建林草知识库框架

近日,国家林草局华东院成功接入DeepSeek本地化大模型平台,搭建林草知识库框架,推动林草调查监测和规划工作迈入人工智能深度赋能的新阶段。随着国内外大语言模型的不断涌现,科技发展迎来新一轮的“数字红...

DeepSeek全球时刻,全球南方有望破“智能鸿沟”

DeepSeek全球时刻,全球南方有望破“智能鸿沟”

【导读】4月26日,全球南方系列十讲的第二讲“数字技术在全球南方的开源与共享”,在华东师范大学普陀校区举办。华东师范大学政治与国际关系学院教授余南平做主讲,并在圆桌环节与华东师范大学上海人工智能金融学...

宇通率先接入DeepSeek 多维升级智能出行新体验

宇通率先接入DeepSeek 多维升级智能出行新体验

2月15日,宇通“一云两舱”,包含“云管家安睿通”、“智慧驾舱”和“智享客舱”接入DeepSeek推理大模型,依托DeepSeek强大的泛化、推理等能力,升级车辆类人交互智能体验,全面提升整车智能化水...

中国电信助力泗县人民医院接入DeepSeek 智慧医疗扬帆起航

中国电信助力泗县人民医院接入DeepSeek 智慧医疗扬帆起航

3月1日,中国电信安徽泗县分公司携手泗县人民医院,将DeepSeek本地化部署智能医疗系统正式接入该医院,标志着该医院在智慧医疗领域迈出了重要一步。DeepSeek的引入将全面提升医院的诊疗效率、患者...

扬州海关政务终端接入DeepSeek

扬州海关政务终端接入DeepSeek

原标题:扬州海关政务终端接入DeepSeek科技日报讯 (尹红燕 单晓明 记者陈瑜)近日,扬州海关依托DeepSeek研发的大模型技术在政务服务领域取得突破,首批3台“扬关小智”智能政务终端正式投入运...