比Hugging Face快24倍,伯克利神级LLM推理系统开源,碾压SOTA,让GPU砍半
小羊驼和排位赛的「幕后英雄」
编者按:本文来自微信公众号 新智元(ID:AI_era),作者:桃子 好困 ,创业邦经授权发布。
(资料图)
过去2个月,来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。
GPT-4等大语言模型玩家打起了「排位赛」,通过随机battle,根据Elo得分来排名。
这一过程中,每当一个用户访问并使用网站,就需要同时让两个不同的模型跑起来。
他们是如何做到的?
这不,就在今天,UC伯克利重磅开源了世界最快LLM推理和服务系统vLLM。
简之,vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」,有效地管理注意力键和值。
配备全新算法的vLLM,重新定义了LLM服务的最新技术水平:
值得一提的是,「小羊驼」Vicuna在demo中用到的就是FastChat和vLLM的一个集成。
正如研究者所称,vLLM最大的优势在于——提供易用、快速、便宜的LLM服务。
这意味着,未来,即使对于像LMSYS这样计算资源有限的小型研究团队也能轻松部署自己的LLM服务。
项目地址:https://github.com/vllm-project/vllm
现在,所有人可以在GitHub仓库中使用一个命令尝试vLLM了。论文随后也会发布。
性能全面碾压SOTA今天,这个由UC伯克利创立的开放研究组织LMSYS介绍道:
「一起来见证vLLM:Chatbot Arena背后的秘密武器。FastChat-vLLM的集成使LMSYS使用的GPU数量减少了一半,同时每天平均提供3万次请求。」
vLLM的性能具体如何?
UC伯克利团队将vLLM的吞吐量与最受欢迎的LLM库HuggingFace Transformers(HF),以及HuggingFace文本生成推理(TGI),先前的最新技术水平进行了比较。
团队在两个设置中进行评估:在NVIDIA A10G GPU上运行LLaMA-7B模型,在NVIDIA A100 GPU(40GB)上运行LLaMA-13B模型。
然后,研究人员从ShareGPT数据集中抽样请求的输入/输出长度。
在实验中,vLLM的吞吐量比HF高达24倍,并且比TGI高达3.5倍。
在每个请求只需要一个输出完成时的服务吞吐量。vLLM比HF的吞吐量高出14倍-24倍,比TGI的吞吐量高出2.2倍-2.5倍
在每个请求需要3个并行输出完成时的服务吞吐量。vLLM比HF的吞吐量高出8.5倍-15倍,比TGI的吞吐量高出3.3倍-3.5倍
秘密武器:PagedAttention在vLLM中,团队发现LLM服务的性能受到内存的限制。
在自回归解码过程中,LLM的所有输入token都会生成注意力键(key)和值(value)张量,并且这些张量被保留在GPU内存中以生成下一个token。
这些缓存的键和值张量通常被称为KV缓存。KV缓存具有以下特点:
1. 内存占用大:在LLaMA-13B中,单个序列的KV缓存占用高达1.7GB的内存。
2. 动态化:其大小取决于序列长度,而序列长度高度易变,且不可预测。
因此,有效管理KV缓存是一个重大挑战。对此,研究团队发现现有系统由于碎片化和过度保留而浪费了60%至80%的内存。
用团队的导师Joey Gonzalez的一句话来讲:GPU内存碎片化=慢。
为了解决这个问题,团队引入了PagedAttention,一种受到操作系统中虚拟内存和分页经典概念启发的注意力算法。
与传统的注意力算法不同,PagedAttention允许在非连续的内存空间中存储连续的键和值。
具体来说,PagedAttention将每个序列的KV缓存分为若干块,每个块包含固定数量token的键和值。在注意力计算过程中,PagedAttention内核能够高效地识别和提取这些块。
PagedAttention:KV缓存被分割成块,这些块在内存中不需要连续
由于这些块在内存中不需要连续,因此也就可以像操作系统的虚拟内存一样,以更灵活的方式管理键和值——将块看作页,token看作字节,序列看作进程。
序列的连续逻辑块通过块表映射到非连续的物理块。随着生成新的token,物理块会按需进行分配。
使用PagedAttention的请求生成过程示例
PagedAttention将内存浪费控制在了序列的最后一个块中。
在实践中,这带来了接近最优的内存使用——仅有不到4%的浪费。
而这种内存效率的提升,能让系统将更多的序列进行批处理,提高GPU利用率,从而显著提高吞吐量。
此外,PagedAttention还具有另一个关键优势:高效的内存共享。
比如在并行采样中,就能从相同的提示生成多个输出序列。在这种情况下,提示的计算和内存可以在输出序列之间共享。
并行采样的示例
PagedAttention通过块表自然地实现了内存共享。
类似于进程共享物理页的方式,PagedAttention中的不同序列可以通过将它们的逻辑块映射到相同的物理块来共享块。
为了确保安全,PagedAttention会跟踪物理块的引用计数,并实现了写时复制机制。
采样多个输出的请求示例生成过程
PagedAttention的内存共享极大减少了复杂采样算法(如并行采样和束搜索)的内存开销,将它们的内存使用量减少了高达55%。这可以将吞吐量提高多达2.2倍。
总结而言,PagedAttention是vLLM的核心技术,它是LLM推断和服务的引擎,支持各种模型,具有高性能和易于使用的界面。
GitHub上,团队也介绍了vLLM能够无缝支持的HuggingFace模型,包括以下架构:
- GPT-2(gpt2、gpt2-xl等)
- GPTNeoX(EleutherAI/gpt-neox-20b、databricks/dolly-v2-12b、stabilityai/stablelm-tuned-alpha-7b等)
- LLaMA(lmsys/vicuna-13b-v1.3、young-geng/koala、openlm-research/open_llama_13b等)
- OPT(facebook/opt-66b、facebook/opt-iml-max-30b等)
小羊驼和排位赛的「幕后英雄」4月初,UC伯克利学者联手UCSD、CMU等,最先推出了一个开源全新模型——130亿参数的Vicuna,俗称「小羊驼」。
从那时起,Vicuna已在Chatbot Arena为数百万用户提供服务。
最初,LMSYS的FastChat采用基于HF Transformers的服务后端来提供聊天demo。
但随着demo变得越来越受欢迎,峰值流量猛增了好几倍,而HF后端也因此成了一个重大的瓶颈。
为了解决这一挑战,LMSYS与vLLM团队紧密合作,全力开发出了全新的FastChat-vLLM集成——通过将vLLM作为新的后端,来满足不断增长的需求(最多增加5倍的流量)。
根据LMSYS内部微基准测试的结果,vLLM服务后端可以实现比初始HF后端高出30倍的吞吐量。
4月-5月期间,Chatbot Arena的后端已经部落了FastChat-vLLM的集成。实际上,有超过一半的Chatbot Arena请求都使用FastChat-vLLM集成服务的
自4月中旬以来,最受欢迎的语言模型,如Vicuna、Koala和LLaMA,都已成功使用FastChat-vLLM集成提供服务。
FastChat作为多模型聊天服务前端,vLLM作为推理后端,LMSYS能够利用有限数量的GPU(学校赞助的),以高吞吐量和低延迟为数百万用户提供Vicuna服务。
现在,LMSYS正在将vLLM的使用扩展到更多的模型,包括Databricks Dolly、LAION的OpenAsssiant和Stability AI的StableLM等。
vLLM使用教程使用以下命令安装vLLM(另可查看安装指南了解更多信息):
vLLM可用于离线推理和在线服务。要使用vLLM进行离线推理,你可以导入vLLM并在Python脚本中使用LLM类:
要使用vLLM进行在线服务,你可以通过以下方式启动与OpenAI API兼容的服务器:
你可以使用与OpenAI API相同的格式查询服务器:
有关使用vLLM的更多方法,请查看快速入门指南:
https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html
团队介绍Zhuohan Li
Zhuohan Li是加州大学伯克利分校计算机科学专业的博士生,研究兴趣是机器学习和分布式系统的交叉领域。
在此之前,他在北京大学获得了计算机科学学士学位,指导老师是王立威和贺笛。
Woosuk Kwon
Woosuk Kwon是加州大学伯克利分校的博士生,研究兴趣是为大语言模型等新兴应用建立实用、灵活和高性能的软件系统。
团队其他成员包括庄思远、盛颖、郑怜悯、Cody Yu。团队导师包括Joey Gonzalez,Ion Stoica和张昊。
其中,团队的大部分成员同时也是LMSYS成员。
参考资料https://vllm.ai
关键词:
上一篇:董思槿报应来了!牵手门后男友跟她分手,不想再忍受被戴绿帽子?
下一篇:最后一页
- 比Hugging Face快24倍,伯克利神级LLM推理系统开源,碾压SOTA,让GPU砍半
- 联想s405笔记本_联想s405
- 上海农商银行成立沪上首个总行级科技金融事业部|环球动态
- 洪恩公布Q1业绩:营收2.65亿,月活2109万|环球聚焦
- 董思槿报应来了!牵手门后男友跟她分手,不想再忍受被戴绿帽子?
- 全球看点:中国农科院信息所联合饿了么发布业内首个“可持续食物指标体系”
- 柯曼_关于柯曼概略_环球最资讯
- 李明:管理层球员受欠薪影响 国安赛季目标争亚冠
- 天天热推荐:复出前兆?孙杨:从未放弃说不游了 坚持训练时刻准备重出江湖!
- 手上长斑怎么去掉呢图片_手上长斑怎么去掉
-
趣味端午 “粽”享童趣 当前讯息
端午时节,粽叶飘香。6月21日,云梦县实验幼儿园开展以“快乐端午,粽
-
cad字体不显示样式(cad字体不显示怎么办)
1、你需要在你的CAD里安装一个字体库9(包括苗木字体的)。2、你电脑显
-
资讯:汽车经销商第一股*ST庞大即将摘牌
4月21日至5月24日,*ST庞大(601258 SH)连续20个交易日每日股票收盘价
-
视点!《闪电侠》全球票房崩盘 基本信息讲解
大家好,今日关于【《闪电侠》全球票房崩盘】的话题登上了各大平台的热
-
当前动态:男士洗面奶哪个好用?十款口碑爆棚的推荐!
作为一个现代男性,除了注重身体健康外,也应该注意一下自己的皮肤护理
-
数字技术高手亮绝招!广州举办第三届“鲲鹏应用开发”竞技大赛
6月21日,广州市“羊城工匠”第九届产业人员职业技能竞赛暨第三届“鲲
-
珠海市车辆违章查询_珠海车辆违章查询
1、珠海市汽车违章查询方法如下:从百度首页查询你所在区域的网上交警
-
赛龙舟、包粽子......各地如何过端午?热闹场面来啦
端午临近,江西、甘肃等地开展了丰富多彩的端午主题活动。
-
浙江80岁老汉住茅草屋,银行流水却大过企业,自称一年稳赚3000万 看热讯
浙江80岁老汉住茅草屋,银行流水却大过企业,自称一年稳赚3000万,胡子,
-
当前时讯:S2O三亚海棠湾电音节如何出行?车辆停哪儿?三亚交警告诉您!
海南网台、视听海南客户端6月22日消息(交通广播记者庄越通讯员张海哲
X 关闭
视点!《闪电侠》全球票房崩盘 基本信息讲解
当前动态:男士洗面奶哪个好用?十款口碑爆棚的推荐!
宁夏银川 声悦端午 全球速看
国家税务总局玉溪市红塔区税务局原党委委员、副局长、一级主办郭剑忠接受审查调查_全球新消息
环球新动态:预测洛阳理工学院录取分数涨幅显著
X 关闭
焦点快报!生长调节剂类新农药的生态毒理学研究_关于生长调节剂类新农药的生态毒理学研究介绍
2022年龙门县香溪堡旅游文化小镇五一活动攻略-报道
KPL赛场从最佳阵容看夏季赛实力,eStar依然很强RNGM成黑马
端午 next day
一年四季都有新鲜国产柑橘,背后离不开他 环球快播报