某双一流大学硕士生，也最近刚好准备参加 2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！

为什么vllm能够加快大模型推理速度？

面试题

如果对比过 vllm 进行大模型推理 和 直接调用模型generate 就会知道 vllm可以让推理速度比直接调用模型generate快2-4倍。

那问题来了，为什么vllm能够加快大模型推理速度？

参考答案

问题一：大模型推理存在哪些问题？

在回答该问题之前，需要先理清楚 LLMs 结构特点：

大模型一般都是采用自回归生成方式，即根据前面的语句预测下一个字的概率：

阿里面试官问：为什么vllm能够加快大模型推理速度？_大模型

而 自回归生成方式方式会存在以下问题：

  • 问题一： KV Cache 太大

LLM 服务需要为每个请求维护一个键值（KV）缓存，用于存储模型在生成文本时的上下文信息。随着请求数量的增加，KV缓存的大小迅速增长，占用大量 GPU 内存。

对于13B 参数的模型，单个请求的 KV Cache 可能就需要数 1.6 GB的内存。这限制了同时处理的请求数量，进而限制了系统的吞吐量。

  • 问题二：复杂的解码算法

LLM 服务通常提供多种解码算法供用户选择，如贪婪解码、采样解码和束搜索（beam search）。这些算法对内存管理的复杂性有不同的影响。

例如，在并行采样中，多个输出可以共享相同的输入提示的 KV 缓存，而在束搜索中，不同候选序列的KV缓存可以部分共享，这要求内存管理系统能够动态调整内存分配。

  • 问题三：未知的输入和输出长度

LLM 服务的输入和输出长度是变化的，这要求内存管理系统能够适应不同长度的提示。随着请求的输出长度在解码过程中增长，所需的 KV 缓存内存也会增加，可能会耗尽用于新请求或现有的内存。

现有的 LLM 服务系统通常采用静态连续内存分配策略，会带来三个方面的内存浪费：

阿里面试官问：为什么vllm能够加快大模型推理速度？_人工智能_02

  1. 预留浪费（reserved）。为每个请求预留最大可能序列长度的内存，然而实际请求的长度可能远小于最大长度；
  2. 内部碎片（internal fragmentation）。内存分配的低效率还会导致内存碎片，进一步降低内存的可用性；
  3. 外部碎片（external fragmentation）。有些内存由于过小，无法使用，这些内存则直接浪费了。

问题二：vllm做了哪些优化呢？

vllm 主要对大模型推理过程采用 page attention 优化。

类似于KV Cache的问题，操作系统里也遇到过，操作系统给每个应用分配内存，到底要不要给每个程序预分配内存？程序关闭后怎么回收内存？内存碎片怎么处理？怎么最大化地利用内存？

操作系统是通过利用虚拟内存，和页管理技术来解决的，操作系统分配内存是按照最小单元页来分配，物理内存被划分为很多页，每个进程（Process）要用到的内存被映射到不同的页上。

Page attention把显存也划分为 KV block，显存按照KV block来管理KV cache，每个请求request需要的kv cache被划分到显存 里 不同的KV Block里，

阿里面试官问：为什么vllm能够加快大模型推理速度？_LLM_03

比如，每个KV block里可以缓存四个token的KV向量，对于“中国 的 历史 非常 悠久”这5个token就对应到2个block里，这两个block在物理显存里可以是不连续的，随着大模型的推理产生了新的token，比如“中国 的 历史 非常 悠久，”里的逗号，它会继续加在未被填满的block里，直到当前的block被占满，然后vLLM再分配一个block。

可以看到vLLM克服了显存预分配的问题，不会提前占用显存，并且是按块分配，这样就减少了内存的碎片。

虚拟内存（把不连续的KV block搞的连续）：

阿里面试官问：为什么vllm能够加快大模型推理速度？_大模型_04

虚拟内存就是每个请求都有一个逻辑的KV cache，在逻辑KV Cache里，显存好像是连续的，vLLM的框架会在后台维护一个逻辑KV Cache到实际显卡显存上KV Block的映射表，在进行page attention计算时，它会自动找到物理显存上block的KV向量进行计算，每个请求都有自己的逻辑KV cache，其中的prompt和生成的新的token的KV向量，看起来好像都是放在连续的显存上，方便程序操作。vLLM框架内部维护了映射表，在page attention进行计算时，获取实际显卡上的KV block里的KV向量。

比如这里看到物理显卡上显存里面的KV Block是比较混乱的，但是第一个请求“中国的历史非常悠久”和第二个请求“我喜欢学习数学和英语”，它们的逻辑KV cache里的显存都是连续的。虚拟内存的作用就是让程序在使用内存时，感觉自己使用的是连续的内存，但实际操作系统分配时却并不是连续的，这都是通过中间的映射表来实现的，vLLM将这个思想应用到了KV cache上

阿里面试官问：为什么vllm能够加快大模型推理速度？_LLM_05

page attention的优点：

  1. 使用block （块） 来分配内存，而不用提前分配内存，用块来分配，减少了碎片的大小。
  2. 并且使用了逻辑的KV cache，方便了代码的实现和调用。
  3. 最终将KV cache的利用率从原来的20%～40%提升到了现在的96%