一、漏洞详情
vLLM是一个快速且易于使用的LLM推理和服务库,Mooncake是开源的大模型推理架构,采用以KVCache为中心的分布式架构,通过分离预填充和解码集群,充分利用GPU集群中未充分利用的CPU、DRAM和SSD资源,实现高效的KVCache缓存。
当vLLM配置为使用Mooncake时,其使用基于pickle的序列化,并通过不安全的ZeroMQ套接字进行传输,受影响的套接字被设置为监听所有网络接口,攻击者可能利用该漏洞访问ZeroMQ套接字并实施攻击。
建议受影响用户做好资产自查以及预防工作,以免遭受黑客攻击。
二、影响范围
0.6.5 <= vLLM < 0.8.5
三、修复建议
官方已发布修复方案,受影响的用户建议及时更新至安全版本0.8.5。