摘要 LMCache的Blending（融合）功能，其思想源于荣获学术大奖的“CacheBlend”研究项目 1，代表了大型语言模型（LLM）推理服务中一项关键的范式转变。它超越了传统的、仅限于前缀的KV缓存（Key-Value Cache）复用模式，旨在实现一种更强大、更灵活的非前缀知识融合模型，专为加速如检索增强生成（Retrieval-Augmented Generation, RAG）等复杂工作负载而设计。其核心机制在于，能够将任意文本块预先计算生成的KV缓存，在新的、任意位置的提示（Prompt）中进行复用，仅需进行少量的位置编码校正和局部重计算。 然而，本报告的深度分析揭示了一个关 …

继续阅读 »