KV Cache on ByF (BaiFan) · 每日深度思考 https://blog.baifan.site/tags/kv-cache/ Recent content in KV Cache on ByF (BaiFan) · 每日深度思考 Hugo -- gohugo.io zh-cn blog@baifan.site (ByF (BaiFan)) blog@baifan.site (ByF (BaiFan)) CC BY-NC 4.0 Sat, 23 May 2026 09:00:00 +0800 上下文压缩的物理代价：KV Cache 压力、注意力衰减与有损摘要 https://blog.baifan.site/claude-code-context-compression/ Sat, 23 May 2026 09:00:00 +0800 blog@baifan.site (ByF (BaiFan)) https://blog.baifan.site/claude-code-context-compression/ <p>大模型在物理底层不存在真正意义上的生物记忆，只有在显卡高带宽内存（HBM）中随序列长度线性堆叠的 Key-Value Cache，以及在数学上随序列拉长而被急剧稀释的注意力权重分布。Claude Code 呈现给开发者的所谓长程对话能力，本质上是一套在硬件显存与精度边界夹缝中运行的缓存逐出流水线，伴随着不可逆的信息失真与前缀失效代价。</p>