MarkTechPost· Asif Razzaq·· 2 天前AI 评分49
清华与港中文开源 AKV，在 SGLang 上为 Agent 做 KV Cache 工程
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
AI 导读
清华大学和香港中文大学研究者开源 AKV 服务系统，让 LLM Agent 直接丢弃选定的 KV cache 而不是总结旧历史，构建在 SGLang 之上。
来源：MarkTechPost · marktechpost.com