Hacker News · AI 最新· Corbenic·· 5 天前AI 评分51
Galahad 发布 AI 长期记忆层,提供 50M token 窗口
Show HN: Try Free Long-Term Memory for AI 50M-Token Window
AI 导读
Galahad 是面向 AI 的长期记忆层,通过保存并复用模型 KV cache 避免重复计算,支持 vLLM、SGLang 和 llama.cpp。它可分片读取最大 50M token 的长文本,GPU 显存稳定在 34.1 GB,实测 99.6% 的 token 命中内存且速度提升 14 倍。用户可通过 pip install galahad-kv 免费使用(限单 GPU)。
来源:Hacker News · AI 最新 · github.com