《科创板日报》12月22日讯 “这是整个系统里我个人最期待的部分之一。”在日前的Big Technology访谈中，OpenAI CEO山姆•奥尔特曼（Sam Altman）如此形容记忆功能。在他看来，AI的下一个重大飞跃并非是更敏锐的推理能力，而是更为根本的记忆。

就在昨天，新加坡国立大学、中国人民大学、复旦大学等多所顶尖机构联合发布了一篇AI Agent 记忆（Memory）综述。 当前的 LLM 应用开发正面临严重的“记忆碎片化”问题：我们有用于短期记忆的 KV Cache，有用于知识检索的 RAG，还有用于长期交互的 MemGPT 类架构，但缺乏统一的理论指导。这篇综述不仅是对现有工作的盘点，更是一份解决“灾难性遗忘”与“上下文溢出”的系统方案。它详细 ...

GPU 性能没问题，模型也训练得不错，但 token 吞吐量就是上不去？问题多半出在 KV-cache 上。本文整理了 10 个实际可用的优化方向，都是能直接上生产环境的那种。 把 utilization 往上调，直到不再频繁出现 preemption；然后再调 max-num-seqs，让批次保持密集但别超出 ...

看到好些人在写更新缓存数据代码时，先删除缓存，然后再更新数据库，而后续的操作会把数据再装载的缓存中。然而，这个是逻辑是错误的。试想，两个并发操作，一个是更新操作，另一个是查询操作，更新操作删除缓存后，查询操作没有命中缓存，先把老 ...

内存的性能也是评价计算机整体性能的重要指标之一，本次我们将使用AIDA64自带的Cache& Memory Benchmark功能，来对7套平台内存的读取、写入、拷贝及延迟等参数进行测试。 虽然两天APU平台在内存的读取速度上相比其他平台略有优势，但其写入和拷贝的速度表现很不 ...

AIDA64作为大名鼎鼎的硬件检测软件EVEREST的继承者，保留了前辈的诸多特色以及功能。而AIDA64 Cache & Memory Benchmark是AIDA64里面一个非常重要的功能。通过该工具，我们可以快速准确地测试出内存的带宽以及延时，是一款不可多得的内存测试工具。 从AIDA64 Cache & Memory ...