Performance

缓存 LLM 响应：不只是按 prompt 哈希

每个人给 LLM 应用加的第一个缓存，都是把 prompt 哈希映射到响应的键值存储。开发环境里命中率看起来还行，生产里令人失望，因为真实用户用十四种不同方式问同一个问题，而 SHA 哈希把它们当成不 ...