缓存、延迟与成本

性能优化不能只看首个token或每百万token价格。企业任务需要通过验收，实际成本包括失败、工具、验证和人工返工。缓存也分不同层：前缀计算、候选证据、工具结果与最终答案，拥有不同的失效和授权要求。

本分支先解释缓存复用和依赖失效，再讨论关键路径、deadline、背压和有效结果成本。观察基线为2026-10-15；所有SLO需用代表负载验证，厂商演示数字不能作为本项目承诺。先定位重复轮次和长工具输出，再决定是否需要更复杂基础设施。

优化必须保留证据、验收与当前权限。源撤回可能影响已进入context的资料，不能只删除一个缓存键；降低延迟也不应靠省略关键验证。

OpenAI：Latency optimization；OpenAI：Prompt caching。