可靠性

保护用户的限流，不只是保护上游

LLM 应用里的限流是一次解三个问题，多数实现只解一个。上游问题：模型 API 有配额，你不能超。成本问题：你自己代码里的失控循环，一个小时能花一千美元。用户保护问题：单个用户，无论是恶意还是无心，不 ...