Respan 两年积累毁于一次升级：AI 网关的依赖风险

一次升级，两年白干

Respan 的故事在开发者社区引发了广泛讨论：在 LiteLLM 上花费两年时间构建的 AI 网关，因为一次版本升级而不得不从零开始。

LiteLLM 是一个流行的 Python 库，用于统一调用多家 LLM API，降低多模型适配成本。很多团队选择在其之上搭建自定义网关、路由和计费逻辑。Respan 也不例外——他们围绕 LiteLLM 积累了两年的业务代码和架构设计。

然而，一次升级打破了这一切。新版本引入了破坏性变更（breaking changes），导致大量已有代码无法兼容。团队面临的选择是：要么花数周甚至数月逐一修复兼容问题，要么彻底重写。

最终，Respan 选择了后者——用 Rust 重写整个 AI 网关。从 URL 信息来看，新项目定位为一个高性能的 Rust AI Gateway。

为什么 LiteLLM 升级会这么痛？

这类问题的根源在于上游库的 API 稳定性不足。LiteLLM 需要适配 OpenAI、Anthropic、Google 等多家厂商的接口，而各厂商的 API 本身频繁变动，导致 LiteLLM 的抽象层也不得不频繁调整。

当你的项目深度依赖这样一个快速迭代的库时，风险包括：

• 接口签名变化：函数参数、返回值类型改变，编译或运行时直接报错
• 行为语义变化：同名方法逻辑不同，测试通过但生产环境出错
• 依赖链传导：LiteLLM 升级可能连带升级其底层依赖，引发连锁问题

对于 Respan 而言，两年的业务逻辑与 LiteLLM 深度耦合，升级成本远超修复成本。

用 Rust 重建：取舍与收益

转向 Rust 意味着 Respan 接受了以下取舍：

收益方面：

• 编译期类型安全：接口变更在编译阶段即可捕获，避免运行时才暴露问题
• 性能优势：Rust 的零成本抽象和内存安全模型，适合高吞吐网关场景
• 依赖控制力：可以更精细地管理上游依赖，甚至自行封装多模型适配层

代价方面：

• 重写成本：两年 Python 代码需要重新用 Rust 实现
• 生态成熟度：Rust 的 LLM 生态不如 Python 丰富，部分工具链需要自建
• 团队学习曲线：如果团队之前主要使用 Python，Rust 有较高的上手门槛

给开发者的实用建议

如果你正在构建 AI 网关或类似中间层，以下经验值得参考：

1. 隔离上游依赖：在 LiteLLM 等库之上建立自己的抽象层（Adapter Pattern），将上游接口变化限制在适配层内，业务逻辑不直接依赖上游 API

2. 锁定版本并测试升级：生产环境锁定依赖版本，升级前在独立分支进行完整的集成测试，评估 breaking changes 的影响范围

3. 评估重写 vs 修复的成本：当升级导致的修复工作量超过重写的 30%-40% 时，考虑重写可能更经济

4. 关注上游的发布节奏：如果上游库处于快速迭代期（如 0.x 版本），其 API 稳定性天然较低，需要更谨慎地依赖

5. 考虑多语言架构：核心网关用 Rust/Go 等语言保证性能和稳定性，模型适配层用 Python 保持灵活性

总结

Respan 的经历提醒我们：在 AI 基础设施领域，依赖风险是真实的架构成本。 快速迭代的生态带来了便利，但也埋下了隐患。建立隔离层、控制依赖边界、在必要时果断重写，是构建可持续 AI 系统的核心能力。