深圳小王子 (@xiaowz)如何优雅解决第三方 AI 并发限制?Spring + Vue 项目真实场景求教 中发帖

我最近在给公司内部做一个平台,技术栈是 Spring Boot + Vue,主要集成了多个第三方 AI 服务(即梦、可灵、豆包等)。 
平台使用人数不算多,但是遇到了一个比较棘手的问题:
每个服务都是单账号调用,各自都有并发限制。比如说即梦只有一个key,可灵只有一个key。
比如同一个 key 只能 QPS 1~3,或者有严格的 rate-limit。几个人同时使用时就容易触发限流,体验很差。
我现在的思路
因为平台是内部用,并发规模不大,所以不想上 RabbitMQ、Kafka 这种重量级方案。
我目前想到的是:
用 Redis 做一个轻量级排队系统:
1.每种 provider 的 key 设置一个并发上限(比如 1 或 2)
2.达到上限时,把请求 push 到 Redis 队列
3.消费端用一个简单的 Lua + 定时消费去拉取
4.实现类似「排队 → 执行 ...