限速

当前限流策略

目前，我们的限流规则如下：
每个用户最多只能同时发起一个请求，超出限制的请求会返回429错误码。
当前服务免费使用，但请合理使用资源，避免不必要的高并发请求。

并发限制	描述
流式请求	主动取消后立即释放令牌，推荐使用流式请求以提高效率。
非流式请求	主动取消后，模型实际仍在运行，需等待运行完毕后才释放令牌。

推荐使用方式

优先使用流式请求：流式请求在主动取消后会立即释放令牌，能够更高效地利用资源。