限流

當前限流策略

目前，我們的限流規則如下：
每個使用者最多只能同時發起一個請求，超出限制的請求會返回 429 錯誤碼。
當前服務免費使用，但請合理使用資源，避免不必要的高併發請求。

併發限制	描述
串流請求	主動取消後立即釋放權杖，推薦使用串流請求以提高效率。
非串流請求	主動取消後，模型實際仍在運行，需等待運行完畢後才釋放權杖。

推薦使用方式

優先使用串流請求：串流請求在主動取消後會立即釋放權杖，能夠更高效地利用資源。