API 오류 코드 429 - 요청 동시성 한도에 도달

“Concurrency limit reached for requests”라는 메시지가 포함된 429 오류는 W&B Inference API에 동시 요청을 너무 많이 보내고 있음을 의미합니다.

이런 일이 발생하는 이유

W&B Inference는 공정한 사용과 서비스 안정성을 보장하기 위해 동시성 한도를 적용합니다. 계정에서 동시에 보내는 Request 수가 허용된 한도를 초과하면, 추가 Request는 429 status 코드와 함께 거부됩니다.

할 수 있는 작업

1. 동시 요청 수 줄이기

   • 애플리케이션에서 요청 큐잉이나 스로틀링을 구현합니다
   • 실패한 요청을 재시도할 때 지수 백오프를 사용합니다

2. 한도 늘리기

   • 현재 플랜의 동시성 한도를 검토하고, 필요하면 업그레이드합니다

자세한 내용은 사용 정보 및 한도를 참조하세요.

---

할당량 및 요청 속도 제한