API 오류
Web Scraping API는 표준 HTTP 상태 코드를 반환합니다. 2xx가 아닌 응답에는 문제 내용을 설명하는 error 필드가 포함된 JSON 본문이 포함됩니다.
오류 코드
섹션 제목: “오류 코드”| 코드 | 의미 |
|---|---|
400 | Bad Request. 요청 형식이 잘못되었거나 매개변수가 유효하지 않습니다. 대상 URL을 스크랩할 수 없는 경우에도 반환됩니다. |
401 | Unauthorized. API 키가 누락되었거나 유효하지 않거나, 크레딧 할당량을 초과했습니다. |
403 | Forbidden. 사용 중인 요금제에 이 기능(예: JavaScript 렌더링 또는 국가별 지오로케이션)이 포함되어 있지 않습니다. 이 기능을 사용하려면 구독을 업그레이드하세요. |
406 | Not Acceptable. 요청한 응답 형식이 지원되지 않습니다. |
422 | Unprocessable Entity. 요청 자체는 유효했지만 처리할 수 없었습니다. 일반적인 원인으로는 대상 사이트가 200 OK 상태로 CAPTCHA를 반환한 경우, 응답 HTML이 비어 있는 경우, Instagram 프로필이 로그인 페이지를 반환한 경우, 또는 wait_for_css 선택자가 끝내 나타나지 않은 경우가 있습니다. |
429 | Too Many Requests. 요청을 너무 빠르게 보내고 있거나 너무 많은 요청을 병렬로 실행하고 있습니다. Google이 스크래퍼를 감지한 경우에도 이 코드를 반환할 수 있습니다. |
500 | Internal Server Error. 저희 측에서 문제가 발생했습니다. 잠시 후 다시 시도하세요. |
503 | Service Unavailable. API가 유지보수를 위해 일시적으로 오프라인 상태입니다. 나중에 다시 시도하세요. |
재시도 방식
섹션 제목: “재시도 방식”500과503은 지수 백오프(예: 1초, 2초, 4초)로 재시도하세요.429는 일시 중지 후 재시도하고, 요청 동시성을 줄이세요.400,401,403,406은 요청을 변경하지 않고 재시도하지 마세요.
참고 자료
섹션 제목: “참고 자료”- Web Scraping API - 엔드포인트 허브
- 기본 요청 - 최소한의 호출 예제