“Best web scraping API for Amazon”이라는 질문에는 단 하나의 답이 없다. 아마존 모니터링이 단 하나의 작업이 아니기 때문이다. 다섯 개 마켓플레이스에서 2천 개 ASIN의 가격을 추적하는 일, 자신의 리스팅에서 누가 바이박스를 차지하고 있는지 감사하는 일, 특정 카테고리의 베스트셀러 순위 변동을 지켜보는 일은 모두 아마존과 관련되어 있지만 API에 요구하는 것은 각기 다르다.
그래서 이 가이드는 한 분기만 지나도 오래된 정보가 되고 당신의 작업 방식에 대해서는 아무것도 알려주지 않는 벤더 순위 목록 대신, 옵션을 유형별로 정리하고, 좋은 아마존 API와 실제로 쓸 만한 API를 가르는 기준을 제시하며, 도입을 결정하기 전에 당신의 ASIN을 대상으로 후보들을 직접 테스트할 수 있는 방법을 제공한다.
맞지 않는 것부터 제외하라
아마존 자체 API는 자신의 계정으로 작업하는 셀러와 어필리에이트를 위해 설계되었으며, 별도의 자격 요건과 사용 약관을 갖고 있다. 이는 자신의 리스팅, 주문, 재고를 관리하는 데 맞는 도구다. 카탈로그 전반에서 경쟁사의 오퍼, 가격, 순위를 모니터링하는 용도는 아니며, 그것이 바로 이 가이드가 다루는 작업이다.
그 작업을 위한 API는 세 가지 종류가 있다.
아마존용 API의 세 가지 유형
전용 이커머스 API. 아마존의 각 화면별로 구조화된 엔드포인트를 제공한다: 상품, 검색, 베스트셀러, 딜, 카테고리, 셀러 프로필. ASIN이나 쿼리를 보내면 파싱된 JSON을 받는다. 선택자도, 유지보수할 파서도 필요 없으며, 아마존이 마크업을 변경하면 그 변경을 프로바이더가 흡수한다.
범용 웹 스크래핑 API. 어떤 URL이든 보내면 API가 프록시, 렌더링, 재시도를 처리하며, 당신이 정의한 추출 규칙에 따라 생성된 HTML 또는 JSON을 받는다. 어떤 리테일러, 어떤 페이지에도 작동하므로 더 유연하지만, 파싱은 마크업이 바뀔 때의 유지보수를 포함해 당신이 직접 소유해야 한다.
직접 관리하는 프록시. 브라우저나 HTTP 클라이언트, 파서, 재시도 로직을 모두 직접 운영하며 레지덴셜 프록시를 통해 라우팅한다. 최대의 통제력과 매우 큰 규모에서의 최저 단가를 얻는 대신 가장 많은 엔지니어링이 필요하다. 이 접근 방식은 프록시로 아마존 상품 데이터 스크래핑하기에서 다룬다.
| 전용 이커머스 API | 범용 스크래핑 API | 직접 관리 프록시 | |
|---|---|---|---|
| 출력 | 화면별 구조화된 JSON | HTML, 또는 당신의 규칙에 따른 JSON | 직접 구축한 형태 |
| 파서 유지보수 | 프로바이더 | 당신 | 당신 |
| 아마존 외 사이트 지원 | 지원 사이트에 한정 | 모든 사이트 | 모든 사이트 |
| 엔지니어링 노력 | 최저 | 중간 | 최고 |
| 적합한 경우 | 대량의 아마존 작업, 빠른 시작 | 여러 리테일러 혼합 모니터링 | 매우 큰 규모, 맞춤 플로우 |
성숙한 가격 인텔리전스 스택 대부분은 결국 둘 이상을 함께 사용한다: 아마존용 전용 API와, 구조화된 엔드포인트가 커버하지 못하는 롱테일 리테일러를 위한 범용 스크래핑 API.
아마존에서 실제로 중요한 기준
기능 목록만 보면 다들 비슷해 보인다. 실제로 데이터의 사용 가능 여부를 결정하는 속성은 다음과 같다.
마켓플레이스 커버리지. 아마존은 동일한 ASIN에 대해 서로 다른 가격, 셀러, 재고 상태를 가진 여러 국가별 스토어프론트의 집합이다. 미국뿐 아니라 판매 중인 모든 마켓플레이스가 지원되는지 확인하라.
화면(surface) 커버리지. 가격 인텔리전스는 대개 상품 페이지 이상을 필요로 한다: 검색 순위, 베스트셀러 변동, 딜, 그리고 경쟁 대상을 파악하기 위한 셀러 데이터. 워크플로우에 필요한 화면을 나열하고 각각을 확인하라.
오가닉과 스폰서드의 분리. 검색 결과는 유료 배치와 오가닉 배치가 섞여 있다. 이를 구분하지 않고 하나의 목록으로 반환하는 API는 순위 분석을 조용히 손상시킬 것이다.
디바이스 동등성(parity). 모바일과 데스크톱은 결과의 순서가 다를 수 있다. 고객이 모바일로 쇼핑한다면 모바일 결과가 필요하다.
출력 안정성. 구조화된 API는 스키마가 유지될 때만 가치가 있다. 호환성이 깨지는 변경이 어떻게 공지되는지 확인하고, 샘플 응답을 신뢰하기보다 트라이얼 동안 필드 완전성을 직접 관찰하라.
성공 건에 대해서만 과금. 차단되거나 실패한 요청에도 요금을 내면 불안정한 대상이 예산 문제로 바뀐다. 성공한 응답에만 과금하는 프로바이더를 우선하고, “성공”이 어떻게 정의되는지 확인하라.
동시성과 신선도. 동시성 상한이 카탈로그를 얼마나 빨리 갱신할 수 있는지를 결정하며, 이는 가격 데이터가 얼마나 오래될 수 있는지를 결정한다.
모든 아마존 파이프라인이 걸려 넘어지는 한 가지
가격은 해당 마켓플레이스 고유 형식의 표시용 문자열로 반환되며, 통화 기호만으로는 통화를 식별할 수 없다: amazon.com, amazon.ca, amazon.com.au의 $는 서로 다른 세 가지 통화다. 기호와 마켓플레이스를 함께 이용해 ISO 통화를 식별하고, 파싱된 금액 옆에 원본 문자열도 함께 저장하라. 전체 로딩 패턴은 웹 스크래핑 API 데이터를 SQL로 옮기기에 있다.
바이박스도 마찬가지다. 낙찰된 오퍼는 배송 위치와 그 순간 활성 상태인 셀러에 따라 달라질 수 있으므로, 어떤 API든 반환하는 것은 바이박스에 대한 하나의 관점일 뿐, 바이박스 자체가 아니다. 어떤 관점을 얻고 있는지 파악하고, 관측할 때마다 마켓플레이스와 타임스탬프를 함께 기록하라.
후보를 자신의 데이터로 평가하는 방법
문서에 나온 샘플 응답은 당신의 카탈로그에 대해 아무것도 증명하지 않는다. 실제 작업을 그대로 반영하는 트라이얼을 실행하라.
- 고정된 샘플을 정하라: 관심 있는 마켓플레이스 전반에서 실제 ASIN 몇백 개를, 가장 중요한 상품에 비중을 두어 선정한다.
- 일주일 동안 정기적으로 실행하라, 실제 운영에서 사용할 주기로.
- 필드별, 마켓플레이스별로 필드 완전성을 측정하라. 독일 상품의 8%에서 가격 필드가 비어 있다면 이는 실질적인 발견이다.
- 정확성을 표본 점검하라, 반환된 가격 중 임의 일부를 같은 시간의 실제 페이지와 비교한다.
- 성공률과 지연시간을 마켓플레이스별로 기록하라, 집계로 뭉뚱그리지 말고. 어떤 프로바이더는 미국에서는 우수하지만 다른 지역에서는 약할 수 있기 때문이다.
- 레코드당 사용 가능 비용을 계산하라, 즉 완전하고 정확하며 올바르게 귀속된 행을 기준으로, 요청당 비용이 아니라.
모든 후보를 같은 샘플, 같은 주, 같은 주기로 테스트하라. 서로 다른 조건에서 테스트된 프로바이더들을 비교하는 것이야말로 구매 결정을 잘못되게 만드는 원인이며, 이는 우리가 자체 벤치마크에 적용하는 것과 같은 원칙이다.
Shifter는 어디에 맞는가
Shifter Amazon API는 전용 이커머스 API다. type 파라미터를 가진 단일 엔드포인트가 검색, 상품 상세, 베스트셀러, 오늘의 딜, 카테고리, 셀러 프로필, 셀러 상품, 셀러 피드백을 19개 아마존 마켓플레이스에 걸쳐 커버하며, 데스크톱 또는 모바일 결과를 기본적으로 JSON으로 제공한다:
curl "https://ecom.shifter.io/v1?engine=amazon&api_key=YOUR_API_KEY&type=product&product_id=B08C1W5N87&domain=amazon.de"검색 응답은 스폰서드 배치를 오가닉 결과와 별도의 필드에 유지하며, 페이지네이션도 응답에 노출된다. 아마존 호출은 SERP API 플랜 쿼터를 사용하므로, 하나의 키 풀과 하나의 플랜으로 두 가지를 모두 처리한다. 엔드포인트와 파라미터는 Amazon API 문서에 있으며, 요금제는 SERP API 요금 페이지에 있다.
Shifter Web Scraping API는 구조화된 엔드포인트가 다루지 않는 모든 것을 커버한다: 다른 리테일러, 브랜드 사이트, 그리고 직접 추출하고자 하는 모든 페이지. 요청 시 JavaScript를 렌더링하고, 추출 규칙을 통해 JSON을 반환하며, 요청별로 국가를 지정할 수 있고, 페이지네이션이 있는 플로우를 위해 세션을 유지하며, 실패한 요청을 자동으로 재시도하고, 성공한 응답에만 과금한다. Web Scraping API 페이지를 참고하라.
Shifter 레지덴셜 프록시는 브라우저와 파서를 완전히 통제하고 싶은 팀을 위한 직접 관리형 옵션이다.
작업과 도구 매칭하기
| 작업 | 최적의 선택 |
|---|---|
| 고정된 ASIN 목록에 대한 마켓플레이스 전반 가격 추적 | 전용 Amazon API |
| 검색 순위 및 점유율(share-of-shelf) 모니터링 | 스폰서드와 오가닉이 분리된 전용 Amazon API |
| 아마존과 기타 리테일러 전반의 경쟁사 가격 추적 | Amazon API와 범용 스크래핑 API의 조합 |
| 자신의 리스팅에서 셀러 식별 | 전용 API의 셀러 엔드포인트 |
| 구조화된 엔드포인트가 노출하지 않는 맞춤 플로우 | 범용 스크래핑 API 또는 직접 관리 프록시 |
| 자체 스크래핑 엔지니어링을 갖춘 매우 큰 규모의 카탈로그 | 직접 관리 프록시 |
후속 활용 사례는 실시간 경쟁사 가격 피드 구축하기, 대규모 MAP 준수 관리, 당신의 리스팅을 가로채는 서드파티 셀러 탐지하기에서 다룬다.
FAQ
아마존 자체 API로 경쟁사 가격을 모니터링할 수 있나?
아마존의 API는 자신의 계정으로 작업하는 셀러와 어필리에이트를 위해, 그들만의 약관 아래 만들어졌다. 더 넓은 카탈로그를 모니터링하려면 팀들은 전용 이커머스 API, 범용 스크래핑 API 또는 프록시를 사용한다.
전용 Amazon API가 범용 스크래핑 API보다 항상 더 나은가?
지원하는 아마존 화면에 대해서는 대개 통합이 더 빠르고 유지보수가 더 저렴하다. 다른 리테일러도 함께 모니터링하거나 구조화된 엔드포인트가 다루지 않는 페이지가 필요할 때는 범용 스크래핑 API가 우위를 갖는다.
아마존 가격은 얼마나 자주 갱신해야 하나?
주기는 실제 카테고리의 변동 속도에 맞춰야 하며, 이는 트라이얼 동안 측정할 수 있다. 많은 팀이 우선순위 워치리스트는 하루에 여러 번, 롱테일은 하루 한 번 갱신한다.
Amazon API 구매 시 가장 흔한 실수는 무엇인가?
일주일 동안 자신의 마켓플레이스에서 자신의 ASIN을 기준으로 평가하지 않고, 샘플 응답만으로 평가하는 것이다. 대부분의 옵션이 차이를 보이는 지점은 미국 이외 지역의 필드 완전성이다.
결론
아마존을 위한 단 하나의 최고의 웹 스크래핑 API는 존재하지 않으며, 주어진 작업에 맞는 최적의 선택만이 존재한다. 전용 이커머스 API는 마켓플레이스 전반에서 구조화된 아마존 데이터를 얻는 가장 빠른 경로다. 범용 스크래핑 API는 같은 파이프라인을 다른 모든 리테일러로 확장한다. 직접 관리 프록시는 매우 크고 매우 맞춤화된 운영에 적합하다.
마켓플레이스와 화면 커버리지, 오가닉과 스폰서드의 분리, 출력 안정성, 성공 건에 대해서만 과금하는지를 기준으로 선택한 다음, 도입을 결정하기 전에 일주일 동안 자신의 ASIN으로 그 선택을 검증하라. 더 넓은 활용 사례는 가격 인텔리전스 페이지에 있다.