프록시 및 스크래핑 쉬운 말로

레지덴셜 프록시는 인터넷 서비스 제공업체(ISP)가 실제 가정용 기기에 할당한 IP 주소를 통해 사용자의 인터넷 트래픽을 라우팅하는 프록시 서버로, 요청이 실제 소비자 트래픽처럼 보이게 만듭니다.

ISP 프록시는 IP 주소가 인터넷 서비스 제공업체에 등록되어 있지만 데이터센터에서 호스팅되는 고정 레지덴셜 프록시로, 데이터센터급 속도와 안정성을 지닌 고정 레지덴셜급 IP를 제공합니다.

모바일 프록시는 이동통신사(3G, 4G, 5G)가 실제 스마트폰이나 태블릿에 할당한 IP 주소를 통해 트래픽을 라우팅하는 프록시 서버로, 안티봇 시스템에서 가장 높은 신뢰도 점수를 갖습니다.

데이터센터 프록시는 실제 소비자 가구에 서비스를 제공하는 인터넷 서비스 제공업체가 아닌 클라우드 또는 호스팅 제공업체에서 IP 주소를 가져오는 프록시 서버입니다.

로테이팅 프록시는 사용 가능한 IP 풀에서 가져와 각 요청마다(또는 일정한 시간 간격으로) 서로 다른 IP 주소를 자동으로 할당하는 프록시 서비스입니다.

SOCKS5 프록시는 SOCKS5 프로토콜을 사용하여 클라이언트와 대상 간의 임의의 TCP 및 UDP 트래픽을 애플리케이션 계층 페이로드를 파싱하거나 수정하지 않고 전달하는 프록시 서버입니다.

HTTP 프록시는 HTTP를 이해하고 전달하는(CONNECT 메서드를 통해서는 HTTPS도) 프록시 서버로, 애플리케이션 계층에서 작동하며 일반 HTTP의 요청 및 응답 데이터를 검사, 수정, 캐싱할 수 있습니다.

프록시 서버는 클라이언트와 목적지 서버 사이에 위치하여 클라이언트를 대신해 요청을 전달하고 목적지의 응답을 반환하는 중개 시스템으로, 일반적으로 클라이언트의 IP를 숨기거나, 접근을 제어하거나, 정책을 적용하는 데 사용됩니다.

IP 풀은 프록시 제공업체가 고객 트래픽의 종료 IP로 할당할 수 있는 IP 주소의 집합으로, 일반적으로 여러 서브넷, ASN, 지역에 걸쳐 있습니다.

IP 로테이션은 발신 요청의 소스 IP 주소를 정해진 주기(요청당, 시간 구간당, 또는 세션당)로 전환하여 트래픽을 여러 IP에 분산시키고 IP별 속도 제한을 피하는 방식입니다.

스티키 세션은 요청마다 새로운 IP로 로테이션하는 대신, 정해진 시간 동안 또는 세션 ID의 수명 동안 동일한 종료 IP를 클라이언트에 고정하는 프록시 구성입니다.

프록시 서비스에서 Geo 타겟팅이란 country, region, state, city 또는 ASN별로 출구 IP의 지리적 위치를 선택할 수 있는 기능으로, 이를 통해 대상 사이트가 귀하의 트래픽을 해당 특정 시장에서 발생한 것으로…

CAPTCHA(Completely Automated Public Turing test to tell Computers and Humans Apart, 컴퓨터와 인간을 구별하기 위한 완전 자동화 튜링 테스트)는 웹사이트가 인간…

브라우저 핑거프린팅은 웹사이트가 브라우저에서 일련의 속성(User-Agent, 화면 크기, 글꼴, 플러그인, 캔버스 해시, WebGL 서명 등)을 수집해 하나의 고유한 서명으로 결합함으로써 방문자를 식별하고 추적하는 기법입니다.

TLS 지문은 클라이언트의 TLS 핸드셰이크의 특정 구조(암호 목록, 확장, ALPN 값, GREASE 바이트 등)에서 파생된 해시로, 애플리케이션 계층 데이터가 교환되기 전에 기본 HTTP 클라이언트, 브라우저 또는 라이브러리를…

헤드리스 브라우저는 그래픽 사용자 인터페이스 없이 실행되는 실제 웹 브라우저로, Chrome DevTools Protocol이나 WebDriver 같은 API를 통해 프로그래밍 방식으로 제어되며, 자동화 테스트, 스크래핑,…

User-Agent는 요청을 보내는 클라이언트 소프트웨어를 식별하는 HTTP 요청 헤더입니다. 일반적으로 브라우저 이름, 버전, OS, 렌더링 엔진을 포함하며, 예를 들어 'Mozilla/5.0 (Windows NT 10.0;…

웹 스크래핑은 HTTP 요청, 브라우저 자동화 또는 API를 사용하여 웹사이트에서 구조화된 데이터를 자동으로 추출하는 것으로, 일반적으로 분석, 모니터링, 연구 또는 후속 애플리케이션에 활용됩니다.

SERP 스크레이핑은 Google, Bing, Yandex 또는 기타 검색 엔진에서 오가닉 리스팅, 광고, 스니펫, 지식 패널, 로컬 팩 등 검색 엔진 결과 페이지(SERP) 데이터를 프로그래밍 방식으로 추출하는 작업으로,…

가격 모니터링은 경쟁사 웹사이트와 마켓플레이스에서 제품 가격을 체계적으로, 대개 자동화된 방식으로 추적하는 것으로, 동적 가격 책정, MAP 정책 집행, 경쟁 인텔리전스, 카테고리 분석에 활용됩니다.

광고 검증은 디지털 광고가 실제로 어디에, 언제, 어떻게 게재되는지를 프로그래밍 방식으로 감사하는 작업입니다. 게재 위치, 뷰어빌리티, 브랜드 세이프티 맥락, 지역 타겟팅 정확성, 사기 신호를 확인하며, 보통 실제 소비자 IP에서…

브랜드 보호란 마켓플레이스, 소셜 미디어, 검색 결과, 유료 광고, 오픈 웹 등 온라인 채널을 체계적으로 모니터링하여 위조품 리스팅, 상표권 남용, 사칭 계정, 무단 재판매자를 탐지하고 이에 대해 조치를 취하는 것입니다.

ASN(자율 시스템 번호, Autonomous System Number)은 IANA가 네트워크 운영자(ISP, 호스팅 제공업체, 기업)에게 할당하는 고유 식별자로, BGP 라우팅에서 해당 운영자가 인터넷에 알리는 IP 범위를…

속도 제한은 서버 측 방어 기법으로, 특정 시간 창 내에서 단일 클라이언트(IP, 계정, 세션으로 식별됨)가 만들 수 있는 요청 수를 제한하며, 인프라를 보호하고, 남용을 방지하며, 공정한 리소스 사용을 보장하는 데 사용됩니다.

robots.txt는 웹사이트 루트에 위치한 일반 텍스트 파일(예: example.com/robots.txt)로, Robots Exclusion Protocol을 따라 사이트 소유자가 크롤러의 접근을 허용하거나 원하지 않는 URL을…

스니커 봇은 사람보다 더 빠르게 체크아웃을 완료함으로써, 한정판 스니커즈(또는 기타 한정 수량 품목)가 판매되는 순간 이를 구매하도록 설계된 자동화 소프트웨어입니다. 일반적으로 IP당 구매 제한을 피하기 위해 빠른 레지덴셜 또는…