가이드, 튜토리얼 및 인사이트
레지덴셜 프록시, 웹 스크래핑, 데이터 수집 전략 및 업계 모범 사례를 Shifter 팀으로부터 배우세요.
LLM 추출 vs 셀렉터: 모델이 페이지를 읽도록 해야 할 때
대규모 언어 모델이 18개의 실제 뉴스 페이지에서 필드를 추출하도록 하고, 이를 해당 페이지 자체의 구조화된 데이터와 비교해 평가했습니다. 정확도, 비용, 그리고 언제 사용해야 하는지 다룹니다.
Chris Collins · 2026년 9월 28일 대규모 변경 감지: 노이즈에 파묻히지 않고 웹 페이지 비교하기
페이지는 로드할 때마다 바뀝니다: 광고, 타임스탬프, 토큰. 정규화, 필드 단위 diff, simhash를 활용해 실제 변경과 노이즈를 구분하는 방법을 테스트된 코드와 함께 알아봅니다.
Chris Collins · 2026년 9월 27일 HTML 파싱은 그만: JSON-LD와 임베디드 데이터에서 구조화된 데이터 추출하기
대부분의 페이지에는 이미 기계가 읽을 수 있는 데이터가 포함되어 있습니다. 취약한 셀렉터 대신 JSON-LD와 임베디드 JSON을 추출하는 방법과 데이터가 불완전할 때 대처하는 방법을 소개합니다.
Matt Brown · 2026년 9월 26일 타겟 헬스 스코어 구축하기: 사이트가 당신에게 등을 돌리고 있다는 것을 아는 법
사이트는 크롤러를 한 번에 차단하는 경우가 거의 없습니다. 먼저 챌린지를 걸고, 소프트 블록을 하고, 속도를 늦춥니다. 이러한 신호를 사이트별 하나의 점수로 전환하고 이에 대응하는 방법을 알아봅니다.
Matt Brown · 2026년 9월 22일 비용 인식 크롤링 스케줄링: 변화가 있는 곳에 예산을 쓰는 법
대부분의 재크롤링 예산은 아무것도 바뀌지 않았음을 확인하는 데 쓰인다. 비용 대비 기대값으로 스케줄을 세우는 방법과 가장 빨리 변하는 페이지가 최선의 선택이 아닌 이유.
James Meadow · 2026년 9월 22일 분산 크롤러의 백프레셔와 흐름 제어
크롤러는 파이프라인이며, 가장 빠른 단계가 가장 느린 단계를 넘치게 만듭니다. 제한된 큐, 풀 기반 작업, 호스트별 적응형 제한이 크롤러를 안정적으로 유지하는 방법을 알아봅니다.
Chris Collins · 2026년 9월 22일 CI/CD에서 스크레이퍼 실행하기: 프록시 자격 증명, 시크릿, 테스트 실행
프록시 자격 증명을 유출하거나 푸시할 때마다 대역폭을 낭비하지 않고 CI에서 스크레이퍼를 실행하는 방법: 시크릿 저장, 테스트 티어, 세션, 쿼터 확인, 로테이션.
Chris Collins · 2026년 9월 21일 여러 사이트에서 기업 리뷰와 평점을 모니터링하는 방법
기업 리뷰는 지원자의 선택에 영향을 미칩니다. 리뷰 사이트 전반에서 평점과 주제를 모니터링하고 경쟁사를 벤치마킹하며 각 사이트의 규칙을 준수하는 방법을 소개합니다.
James Meadow · 2026년 9월 19일 오픈 웹에서 대규모 학습 데이터셋을 구축하는 방법
페이지 수집은 쉬운 부분이다. 오픈 웹 크롤링을 학습 코퍼스로 전환하는 방법: 프론티어, 옵트아웃, 추출, 필터링, 중복 제거 및 오염 제거.
Matt Brown · 2026년 9월 18일