링크 빌딩은 대부분 조사 작업입니다. 아웃리치 이메일을 한 통 보내기 전에도 누군가는 잠재 사이트를 검색하고, 진짜 퍼블리셔와 링크 팜을 가려내고, 누가 경쟁사에 링크하는지 확인하고, 나중에는 확보한 모든 링크가 아직 남아 있는지 점검해야 합니다. 사이트가 수십 개라면 수작업으로 가능합니다. 수천 개가 되면 CAPTCHA, 요청 제한, 국가마다 다른 결과에 부딪히게 되며, 바로 이때 레지덴셜 프록시가 필요합니다.
이 가이드에서는 링크 빌더가 자동화하는 네 가지 조사 작업, 각 작업에서 수집할 데이터, 그리고 데이터가 완전하고 정확하도록 프록시를 설정하는 방법을 다룹니다.
링크 조사가 벽에 부딪히는 이유
사무실 회선 하나로 링크 조사 규모를 키우면 두 가지 문제가 생깁니다.
규모. 한 번의 잠재 사이트 발굴 작업에 수백 개의 검색 쿼리가 필요할 수 있고, 각 쿼리에는 여러 페이지의 결과가 있으며, 이후 각 결과를 가져와 평가해야 합니다. Google은 하나의 IP에서 반복되는 자동 쿼리에 “비정상적인 트래픽” 페이지로 응답하고, 많은 퍼블리셔 사이트는 빠르게 반복되는 방문에 확인 절차를 요구하는 봇 차단 시스템 뒤에 있습니다. 작업이 중단되거나, 더 나쁜 경우에는 계속 진행되면서 확인 페이지를 실제 결과처럼 기록합니다.
위치. 검색 결과는 지역별로 다릅니다. “guest post”에 주제를 더한 쿼리는 미국, 독일, 인도에서 서로 다른 사이트를 보여 주며, 지역 비즈니스에는 지역 사이트의 링크가 필요합니다. 자국에서 검색하면 자국 시장만 보입니다. 위치에 따라 결과가 얼마나 달라지는지는 지역별 Google 검색 결과 가이드에서 설명합니다.
국가 타겟팅을 지원하는 로테이션 레지덴셜 IP는 두 문제를 모두 해결합니다. 각 요청이 선택한 시장의 서로 다른 가정용 회선에서 나가므로 현지의 일반 검색 사용자처럼 보입니다.
작업 1: 검색 풋프린트로 잠재 사이트 발굴
대부분의 잠재 사이트 목록은 풋프린트라고 부르는 검색 연산자로 시작합니다. 풋프린트를 사용하면 기고나 링크를 받아 줄 가능성이 높은 페이지를 찾을 수 있습니다.
- 게스트 포스트 대상에는
"write for us" + topic와intitle:"guest post" + topic. - 리소스 페이지에는
inurl:resources + topic와intitle:"useful links". - 제품이 들어갈 만한 모음 글과 리스트 글에는
"best tools for" + topic. - 경쟁사 자체 도메인을 제외한 경쟁사 브랜드명. 경쟁사를 언급하고 있어 여러분도 언급해 줄 만한 페이지를 찾을 수 있습니다.
수집할 항목: 결과 URL, 제목, 순위, 그리고 해당 결과를 찾은 쿼리. 각 결과와 함께 쿼리를 저장해 두면 나중에 어떤 풋프린트가 좋은 잠재 사이트를 만들어 내는지 확인하고 효과 없는 풋프린트는 뺄 수 있습니다.
프록시 설정: 요청마다 IP를 로테이션하고, 링크를 구축하려는 시장의 국가를 타겟팅하세요. 빠른 워커 하나보다는 각 워커를 느리게 유지하면서 여러 개를 병렬로 실행하세요. 결과 페이지를 저장하기 전에 동의 화면이나 CAPTCHA가 아니라 실제 결과 페이지인지 확인하세요.
작업 2: 잠재 사이트 평가
URL 2,000개로 된 원본 목록에서 이메일을 보낼 가치가 있는 사이트는 200개 정도일 수 있습니다. 각 사이트를 가져와 점수를 매기면 수작업 검토 대부분을 줄일 수 있습니다.
사이트별 수집 항목:
- 사이트가 살아 있고 정상적인 페이지를 반환하는지 여부.
- 대상으로 하는 언어와 국가(
lang속성, hreflang 태그, 통화, 주소). - 블로그 목록이나 사이트맵의 날짜로 판단한 최근 콘텐츠 게시 여부.
- 링크 팜의 징후: 서로 관련 없는 수백 개의 주제, “스폰서 게시물” 가격표, 모든 외부 링크에 sponsored 표시.
- 공개되어 있다면 연락처 페이지나 편집부 이메일.
프록시 설정: 요청마다 로테이션하세요. 대부분의 퍼블리셔 사이트는 규모가 작아 차단하지 않지만, 목록에 있는 대형 미디어 사이트는 차단하는 경우가 많으며, 확인 페이지가 “살아 있는 사이트”로 평가되면 목록 전체를 망치게 됩니다. 차단되거나 가짜인 콘텐츠를 감지하는 방법 가이드에서 이러한 응답이 데이터에 들어가기 전에 걸러내는 방법을 소개합니다.
작업 3: 경쟁사 백링크 조사
백링크 도구는 누가 경쟁사에 링크하는지 알려 줍니다. 하지만 그 페이지가 오늘도 링크하고 있는지, 앵커 텍스트와 주변 문단이 지금 어떤 모습인지, 링크가 follow인지는 알려 주지 않습니다.
백링크 도구에서 경쟁사의 참조 페이지를 내보낸 다음, 각 페이지를 직접 가져와 다음을 기록하세요.
- 링크가 아직 페이지에 있는지 여부.
- 앵커 텍스트와
rel값(nofollow,sponsored,ugc또는 없음). - 페이지 자체가 색인 가능한지 여부: robots 메타 태그와
X-Robots-Tag헤더에noindex가 없고, canonical이 자기 자신을 가리키는지.
아직 링크가 있고, follow이며, 색인 가능한 페이지가 가장 좋은 잠재 사이트입니다. 해당 퍼블리셔는 여러분과 같은 사이트에 링크한다는 것을 이미 보여 주었기 때문입니다.
프록시 설정: 요청마다 로테이션하고, 지역 뉴스 사이트처럼 위치에 따라 콘텐츠가 바뀌는 경우에는 링크를 건 사이트의 국가를 타겟팅하세요.
작업 4: 구축한 링크 검증
게시된 링크는 사라집니다. 페이지는 개편되고, 게시물은 비공개로 전환되며, 일부 퍼블리셔는 비용을 받은 뒤 조용히 nofollow를 추가하거나 링크를 리디렉션으로 바꿉니다. 클라이언트를 위해 링크를 구축한다면 월간 점검은 업무의 일부이며, 클라이언트가 가장 꼼꼼히 읽는 보고서이기도 합니다.
작은 스크립트 하나로 대부분을 처리할 수 있습니다. 다음 스크립트는 로테이션 레지덴셜 IP를 통해 페이지를 가져와 여러분의 도메인으로 향하는 링크가 있는지, 그 rel 값은 무엇인지, 페이지가 색인 가능한지를 보고합니다.
import requests
from html.parser import HTMLParser
PROXY = "http://customer-USERNAME-country-us:PASSWORD@p.shifter.io:443"
PROXIES = {"http": PROXY, "https": PROXY}
class LinkFinder(HTMLParser):
def __init__(self, domain):
super().__init__()
self.domain = domain
self.links = []
self.noindex = False
def handle_starttag(self, tag, attrs):
a = dict(attrs)
if tag == "a" and self.domain in (a.get("href") or ""):
self.links.append({"href": a["href"], "rel": a.get("rel", "")})
if tag == "meta" and (a.get("name") or "").lower() == "robots":
self.noindex = "noindex" in (a.get("content") or "").lower()
def check(page_url, domain):
r = requests.get(page_url, proxies=PROXIES, timeout=30,
headers={"User-Agent": "Mozilla/5.0"})
finder = LinkFinder(domain)
finder.feed(r.text)
header = r.headers.get("X-Robots-Tag", "").lower()
return {
"status": r.status_code,
"links": finder.links,
"indexable": not finder.noindex and "noindex" not in header,
}
print(check("https://example.com/some-guest-post", "yourdomain.com"))게시된 링크 목록에 대해 실행하고 지난달 결과와 비교한 뒤 세 가지 변화를 표시하세요. 링크가 사라졌거나, rel 값이 바뀌었거나, 페이지가 색인 불가로 바뀐 경우입니다. 링크가 사라졌다고 보고하기 전에 응답이 확인 페이지가 아닌 실제 페이지인지 검사하는 단계를 추가하세요.
프록시 설정: 요청마다 로테이션하고, 위치에 따라 다른 콘텐츠를 보여 주는 사이트라면 퍼블리셔의 국가를 타겟팅하세요.
로테이션과 타겟팅 선택
| 작업 | 로테이션 | 타겟팅 |
|---|---|---|
| 검색 기반 잠재 사이트 발굴 | 요청마다 | 시장 국가, 로컬 SEO는 도시 |
| 잠재 사이트 평가 | 요청마다 | 보통 불필요 |
| 경쟁사 링크 확인 | 요청마다 | 위치에 따라 콘텐츠가 달라질 때 국가 |
| 게시된 링크 검증 | 요청마다 | 위치에 따라 콘텐츠가 달라질 때 국가 |
자기 도시의 사이트에서 링크를 받아야 하는 치과나 법률 사무소 같은 로컬 링크 빌딩에서는 잠재 사이트 발굴 단계에서 도시 타겟팅이 가장 중요합니다. 지역 검색 결과는 검색 사용자의 위치를 기준으로 순위가 매겨지기 때문입니다. SEO 모니터링 페이지에서 팀이 같은 네트워크에서 순위 추적과 함께 이러한 점검을 실행하는 방법을 확인하세요.
깨끗하게 운영하기
여기서 프록시는 조사 도구이며, 그것이 프록시의 올바른 쓰임입니다. Google의 스팸 정책은 순위 신호를 전달하는 링크 구매, 대규모 링크 교환, 자동화된 링크 게시를 링크 스팸으로 간주합니다. 프록시는 기회를 찾고 결과를 확인하는 데 사용하고, 링크는 인용할 가치가 있는 콘텐츠와 정직한 아웃리치로 확보하세요. 댓글 게시, 계정 대량 생성, 링크 네트워크 운영에는 절대 사용하지 마세요.
소규모 퍼블리셔 사이트에서는 요청 빈도를 적당히 유지하고, 공개 페이지만 읽으며, 각 사이트의 이용 약관을 준수하세요.
핵심 정리
대규모 링크 빌딩은 데이터 문제입니다. 잠재 사이트를 찾기 위한 수천 건의 검색, 이를 평가하기 위한 수천 건의 페이지 요청, 그리고 확보한 링크가 여전히 작동하는지 확인하기 위한 꾸준한 점검이 필요합니다. 로테이션과 국가 또는 도시 타겟팅을 지원하는 레지덴셜 프록시는 이러한 조사가 멈추지 않게 하고, 각 시장을 현지 검색 사용자가 보는 그대로 보여 줍니다. 여러 클라이언트를 위해 이 작업을 수행하는 에이전시는 클라이언트별로 추적을 분리한 채 하나의 네트워크에서 운영하는 경우가 많으며, 자세한 내용은 에이전시 페이지에서 확인할 수 있습니다.