Elena Petrova
데이터 사이언스
Elena는 데이터 연구와 벤치마크, 그리고 수집된 데이터의 품질에 대해 작성합니다: 이를 측정하고 정제하여 신뢰할 수 있는 데이터셋을 구축하는 방법을 다룹니다.
작성 주제
- 데이터 연구 및 벤치마크
- 데이터 품질
- 데이터셋 구축
Elena Petrova의 아티클
-
2026년 11월 10일 · 지식
데이터 소스로서의 웹 아카이브: Wayback Machine이 알려줄 수 있는 것과 없는 것
Wayback Machine은 1조 개가 넘는 캡처를 보유하고 있습니다. 이를 조회하는 방법, 커버리지와 품질이 부족한 부분, 그리고 점점 더 많은 사이트가 이를 차단하는 이유를 알아봅니다.
-
2026년 11월 6일 · 지식
Common Crawl: 무료 크롤링으로 충분할 때, 그리고 직접 크롤링이 필요할 때
Common Crawl은 매달 수십억 개의 페이지를 무료로 공개합니다. 여기에 무엇이 포함되고 무엇이 빠지는지, 내 소스가 포함되어 있는지 확인하는 방법, 그리고 직접 크롤링해야 할 때는 언제인지 알아봅니다.
-
2026년 11월 5일 · 지식
동일 제품, 다른 가격: 20개국 지역별 가격 차별
우리는 하루 동안 20개국에서 게임 10종의 정가를 비교했다. 같은 게임이 한 시장에서는 최대 4.1배 더 비쌌다. 데이터, 방법론, 그리고 함정들.
-
2026년 11월 3일 · 지식
위키피디아, AI 기업들에 유료 API 사용을 촉구하며 스크래핑 중단 요청
위키피디아는 AI 기업들에 출처 표기와 Wikimedia Enterprise 사용을 요청한 뒤 제한을 강화했다. 무엇이 바뀌었고 데이터에 접근하는 올바른 방법은 무엇인지 알아본다.
-
2026년 10월 31일 · 지식
2026년 가장 많이 스크래핑되는 웹사이트: 30일 웹 스크래핑 스냅샷
2026년에 가장 많이 스크래핑되는 웹사이트는 어디일까요? 기성 스크래퍼 8,186개와 2억 3,980만 회 실행에 대한 30일간의 공개 사용 데이터를 모아 수요와 실행 성공률로 대상을 순위화했습니다.
-
2026년 10월 29일 · 지식
LLM을 위한 다국어·지역별 웹 데이터 수집 방법
LLM 학습용 다국어·지역별 웹 데이터를 모으는 방법: 언어별 범위 계획, 현지 소스 찾기, 올바른 현지 버전 가져오기, 언어 식별, 언어별 필터링, 데이터 구성 비율 조정까지 다룹니다.
-
2026년 10월 26일 · 지식
AI 학습 데이터 마켓플레이스와 라이선스: 구매할 때와 직접 수집할 때
AI 학습 데이터 마켓플레이스와 라이선스 계약이 어떻게 작동하는지, 라이선스 데이터의 실제 비용은 얼마인지, 그리고 데이터셋을 구매할지 직접 수집할지 결정하는 실용적인 기준을 설명합니다.
-
2026년 10월 24일 · 지식
AI 학습 파이프라인에서의 출처 증명: 데이터셋이 어디서 왔는지 입증하기
AI 학습 데이터 출처 증명이 실무에서 의미하는 것: 모든 문서에 대해 유지해야 할 기록, EU AI Act 요약본이 요구하는 사항, 그리고 이를 끝까지 이행하는 방법.
-
2026년 10월 19일 · 스크래핑
재시도 경제학: 재시도가 더 이상 수익을 내지 못하는 시점
각 재시도는 이전 시도보다 성공 확률이 낮아집니다. 자신의 로그와 몇 줄의 Python 코드를 사용하여 재시도가 더 이상 가치를 내지 못하는 지점을 측정하는 방법입니다.
-
2026년 10월 15일 · 레지덴셜 프록시
레지덴셜 프록시 풀의 ASN 다양성: 측정 방법
프록시 풀의 ASN 다양성을 측정하는 무료 Python 스크립트: 상위 네트워크 점유율, HHI, 유효 ASN 수, 그리고 17개 네트워크 벤치마크에서 발견한 결과.
-
2026년 10월 11일 · 지식
캡차는 봇을 막는가, 그저 속도만 늦추는가? 억제력과 해결률 측정
20년간의 연구가 캡차에 대해 말하는 것: 인간에게 드는 시간, 봇과 AI 에이전트의 해결 빈도, 그리고 이제 캡차가 비용으로서 작동하는 이유.
-
2026년 10월 8일 · 스크래핑
페이로드 효율성: 스크래핑한 페이지 중 비용을 지불한 상용구는 얼마나 되는가
상위 1,000개 사이트에서 278개의 콘텐츠 페이지를 측정했습니다. 원하는 텍스트는 HTML의 약 1%에 불과하며, 브라우저가 다운로드하는 전체 양에서는 극히 작은 비중을 차지합니다.
-
2026년 10월 7일 · 레지덴셜 프록시
Shifter, 지금까지 가장 큰 규모의 라이브 미국 레지덴셜 IP 풀 보유
레지덴셜 프록시 벤치마크로 Shifter를 다시 테스트했습니다. 250,000건의 요청 중 212,212개의 라이브 미국 IP를 확인했으며, 이는 측정한 17개 네트워크 중 가장 큰 규모의 라이브 미국 풀입니다.
-
2026년 9월 7일 · 사용 사례
네이버 검색 순위 모니터링: 구글 기준으로 측정하면 안 되는 이유
국내 검색의 상당 부분은 여전히 네이버에서 일어납니다. 통합검색, 쇼핑 탭, 플레이스가 각각 다르게 동작하는 환경에서 순위를 정확히 측정하는 방법을 정리했습니다.