모든 AI 팀은 초기에 같은 갈림길에 섭니다. 다른 누군가가 구축한 데이터셋의 라이선스를 받을지, 아니면 데이터를 직접 수집할지입니다. 마켓플레이스는 구매를 클릭 한 번으로 끝나는 결정처럼 보이게 만들며, 실제로 그런 프로젝트도 있습니다. 하지만 다른 프로젝트에서는 라이선스 데이터가 오래되었거나, 중요한 부분에서 빈약하거나, 출시하려던 제품을 막는 조건에 묶여 있는 경우가 있습니다. 이 가이드는 웹 데이터로 모델을 구축하는 팀이 이 결정을 기본값에 맡기지 않고 의도적으로 내릴 수 있도록 돕기 위한 것입니다.
학습 데이터 시장이 어떤 모습인지, 라이선스가 실제로 무엇을 제공하는지, 가격표에 드러나지 않는 비용은 무엇인지 살펴보고, 결정 기준과 함께 대부분의 성숙한 팀이 결국 운영하게 되는 하이브리드 구성을 설명합니다.
학습 데이터 시장의 모습
“마켓플레이스”라는 말은 데이터를 얻는 꽤 다른 여러 방식을 아우릅니다.
- 범용 데이터 거래소. 클라우드 공급업체와 데이터 플랫폼이 카탈로그를 운영하며, 판매자가 데이터셋을 등록하고 구매자가 구독하면 구매자의 스토리지나 웨어하우스로 바로 전달됩니다. 대부분의 상품은 분석용으로 만들어졌으므로, 학습 용도는 라이선스에서 명시적으로 허용되어야 합니다.
- 전문 AI 데이터 업체. 선별된 텍스트, 이미지, 오디오, 음성 컬렉션을 판매하는 회사로, 주석 작업을 함께 제공하는 경우가 많고 요청에 따른 맞춤 수집도 점점 늘고 있습니다.
- 오픈 데이터셋 허브. 데이터셋을 무료로 내려받을 수 있지만 각각 고유한 라이선스가 붙는 저장소이며, 라이선스 항목이 항상 채워져 있거나 정확한 것은 아닙니다.
- 직접 라이선스 계약. 대형 플랫폼과 출판사는 이제 AI 개발사에 콘텐츠 라이선스를 직접 제공합니다. 2024년 Reddit과 Google의 계약, 그리고 뉴스 출판사와 AI 연구소 간의 일련의 계약으로 이 방식은 시장에서 눈에 띄는 부분이 되었지만, 이는 대형 구매자를 위한 경로이지 셀프서비스 카탈로그가 아닙니다.
공통점은 바이트만큼이나 권리를 구매한다는 것입니다. 내용이 같은 두 데이터셋이라도 라이선스가 허용하는 범위에 따라 가치가 크게 달라질 수 있습니다.
라이선스가 실제로 제공하는 것
가격을 비교하기 전에 라이선스에서 네 가지를 확인하세요.
- 허용 용도. 학습, 파인튜닝, 평가, 상업적 배포는 각각 별개의 권한입니다. “연구 목적”은 보통 상업용 모델을 제외합니다.
- 범위와 독점성. 라이선스가 모델 단위입니까, 제품 단위입니까, 아니면 회사 전체에 적용됩니까? 판매자가 같은 데이터를 경쟁사에도 판매할 수 있습니까? 거의 항상 그렇습니다.
- 기간과 만료 후 처리. 많은 라이선스가 연 단위입니다. 기간 중에 학습한 모델을 기간이 끝난 후에도 사용할 수 있는지, 원본 데이터를 삭제해야 하는지 확인하세요.
- 보증. 판매자가 데이터를 수집하고 판매할 권리가 있었음을 확인하고, 그 주장에 책임을 집니까? 이러한 보증이 없는 라이선스는 법적 위험을 다시 구매자에게 넘깁니다.
오픈 허브도 똑같이 꼼꼼하게 살펴봐야 합니다. Data Provenance Initiative가 널리 사용되는 텍스트 데이터셋을 감사한 결과, 상당수에서 라이선스 정보가 누락되었거나 잘못되어 있었습니다. 그래서 저희는 AI 학습 파이프라인의 출처 증명 가이드에서 설명한 것처럼 모든 문서의 출처를 자체적으로 기록해 둘 것을 권장합니다.
가격표에 드러나지 않는 비용
최신성. 구매한 데이터셋은 스냅샷입니다. 모델이 현재 가격, 제품, 규제, 언어를 알아야 한다면 스냅샷은 구매한 날부터 낡기 시작하며, 갱신 구독은 그에 맞춰 가격이 책정됩니다.
범위의 공백. 카탈로그는 영어와 가장 큰 시장에서 가장 풍부합니다. 특정 국가, 지역 언어, 틈새 분야가 필요한 팀은 데이터가 빈약하거나 판매자가 문서화하지 않은 방식으로 샘플링되어 있는 경우를 자주 겪습니다.
공유되는 데이터. 내가 살 수 있다면 다른 모든 사람도 살 수 있습니다. 라이선스 데이터만으로는 모델에 경쟁력을 주기 어렵습니다.
통합. 판매자마다 고유한 스키마, 중복 제거 규칙, 품질 수준이 있습니다. 데이터가 어떤 경로로 들어왔든 소스를 정제하고 결합하는 일은 실제 엔지니어링 작업입니다.
규정 준수 문서. 범용 모델을 위한 EU AI법(EU AI Act) 요약 템플릿은 공급자에게 공개 데이터셋 및 스크래핑 소스와 함께 라이선스를 받은 비공개 데이터셋도 기재하도록 요구합니다. 데이터를 구매한다고 문서화 작업이 사라지지는 않으며, 문서화해야 할 내용이 바뀔 뿐입니다.
직접 수집하는 비용
수집에도 나름의 비용이 듭니다.
- 엔지니어링. 크롤러, 파서, 스케줄링, 스토리지, 모니터링이 필요하고, 대상 사이트가 바뀔 때마다 유지보수도 해야 합니다.
- 접근. 사이트는 단일 IP의 반복 요청을 제한하고, 국가별로 다른 콘텐츠를 보여 주는 경우가 많습니다. 적절한 위치에서 대규모로 공개 데이터를 수집하려면 국가 및 도시 타기팅을 지원하는 레지덴셜 프록시처럼 이를 위해 설계된 네트워크가 필요합니다.
- 정책. robots.txt, 텍스트 및 데이터 마이닝 유보, 사이트 약관에 대한 명확한 규칙이 필요하며, 이를 수집 시점에 기록해야 합니다. 존중해야 할 신호는 robots.txt와 AI 옵트아웃 신호 개요에서 다룹니다.
- 품질 작업. 중복 제거, 언어 식별, 상용구 제거, 필터링에는 크롤링 자체만큼의 시간이 걸립니다.
그 대가로 최신이고, 작업에 맞게 구성되어 있으며, 필요한 방식으로 문서화되어 있고, 경쟁사의 학습 데이터에 섞여 있지 않은 데이터를 얻게 됩니다.
결정 기준: 언제 구매하고 언제 수집할까
| 상황 | 더 나은 선택 | 이유 |
|---|---|---|
| 일회성 벤치마크 또는 평가 세트 | 구매 또는 오픈 데이터 활용 | 범위가 정해져 있고 최신성이 덜 중요함 |
| 데이터를 매주 또는 매일 업데이트해야 함 | 수집 | 갱신 라이선스는 비싸지고 지연됨 |
| 특정 국가 또는 지역 언어 | 수집, 또는 구매 후 보충 | 대형 시장 밖에서는 카탈로그가 빈약함 |
| 플랫폼 내부에만 존재하는 데이터 | 직접 라이선스 | 수집하면 약관을 위반하거나 불가능함 |
| 독자적인 경쟁력이 핵심 | 수집 | 라이선스 데이터는 누구나 이용할 수 있음 |
| 소규모 팀, 첫 프로토타입 | 구매 또는 오픈 데이터 활용 | 먼저 출시하고 수집 투자는 나중에 |
| 감사가 많은 고객 또는 규제 기관 | 둘 다 가능, 완전한 기록 필요 | 중요한 것은 경로가 아니라 기록 |
유용한 판단 기준이 있습니다. 6개월 후에 같은 데이터셋을 다시 구매해야 한다면, 파이프라인을 소유하지 않은 채 파이프라인 비용을 내고 있는 것입니다.
대부분의 팀이 결국 선택하는 하이브리드
성숙한 팀은 한쪽만 고르는 경우가 드뭅니다. 흔한 패턴은 다음과 같습니다.
- 오픈 데이터와 라이선스 데이터로 시작해 작동하는 기준선을 빠르게 확보합니다.
- 모델이 실패하는 지점을 측정합니다. 누락된 국가, 오래된 사실, 약한 분야 등입니다.
- 그 공백에 대해서만 수집합니다. 공개 소스에서 정해진 일정에 따라 수집하고, 가져오는 시점에 출처를 기록합니다.
- 하나의 카탈로그를 유지합니다. 모든 소스와 그 라이선스 또는 수집 정책, 갱신 날짜를 기재해 두면 공개 요약과 고객 설문에 몇 주가 아니라 몇 시간이면 대응할 수 있습니다.
이러한 수집 계층을 구축하고 있다면 오픈 웹에서 대규모 학습 데이터셋 구축하기 가이드에서 크롤링부터 정제된 레코드까지 파이프라인 전체를 확인하세요.
결론
필요한 범위가 정해져 있고, 흔하며, 시간에 민감하지 않다면 학습 데이터를 구매하고, 샘플만큼 라이선스도 꼼꼼히 읽으세요. 최신성, 지역별 범위, 독자적인 경쟁력이 중요하다면 직접 수집하고, 첫 요청부터 출처를 기록하세요. 대부분의 팀은 두 가지를 모두 하며, 이를 잘하는 팀은 구매했든 수집했든 모든 소스를 설명할 수 있는 상태로 관리합니다.