2026년 8월 2일까지 약 한 달이 남았습니다. 바로 이 날 유럽 AI 법안은 더 이상 "종이" 규제가 아니게 되며 실제 벌금 권한을 갖게 됩니다. 데이터를 수집하는 모든 사람들, 즉 대규모 모델 훈련부터 단순한 가격 모니터링까지, 이 날짜는 기계가 읽을 수 있는 데이터 수집 금지가 처음으로 저작권의 무게를 갖게 되는 경계입니다. AI 모델 제공자는 자신들이 어떤 데이터로 훈련했는지를 공개해야 합니다. 구체적으로 무엇이 바뀌는지, 그리고 이것이 실제로 누구에게 영향을 미치는지 살펴보겠습니다.
2026년 8월 2일 포함되는 사항
EU AI 법안은 단계적으로 도입되었습니다. 금지된 관행은 2025년 2월에 이미 적용되지 않았고, 일반 목적 AI(GPAI) 모델 제공자에 대한 의무는 2025년 8월 2일에 공식적으로 발효되었습니다. 그러나 정확히 2026년 8월 2일에 이 규정은 완전히 적용됩니다: 고위험 시스템에 대한 요구 사항이 포함되고, 가장 중요한 것은 규제 기관이 GPAI 의무 불이행에 대해 벌금을 부과할 권한을 갖게 됩니다.
벌금의 규모는 다음과 같습니다:
- 최대 €3500만 또는 전 세계 매출의 7% — 금지된 관행에 대해;
- 최대 €1500만 또는 전 세계 매출의 3% — 고위험 시스템 및 GPAI 의무 위반에 대해;
- 최대 €750만 또는 매출의 1% — 규제 기관에 허위 정보를 제공한 경우.
이 규정은 국외에서도 적용됩니다: 의무는 제공자의 위치에 관계없이 적용되며, 모델이 EU 시장에 배포되는 경우에 해당합니다. 미국 또는 아시아의 AI 회사가 유럽인에게 제품을 제공하는 경우에도 동일한 규칙이 적용됩니다.
GPAI 제공자가 해야 할 의무
핵심 의무는 세 가지이며, 그 중 두 가지는 데이터 수집과 직접적으로 관련되어 있습니다:
- 기술 문서 — 모델의 아키텍처, 방법론 및 교육 자원에 대한 설명으로, 감독 기관 및 하위 개발자에게 제공됩니다.
- 훈련 데이터의 공개 요약 — 제공자는 AI 사무소에서 제공하는 템플릿에 따라 모델이 훈련된 콘텐츠에 대한 "충분히 상세한" 설명을 공개해야 합니다. 이는 모델 개발자가 데이터 출처에 대해 공개적으로 보고하도록 강제하는 세계 최초의 시도입니다.
- 저작권 준수 정책 — 제공자는 2019/790 저작권 지침 제4조에 따라 text-and-data-mining(TDM) 거부 메커니즘을 존중해야 합니다. 여기에는 기계가 읽을 수 있는 신호가 포함됩니다.
시스템 위험이 있는 모델(훈련 기준 10^25 FLOPs)에는 적대적 테스트 및 사고 보고 의무가 추가됩니다. 이미 시장에 존재하는 모델은 2027년 8월 2일까지 완전한 준수를 요구받습니다.
robots.txt가 저작권의 "무게"를 갖게 됨
데이터 수집 산업에 대한 주요 변화는 저작권 요구 사항에 숨겨져 있습니다. 이전에 robots.txt 파일은 신사 협정이었습니다: 이를 무시하는 것은 사이트 규칙을 위반하는 것이지만, 법을 위반하는 것으로 간주되지는 않았습니다. 이제 2019/790 지침 제4조의 보호 아래 기계가 읽을 수 있는 권리 예약 — robots.txt, 새롭게 등장하는 표준 ai.txt, TDM 태그는 저작권의 무게를 갖게 됩니다. 데이터 마이닝을 기계가 읽을 수 있는 형태로 거부한 권리 보유자는 사실상 저작권으로 자신의 콘텐츠가 훈련에 사용되는 것을 보호받게 됩니다.
이 신호를 표준화하기 위해 유럽연합 집행위원회는 권리 예약 프로토콜에 대한 상담을 시작했습니다: 목표는 "업계 상태"로 인정받고 저작권자들에 의해 널리 수용될 기계가 읽을 수 있는 형식에 대해 합의하는 것입니다. 즉, EU는 AI 훈련을 위한 스크래핑 거부에 대한 법적으로 의미 있는 언어를 구축하고 있습니다.
맥락: 플랫폼들이 이미 공격에 나섰음
이 규정은 이미 격렬해진 시장에 적용됩니다. 2025년 7월 Cloudflare는 약 20%의 웹을 보호하는 첫 번째 인프라 제공자로서 모든 새로운 도메인에 대해 기본적으로 AI 크롤러를 차단하기 시작했습니다. 이제 사이트 소유자는 특정 봇을 명시적으로 허용해야 합니다. 2025년 8월까지 250만 개 이상의 사이트가 AI 훈련을 위해 자신의 콘텐츠 사용을 완전히 금지했습니다; 단지 GPTBot만 해도 약 19%의 사이트에서 차단됩니다. 가장 많이 차단되는 크롤러에는 GPTBot, ClaudeBot, CCBot, Google-Extended 및 Bytespider가 포함됩니다.
그럼에도 불구하고 격차는 엄청납니다: Cloudflare에 따르면, AI 봇은 약 100만 개의 상위 리소스 중 39%에 접근하지만, 실제로 이러한 요청을 차단하거나 도전하는 것은 2.98%에 불과합니다. 동시에 Cloudflare는 Pay Per Crawl 모델을 시작했습니다 — 사이트는 봇에게 "402 Payment Required" 응답을 제공하고, AI 회사는 접근을 위해 비용을 지불합니다. 무료 "모두 허용"에서 데이터 수집이 가격이 있는 시장으로 변모하고 있습니다.
법적 전선도 뒤처지지 않습니다. Reddit는 Perplexity AI 및 관련 데이터 수집기 및 프록시 제공자(SerpApi, Oxylabs, AWMProxy)에 대해 소송을 제기했으며, 그들의 수석 변호사는 갈등의 본질을 강하게 표현했습니다: "AI 회사들은 질 높은 인간 콘텐츠를 위한 무기 경쟁에 갇혀 있으며, 이 압박은 데이터 세탁의 산업 규모 경제를 낳았습니다." 동시에 Reddit는 OpenAI 및 Google과 라이센스 계약을 체결했습니다 — 즉, 데이터는 비용을 지불하는 자에게 판매되며, 무료로 가져가는 자는 추적됩니다. LinkedIn은 별도의 소송에서 ProAPIs가 스크래핑 및 프로필 재판매를 위해 약 100만 개의 가짜 계정을 생성했다고 비난했습니다. 가격은 월 최대 $15,000입니다.
데이터 수집자에게 의미하는 바
첫 번째이자 가장 중요한 것은 — 패닉하지 마세요. EU AI 법안은 웹 스크래핑 자체를 금지하지 않습니다 그리고 공개 데이터 수집을 범죄로 만들지 않습니다. 이 규정은 AI 모델 제공자와 고위험 시스템을 겨냥하고 있습니다. 경쟁자의 가격을 모니터링하거나 SEO 분석을 위해 데이터를 수집하거나 검색 결과를 확인하거나 공개 리뷰를 집계하는 경우, 여러분은 "GPAI 제공자"가 되지 않으며 새로운 의무에 직접적으로 해당되지 않습니다.
법안이 실제로 영향을 미치는 사람들
타격을 받는 것은 수집된 데이터로 대규모 모델을 훈련하거나 재훈련하는 사람들이며, 이 모델을 EU 시장에 배포하는 경우입니다. 이들에게는 훈련 데이터 요약을 공개하고 TDM 거부를 존중하는 것이 실제 벌금이 따르는 법적 요구 사항이 됩니다. 만약 여러분의 스크래핑이 모델 훈련의 파이프라인에서 한 부분이라면, 출처를 문서화해야 하며, 기계가 읽을 수 있는 금지를 준수해야 합니다.
데이터를 올바르게 수집하는 방법
두 번째 효과는 간접적이지만 모든 사람에게 영향을 미칠 것입니다. 기계가 읽을 수 있는 거부가 더 많은 법적 무게를 얻고 플랫폼이 자동 트래픽을 차단하는 방식이 더 공격적일수록, 데이터 수집에 대한 기준이 높아집니다. 실질적인 결론:
- robots.txt 및 TDM 태그를 읽고 이에 대해 신중한 결정을 내리세요. 기계가 읽을 수 있는 거부를 무시하는 것은 이제 단순히 금지의 위험뿐만 아니라, 특히 데이터가 모델 훈련에 사용될 경우 잠재적인 저작권 문제가 됩니다.
- 작업을 분리하세요. 공개 사실(가격, 재고, 평가)을 수집하는 것과 저작권으로 보호된 콘텐츠를 훈련을 위해 복사하는 것은 법적으로 다른 문제입니다. 이들을 혼합하지 않도록 프로세스를 구축하세요.
- 부하를 최소화하고, 혼란을 주는 방식으로 실제 사용자로 가장하지 마세요. LinkedIn의 100만 개 가짜 계정 사례는 "회색" 방법이 어떻게 소송으로 이어질 수 있는지를 보여주는 전형적인 예입니다.
- 합법적인 접근 인프라를 사용하세요. 데이터 수집이 분산되어 실제 사용자 IP로 이루어질 때, 특정 노드에 대한 부하가 줄어들고 하나의 데이터 센터에서의 폭격처럼 보이지 않습니다. 주거용 프록시는 일반 사용자와 구별할 수 없는 트래픽을 제공하며, 최대한의 "인간성"이 필요 없는 고부하 작업에는 더 빠른 데이터 센터 프록시가 적합합니다.
트래픽의 전체 그림도 기억할 필요가 있습니다: 우리는 이미 봇이 처음으로 인터넷에서 인간을 초과했다는 것을 살펴보았습니다 — 바로 이 변화가 플랫폼들이 차단하게 만듭니다. 특정 플랫폼과의 실질적인 작업을 위해서는 안전한 X (Twitter) 스크래핑 가이드를 참고하는 것이 유용합니다: 동일한 원칙 — 제한을 존중하고, 요청을 분산시키고, 신뢰할 수 있는 IP를 사용하는 것 — 새로운 규제 현실에서도 적용됩니다.
결론
2026년 8월 2일은 "스크래핑의 끝"이 아니라, 데이터 수집이 두 개의 길로 완전히 나뉘는 지점입니다. 문서화되고, 기계가 읽을 수 있는 거부를 존중하며, 공개 데이터로 작업하는 것이 규범이자 보호가 됩니다. 숨겨지고, 명백한 금지를 우회하며, 모델 훈련을 위해 사용자로 가장하는 것은 최대 €1500만 또는 3%의 매출 벌금 및 플랫폼으로부터의 소송 위험에 처하게 됩니다. EU AI 법안은 문을 닫지 않습니다 — 데이터 수집을 "야생의 들판"에서 규칙이 드디어 가격을 갖는 모드로 전환합니다. 그리고 미리 프로세스를 재편성하는 사람들이 이득을 보게 될 것입니다, 마감일 일주일 전에가 아니라.
```