2026년 8월 21일 제롬 세구라, 데이터돔의 위협 연구 부사장은 하루 만에 철강 매체에 퍼진 수치를 발표했습니다: 한 대형 소매업체의 DDR5 메모리 카드에서 봇이 전체 트래픽의 91%를 차지하며, 이는 한 번의 실제 방문당 약 열 개의 자동 요청에 해당합니다. 같은 회사의 봄철 비율은 6:1이었습니다. 몇 달 사이에 자동화가 상품 페이지에 미치는 압력이 거의 두 배로 증가했습니다.
가격과 재고를 합법적으로 수집하는 사람들 — 리프라이싱, MAP 관리, 상품 분석 — 에게는 이 소식이 나쁜 것입니다. "경쟁자 스칼퍼가 앞서간다"는 이유 때문이 아니라, 소매업체가 이제 일반적인 가격 모니터링과 스칼퍼 봇의 행동 프로필에 맞춰 방어를 설정하고 있기 때문입니다.
무엇을 발견했으며 얼마나 믿을 수 있는가
공식적인 사실은 데이터돔의 두 보고서에서 비롯됩니다. 3월 분석에서는 한 캠페인에 대한 세부 정보가 제공되었습니다: 시간당 50,000건 이상의 요청, 91개의 상품이 감시되고 있으며, 평균 551건의 요청이 카드당 이루어졌습니다 — 즉, 6.5초마다 재고 확인이 이루어졌습니다. 한 작업은 차단되기 전에 1천만 건 이상의 요청을 수행했습니다. 8월 업데이트는 이 비율을 추가했습니다: 91%의 트래픽과 10:1의 비율입니다.
이제 숫자가 마케팅 소음으로 변하지 않기 위한 정직한 주의 사항:
- 하나의 이름 없는 소매업체에 대한 것이며, 시장의 단면이 아닙니다.
- 데이터돔은 샘플링 창과 방법론을 공개하지 않았습니다 — 무엇이 "나쁜 봇"으로 간주되었는지는 그들의 재량에 달려 있습니다.
- 회사는 바로 이 트래픽을 차단하는 제품을 판매합니다. 이해 상충이 데이터를 무효화하지는 않지만 수정이 필요합니다.
- 가장 중요한 점: 페이지 요청은 구매가 아닙니다. 메트릭은 리스팅에 대한 모니터링 압력을 보여주며, 실제로 봇에 의해 구매된 상품의 비율은 아닙니다.
마지막 항목은 모든 다른 항목보다 중요합니다. 91%의 "봇 트래픽"은 91%의 스칼퍼가 아닙니다. 이 비율에는 모든 자동화가 포함됩니다: 가격 집계기, 타사의 리프라이서, 할인 추적 서비스, 분석 크롤러 및 귀하의 자체 모니터링. 소매업체는 하나의 일반적인 흐름을 보고 이에 대해 하나의 일반적인 규칙으로 반응합니다.
왜 이런 일이 발생하는가: 메모리가 희소 자산이 되었다
상황은 간단합니다. 1년 전 약 $72에 판매되던 32GB DDR5-6000 세트가 8월에는 평균 $392에 판매되고 있습니다. 64GB 세트는 약 485% 상승하여 $1118에 도달했습니다. 8월 초 DDR4 칩의 스팟 가격은 기록을 세웠습니다 — $42.45. 최고급 128GB 세트는 거의 10배 상승했습니다. 이유는 게임용 메모리가 아니라, 생산 능력이 AI 가속기, HBM 및 서버 메모리를 정리하고 있기 때문입니다 — 업계 예측에 따르면 데이터 센터는 2026년에 전 세계 메모리 칩 생산의 약 70%를 차지할 것이며, 부족은 최소 2027년 4분기까지 지속될 것입니다.
상품 가격이 5배 상승하고 선반에서 사라지면, 소매 가격과 재판매 가격의 차이는 재판매를 위한 모든 인프라를 정당화합니다. 따라서 강도가 높아집니다. 그리고 목표는 소비자 소매를 넘어섭니다: 자동화는 마이크론 및 아파셔와 같은 공급업체의 페이지를 타격하고, DIMM 소켓 및 CAMM2 커넥터 제조업체인 암페놀, TE 커넥티비티를 타격합니다 — 재판매업체는 공급망의 상위로 이동했습니다.
합법적인 모니터링에 피해를 주는 서명
다음은 데이터돔 보고서에서 봇의 행동 설명입니다 — 자신의 스크래퍼 체크리스트로 읽어보세요:
- 캐시 우회. 각 HTTP 요청에 고유한 매개변수가 추가되어 CDN에서 제공되는 것이 아니라 최신 페이지를 얻습니다.
- 인간처럼 행동하는 리듬. 일반적인 활동 시간대를 모방하는 주간-야간 부하 프로필입니다.
- 임계값보다 약간 낮은 속도. 볼륨 경고가 작동하지 않도록 주파수가 조정되었습니다.
- 평면 세션. 하나의 카드에 들어가고 나가는 방식입니다. 장바구니, 검색, 카탈로그 전환이 없습니다.
이제 전형적인 기업 가격 모니터링을 살펴보세요. SKU의 직접 링크를 따라갑니다. 어제의 캐시된 가격을 잡지 않기 위해 매개변수를 추가합니다. "차단되지 않도록" 경험적으로 조정된 고정 간격으로 작동합니다. 그리고 절대 장바구니에 아무것도 넣지 않습니다. 이것은 동일한 서명입니다. 차이점은 의도에만 있으며, 안티봇 엔진은 의도를 측정하지 않습니다.
실질적인 결론은 불쾌합니다: 스칼퍼에 대한 보호 강화는 합법적인 데이터 수집에 자동으로 타격을 주며, 여기서 "설명할" 사람은 없습니다. 우리는 이미 다른 플랫폼에서 유사한 효과를 논의했습니다 — 아마존이 행동 기준으로 일반 구매자를 봇으로 표시하기 시작했을 때의 경우입니다.
지금 데이터 수집에서 무엇을 변경해야 하는가
IP 풀 변경은 여기서 큰 도움이 되지 않습니다: 신호는 행동에서 나오며 주소가 아닙니다. 실제로 차단 비율을 줄이는 작업 순서는 다음과 같습니다:
- 균일한 간격 제거. 6.5초마다 메트로놈처럼 요청하는 것은 "인간 같지 않으며", 서명입니다. 넓은 범위의 지터가 필요합니다 (예: 하나의 항목에 대해 20–180초) 및 주간에 따라 다양한 분포가 필요합니다.
- 각 요청에서 캐시를 깨지 마십시오. URL의 고유한 캐시 버스터는 자동화의 가장 저렴한 마커입니다. 신선도를 선택적으로 확인하고 변동성이 큰 SKU에 대해서만 확인하며, 나머지는 있는 그대로 가져옵니다.
- 세션에 깊이를 부여하십시오. 카테고리 또는 검색을 통해 들어가고, 하나 또는 두 개의 인접한 상품을 보고, 그 후에 목표 카드를 확인합니다. 트래픽이 더 비싸지만 "평면" 프로필을 제거합니다.
- 변동성에 따라 SKU 우선순위 지정. 가격이 주마다 변동하는 상품은 30초마다 확인할 필요가 없습니다. 주파수는 변동성에 따라야 하며, 목록의 크기에 따라서는 안 됩니다.
- 작업 유형에 따라 풀을 분리하십시오. 소매 모니터링, 결과 확인 및 리뷰 수집은 동일한 주소에서 이루어져서는 안 됩니다: 하나의 시나리오에서 보호가 작동하면 나머지를 죽여서는 안 됩니다. 대형 네트워크의 상품 카드에 대해서는 주거용 프록시가 가장 안정적으로 작동하며, 데이터 센터 풀은 공개 API 및 자체 확인에 남겨두는 것이 합리적입니다.
- 기가바이트가 아니라 성공적인 기록을 계산하십시오. 보호가 강화되면 재시도 비율이 증가하고, 기가바이트당 가격이 현실을 반영하지 않게 됩니다 — 왜 $/GB가 거짓말을 하고 성공적인 기록의 비용을 계산하는 방법에 대해 별도로 논의했습니다. 목록에 대한 10건의 요청 중 9건이 자동화일 때, "데이터베이스에서 유효한 가격의 비용" 메트릭이 유일하게 정직한 것이 됩니다.
이미 차단되고 있는지 어떻게 알 수 있는가
상품 페이지에서의 차단은 드물게 정직한 거부로 보입니다. 더 자주 조용하게 이루어지며, 모니터링은 여전히 데이터베이스에 쓰레기를 기록합니다. 이를 감지하는 징후는 다음과 같습니다:
- 작업량이 동일할 때 429 및 403 비율 증가 — 응답 코드를 로그에 기록하고 있다면 가장 간단한 지표입니다.
- 항상 "재고 없음" 상태. 고전적인 부드러운 응답: 페이지는 제공되며 가격은 그대로이고, 재고 차단이 대체되었습니다. 모니터링은 유효한 HTML을 보고 경고를 발생시키지 않습니다.
- 가격이 "붙어 있다". 일주일 전의 캐시된 버전이 제공됩니다 — 봇이 매개변수로 캐시를 깨기 시작한 이유와 동일한 효과입니다.
- 특히 카드에서 응답 지연이 증가하고, 카테고리와 검색은 정상적으로 열리는 경우: 의심스러운 세그먼트에 스로틀링이 포함되었습니다.
- 샘플의 급격한 변동. 일부 SKU의 데이터가 업데이트되고 일부는 멈춘 경우 — 이미 부분적으로 필터링되어 있으며, 단지 전체적으로는 아닙니다.
작업 관행은 수동으로 가격을 확인할 수 있는 몇 개의 "제어" 상품을 보유하고, 이를 독립적인 출처와 비교하여 하루에 한 번 확인하는 것입니다. 제어 그룹과 브라우저에서 보이는 것 간의 불일치는 파서를 수정해야 하는 것이 아니라 요청 프로필을 수정해야 함을 의미합니다.
왜 단순한 IP 회전이 더 이상 문제를 해결하지 않는가
주소 변경이 점점 효과가 줄어드는 이유는 차단 결정이 여러 층에서 동시에 이루어지며, IP는 그 중 첫 번째에 불과하기 때문입니다.
- 네트워크 계층. 주소와 자율 시스템의 평판, 데이터 센터 범위의 비율, 한 서브넷에서의 요청 밀도. 여기서 회전은 실제로 도움이 됩니다.
- 전송 및 클라이언트 계층. TLS 지문, 헤더 순서, 클라이언트 버전. 2021년의 드문 암호 조합을 가진 라이브러리는 비즈니스 논리에 도달하기 전에 자신을 드러냅니다.
- 행동 계층. 데이터돔이 설명한 바로 그 계층입니다: 간격, 세션 깊이, 장바구니 및 검색의 부재, 캐시 버스터. 이 계층은 IP와 전혀 연결되어 있지 않습니다 — 요청마다 주소를 변경하고도 동일한 봇으로 남을 수 있습니다.
따라서 8월 이야기의 주요 실용적 주장은: 품질 풀에 대한 투자는 행동 수정과 함께 이루어져야만 수익을 가져옵니다. 첫 번째는 단독으로는 필터링된 트래픽에 대한 비용 지불입니다.
앞으로의 방향
메모리 부족은 수년간 지속될 것이며, 따라서 카드에 대한 압력도 줄어들지 않을 것입니다. 소매업체는 명백한 방법으로 대응할 것입니다: 구매 한도, 대기열, 재고 확인을 위한 필수 인증, 단순한 IP 한도 대신 행동 점수화. 이러한 조치의 일부는 이미 티켓 및 운동화 분야에서 표준이 되었으며 — 이제 컴퓨터 하드웨어 및 산업 구성 요소로 확장되고 있습니다.
외부 데이터에 의존하는 팀에게는 접근 방식의 변화가 필요합니다: "IP 회전을 설정하고 수집하는 시대"는 희소한 상품에서 끝났습니다. 다른 것이 작동합니다 — 현실적인 속도, 의미 있는 세션 깊이, 풀 분리 및 결과 비용에 대한 냉철한 고려. 가격 수집을 처음 시작하는 경우, 우리의 분석에서 기본 스킴을 시작하십시오 e-commerce를 위한 프록시: 가격 파싱 및 경쟁자 모니터링, 그리고 이 자료에서 행동 수정 사항을 추가하십시오.
마지막으로. 91%라는 숫자는 단순히 봇이 너무 많아졌다는 신호가 아니라, 희소 상품의 상품 페이지가 자동화 간의 경쟁의 장이 되었다는 신호입니다. 이런 환경에서는 더 자주 요청하는 사람이 아니라, 필터에 덜 걸리는 사람이 승리합니다.
```