TL;DR

  • Cloudflare는 에이전트와 AI 크롤러로 자동화 트래픽이 급증하는 상황에서, 새로운 창작자와 기업이 발견되고 보상받는 개방형 인터넷을 지키는 것이 중요하다고 강조함.
  • 2012년부터 2025년까지 정체되거나 일부 기준으로 감소하던 웹이 2025년 중반 신규 웹사이트의 급증으로 다시 성장하기 시작함.
  • Cloudflare는 자동화 트래픽이 2026년 5월 인간 트래픽을 넘어설 것으로 예상하며, 추세가 이어지면 5년 뒤에는 인간 트래픽의 1,000배에 이를 수 있다고 전망함.
  • 에이전트가 웹사이트에 비용 부담을 지우고 오래된 사업자에게 유리하게 작동하면 공유지의 비극과 시장 집중으로 이어질 위험이 있음.
  • Cloudflare는 크롤러가 변경된 콘텐츠만 가져오도록 하는 작업과 에이전트 이용에 따른 보상 방안을 추진하고, 같은 미래를 지향하는 기업·단체와의 협력을 발표할 예정임.

16주년과 변화하는 인터넷

  • 이번 주 Cloudflare는 16주년을 맞이함. 16세 청소년처럼 성장해 온 세계를 돌아보며 과거와 미래 사이에 놓인 듯한 감정을 느끼고, 변화에 따른 위험도 보지만 전반적으로 미래를 낙관함.
  • Cloudflare가 2010년 9월 27일 출범한 이래 인터넷은 지금 가장 큰 변화를 겪고 있음. 변화의 일부는 분명 긍정적이며, 일부는 인터넷이 작동하는 방식에 대한 기존 관념을 뒤흔듦.

AI가 이끄는 웹사이트 성장

  • 2012년부터 2025년까지 웹은 정체됐고, 일부 측정 기준에서는 규모가 줄기도 했음. 2025년 중반 신규 웹사이트가 폭발적으로 늘며 흐름이 달라짐.
  • 널리 퍼진 설명은 웹사이트 증가를 AI가 만든 저품질 콘텐츠인 ‘AI 슬롭’ 탓으로 돌리지만, 그런 콘텐츠가 일부 존재하더라도 관측되는 증가의 다수를 차지하지는 않음.
  • AI는 코딩 기술 없이 아이디어를 가진 새로운 창작자층을 만들어냈음. 이들은 이른바 바이브 코딩(vibe coding) 도구를 이용해 새로운 창작물을 구현함.
  • Cloudflare의 개발자 플랫폼은 이들 도구의 다수가 선호하는 배포 대상으로 자리함. 기술은 더 많은 사람이 창의성을 표현하게 할 때 가장 큰 가치를 발휘함.
  • 세계 곳곳의 학생들이 현실의 문제를 해결하는 앱을 만들고, 스타트업이 새로운 사업 아이디어를 기록적인 시간 안에 구현하는 모습을 지켜보고 있음. 현재 700만 명이 넘는 개발자가 Cloudflare 개발자 플랫폼에서 미래를 만들어가고 있음.

자동화 트래픽과 에이전트의 비용

  • 지난 한 해 인터넷을 이용하는 주체는 사람뿐 아니라 점점 더 많은 자동화 시스템으로 달라짐. Cloudflare는 당초 자동화 트래픽이 2027년 하반기 인간 트래픽을 넘어설 것으로 예상했으나, 에이전트와 AI 크롤러의 증가로 시점이 2026년 5월로 앞당겨짐.
  • 현재 추세가 이어지면, 오히려 보수적인 전망일 수 있지만, 5년 안에 자동화 트래픽은 인간 트래픽의 1,000배에 이를 수 있음. 이는 인간 트래픽 감소가 아니라 에이전트 트래픽의 폭발적 증가에 따른 전망임.
  • 에이전트는 항공편, 계약업체, 더 저렴한 휴대전화 요금제를 찾을 때 사람이 오후 내내 읽을 분량의 웹페이지를 1분 만에 살펴보고 답을 제시할 수 있음. 사용자를 대신해 수고를 처리함.
  • 그러나 그 수고에는 비용이 따름. 점심 식사 장소를 추천해 달라는 요청에 에이전트가 주변 식당 1,000곳의 메뉴를 살펴보고 한 곳만 추천한다면, 추천받은 식당은 고객을 얻지만 나머지 999곳은 대가 없이 에이전트의 요청을 처리해야 함.
  • 에이전트 이용자와 에이전트 트래픽의 혜택을 받는 주체가 시스템에 가하는 부하의 비용을 부담하지 않으면, 적절한 자제가 이뤄지지 않는 공유지의 비극이 발생할 위험이 있음.

에이전트 시대의 소상공인과 신규 진입자

  • AI 덕분에 학생과 스타트업은 이전보다 쉽게 무언가를 만들 수 있지만, 에이전트는 사람들이 그 창작물을 발견하는 일을 더 어렵게 만들 수 있음.
  • 오늘날 소상공인은 감정적 유대나 편의성으로 고객을 얻음. 손님의 이름을 기억하는 직원이 있는 델리를 찾거나, 정체성의 일부라서 특정 가게를 이용할 수 있음. 집에 가는 길에 있어 선택의 폭이나 가격이 더 나은 편은 아니어도 지역 상점을 이용하기도 함.
  • 에이전트는 누가 손님의 이름을 기억하는지 신경 쓰지 않고, 집으로 가는 길에 지역 상점을 지나치지도 않음. 정보가 가장 많은 곳을 선택하는데, 대개 가장 오래 운영된 사업자임.
  • 에이전트가 더 많은 상거래를 처리하게 되면 신규 진입자의 시장 진출이 어려워질 수 있으며, 이는 시장 집중과 활력이 줄어든 사업 환경으로 이어질 가능성이 있음.
  • Cloudflare도 한때 신규 진입자였음. 16년 전 이번 주, TechCrunch Disrupt 무대에서 출범을 발표하는 동안 엔지니어들은 객석에서 버그를 수정함. 무대에 오를 때 남아 있던 버그는 8개였고, 무대에서 내려올 때는 모두 해결돼 세 대륙의 데이터센터 5곳에서 서비스가 시작된 상태였음.
  • 당시 어떤 에이전트도 Cloudflare를 추천하지 않았겠지만, 사람들은 그래도 기회를 줌. 다음 신규 진입자도 같은 기회를 얻기를 바람.

앞으로 만들고 싶은 인터넷

  • Cloudflare가 바라는 미래는 AI 기업 5곳만 존재하는 인터넷이 아니라 세계 곳곳에 50만 개의 AI 기업이 자리하는 인터넷임.
  • 콘텐츠 창작자가 보상을 받지 못해 사라지는 인터넷이 아니라 누구나 창작하고 세계적인 독자층에 도달해 작업에 대한 대가를 받을 수 있는 인터넷을 지향함.
  • 소수의 거대 기업이 기본적으로 승리하는 인터넷이 아니라, 더 나은 제품을 가진 신규 진입자가 고객에게 좋은 서비스를 제공하고 경쟁에서 이길 수 있는 인터넷을 지향함.
  • 지난해에는 AI가 퍼블리셔에게 미치는 영향을 다뤘으며, 올해는 같은 변화가 식당과 델리까지 미치고 있음. 인터넷의 기존 사업 모델을 무엇으로 대체할지가 향후 5년간 가장 흥미로운 질문이며, 이번 주 이 질문에 다시 답을 시도함.

크롤러 부하 감소와 콘텐츠 보상

  • 생일을 맞아 선물을 받기보다 나눠주는 전통에 따라, 선물 일부는 웹사이트를 제공하는 999개 식당을 위한 것임.
  • 에이전트는 검색엔진처럼 웹을 반복해서 크롤링하며, 콘텐츠가 바뀌었는지와 관계없이 모든 내용을 다시 가져옴. Cloudflare 데이터에 따르면 정상적인 봇이 가져오는 콘텐츠의 절반 이상은 직전 방문 이후 변경되지 않음.
  • 크롤러가 웹의 더 많은 부분을 살펴보면서도 새로 바뀐 내용만 가져오도록 하는 작업을 진행하고 있음. 이를 통해 크롤링 대상 사이트의 부하를 줄임.
  • 콘텐츠나 애플리케이션을 온라인에 제공하는 누구나 에이전트가 만든 것을 이용할 때 보상을 받을 수 있는 방법도 제공함.

Cloudflare의 역할과 협력

  • Cloudflare의 사명은 더 나은 인터넷을 직접 만드는 것이 아니라 더 나은 인터넷을 만드는 일을 돕는 것임. 혼자서는 이를 이룰 수 없으므로, 같은 미래를 원하는 기업 및 단체와의 파트너십도 이번 주 발표할 예정임.
  • AI 시대의 16세 청소년처럼 Cloudflare도 의견을 세상에 내놓음. 첫 앱을 출시하는 청소년, 손님의 이름을 기억하는 델리, 그리고 다음 Cloudflare를 만드는 이들에게 여전히 자리가 있는 인터넷을 지향함.
  • Cloudflare는 이 미래에 대해 어느 때보다 큰 기대를 품고 있음.