De acordo com a Cloudflare, a gigante de infraestrutura anunciou recentemente que todas as empresas de IA devem separar os rastreadores de mecanismos de busca dos rastreadores de treinamento de IA até 15 de setembro de 2026, ou enfrentarão bloqueio completo. A Cloudflare, que gerencia aproximadamente 20% do tráfego global da web, citou dados mostrando que o tráfego automatizado de bots já superou o tráfego humano no primeiro semestre de 2026 — um ponto de virada que analistas do setor previam que ocorreria um ano depois.
O Google enfrenta o impacto mais significativo devido à sua participação de 90% no mercado de busca, já que atualmente usa o Googlebot tanto para indexação quanto para treinamento de seu modelo Gemini. A empresa deve escolher entre perder acesso a 20% das páginas indexadas ou separar seus rastreadores e arriscar escassez de dados de treinamento de IA. Em contraste, a OpenAI já dividiu o GPTBot para coleta de dados de treinamento e o ChatGPT-User para consultas web em tempo real.