79% dos editores adotam o bloqueio de bots de IA por sites de notícias
Uma análise recente revelou que a maioria dos principais editores de notícias nos EUA e Reino Unido (79%) são a favor do bloqueio de bots de IA por sites de notícias e estão de fato bloqueando bots de inteligência artificial (IA) que treinam modelos e recuperam informações em tempo real. O estudo, conduzido pela BuzzStream, examinou os arquivos robots.txt de 100 sites de notícias e descobriu que 79% deles impedem pelo menos um bot de treinamento. Além disso, 71% bloqueiam bots de recuperação, que são responsáveis por buscar conteúdo quando usuários fazem perguntas. A BuzzStream analisou os 50 principais sites de notícias em cada mercado, com base no tráfego da SimilarWeb. Entre os bots de treinamento, o CCBot da Common Crawl foi o mais bloqueado, com 75%, seguido por Anthropic-ai (72%), ClaudeBot (69%) e GPTBot (62%). O Google-Extended, que treina o Gemini, foi o menos bloqueado, com 46% no geral. Nos EUA, 58% dos editores bloquearam esse bot, enquanto no Reino Unido, a taxa foi de 29%. O estudo revelou que 71% dos sites impedem pelo menos um bot de recuperação. O Claude-Web foi bloqueado por 66% dos sites, enquanto o OAI-SearchBot da OpenAI, que alimenta a busca ao vivo do ChatGPT, foi bloqueado por 49%. O ChatGPT-User foi bloqueado por 40%, e o Perplexity-User, que lida com solicitações de recuperação iniciadas por usuários, foi o menos bloqueado, com 17%. Embora o arquivo robots.txt sirva como uma diretriz, ele não impede que bots ignorem suas instruções. A Cloudflare documentou que o Perplexity usou comportamento furtivo para contornar restrições, o que levou a empresa a bloquear ativamente o bot. Para editores que desejam bloquear efetivamente rastreadores de IA, pode ser necessário implementar bloqueios em nível de CDN ou usar técnicas de identificação de bots. Os números de bloqueio de recuperação são significativos, pois muitos editores estão optando por não participar da camada de citação e descoberta que ferramentas de busca de IA utilizam. Bloquear bots de recuperação pode impedir que sites apareçam em respostas geradas por IA, mesmo que o conteúdo já tenha sido usado para treinamento. As diferenças no bloqueio do Google-Extended entre EUA e Reino Unido podem indicar diferentes avaliações de risco ou relações comerciais com o Google. Fonte:https://www.searchenginejournal.com/most-major-news-publishers-block-ai-training-retrieval-bots/564605/ Quando o Google passou a resumir conteúdos com IA, os impactos no tráfego e como o mercado tenta reagir Em 2024, o Google iniciou a implementação em larga escala dos chamados AI Overviews (ou resumos gerados por IA) nos resultados de busca. A novidade foi apresentada oficialmente durante o Google I/O 2024 e passou a exibir respostas automáticas no topo da SERP, antes mesmo dos links orgânicos tradicionais.Fonte: https://www.uol.com.br/tilt/noticias/redacao/2024/08/15/google-resumo-temas-feitos-por-ia.htm O que são os AI Overviews do Google? Os AI Overviews utilizam modelos de linguagem para resumir informações de múltiplas fontes da web e entregar uma resposta direta ao usuário. A proposta do Google é reduzir o tempo de busca e aumentar a eficiência das respostas, mas essa mudança alterou de forma significativa o comportamento de clique.Análise detalhada:https://www.widepixels.com/blog/google-s-ai-search-summaries-are-hurting-publisher-traffic Em vez de navegar por diferentes sites, muitos usuários passam a consumir a informação diretamente na página de resultados, criando um cenário de “busca sem clique”. Queda no tráfego orgânico após a adoção dos resumos por IA e como o bloqueio de bots de IA por sites de notícias pode ajudar A introdução dos AI Overviews pelo Google alterou de forma estrutural a dinâmica do tráfego orgânico. Diferente de mudanças anteriores no algoritmo, que redistribuíam cliques entre resultados, os resumos por IA absorvem a atenção do usuário antes mesmo do contato com os links, reduzindo drasticamente a necessidade do clique. A introdução dos resumos gerados por inteligência artificial pelo Google alterou de forma significativa o comportamento de busca e a dinâmica do tráfego orgânico. A partir de 2024, com a expansão dos chamados AI Overviews, muitas consultas passaram a ser respondidas diretamente na página de resultados, reduzindo a necessidade de o usuário clicar em links externos. Diferente de atualizações anteriores do algoritmo, que redistribuíam tráfego entre sites, os resumos por IA passaram a absorver a atenção do usuário antes mesmo do contato com os resultados orgânicos tradicionais. Estudos de mercado indicam que, quando um resumo por IA é exibido, a taxa de cliques nos links orgânicos cai de forma acentuada. Em análises publicadas pela eWeek, o CTR médio dos resultados tradicionais caiu de cerca de 15% para algo próximo de 8% em consultas informacionais. Em alguns segmentos, especialmente conteúdos explicativos e educativos, publishers relataram perdas muito mais severas, chegando a reduções superiores a 70% do tráfego para determinadas páginas. Fonte: https://www.eweek.com/news/google-ai-summaries-impact-publishers/ Esse efeito é mais intenso do que o observado anteriormente com featured snippets. Enquanto os snippets tradicionais exibiam trechos curtos e frequentemente incentivavam o clique para aprofundamento, os resumos por IA oferecem respostas mais longas, combinando informações de múltiplas fontes. Para o usuário, a sensação é de resposta completa. Para o produtor de conteúdo, o resultado é a perda da visita, mesmo quando seu material foi utilizado como base para o resumo. O impacto também não é distribuído de forma igual entre todos os tipos de sites. Portais de notícias, blogs educacionais, guias técnicos e conteúdos do tipo “o que é” ou “como funciona” são os mais afetados. Esses formatos historicamente dependem de buscas informacionais, justamente o tipo de consulta em que os resumos por IA tendem a aparecer com mais frequência. Em reportagens recentes, veículos de grande porte relataram quedas relevantes no tráfego orgânico após a expansão dessa funcionalidade, reforçando a percepção de que a mudança afeta de forma estrutural o modelo de distribuição de audiência. E sobre bloqueio de bots de IA por sites de notícias? A consequência direta dessa queda de tráfego é econômica. Menos visitas significam menos impressões publicitárias, menor geração de leads e enfraquecimento de modelos baseados em afiliados. Em resposta, empresas como a Chegg passaram a questionar publicamente e judicialmente o papel do Google, alegando que os resumos por IA capturam valor do conteúdo original sem oferecer compensação proporcional em forma de tráfego ou receita.
