Quem decide para quem eu publico?
Recentemente uma cliente decidiu deixar de hospedar seus sites comigo. O motivo: eu bloqueio diversos crawlers de IA por padrão.
Ela acredita — e não acho absurdo que acredite — que os sites deveriam estar acessíveis ao maior número possível de modelos de linguagem. Quanto mais IA puder consumir aquele conteúdo, maior seria a chance de ele aparecer em respostas, ganhar visibilidade e, quem sabe, trazer mais visitantes. É um raciocínio perfeitamente compreensível.
Esse episódio me fez refletir sobre algo cada vez mais presente e cada vez menos discutido: quem decidiu que eu tenho a obrigação de publicar meu conteúdo para qualquer um que queira consumi-lo?
Não estou falando de esconder conteúdo atrás de paywalls (não que haja qualquer coisa de errado com isso), nem de transformar a web numa coleção de jardins murados. Muito menos de ser contra inteligência artificial. Uso IA praticamente todos os dias, tanto para escrever quanto para programar e pesquisar. Mas existe uma diferença enorme entre disponibilizar conteúdo para leitura humana e disponibilizá-lo para consumo automatizado em larga escala.
Durante muito tempo essa diferença quase não importava, pois havia uma espécie de acordo informal: os grandes buscadores indexavam páginas e, no processo, é claro, consumiam recursos dos servidores. Em troca, enviavam visitantes que poderiam consumir mais conteúdo, comprar um curso, clicar em um anúncio e assim por diante. Havia uma relação de reciprocidade: o custo existia, mas também existia um benefício bastante claro.
Hoje a situação é diferente. Os modelos de linguagem não existem para mandar pessoas ao seu site, mas justamente para evitar que elas precisem chegar até ele. Nem entro no mérito de se isso é bom ou ruim; apenas estou dizendo que a natureza da relação mudou. E, quando a natureza da relação muda, talvez seja razoável repensar regras que pareciam tão óbvias até ontem.
Existe outro aspecto dessa discussão que costuma desaparecer completamente: infraestrutura custa dinheiro.
Parece uma observação banal, mas vale a pena lembrar que cada requisição feita a um site consome CPU, memória, banda, E/S de disco e energia. Quando um crawler percorre milhares de páginas de um site, alguém está pagando essa conta. E — spoiler! — não é a empresa dona do crawler: é quem mantém o servidor.
Curiosamente, quase toda discussão sobre “abrir os sites para a IA” parece partir do pressuposto de que esse custo simplesmente não existe. Como se hospedar um site fosse uma atividade filantrópica ou como se CPU e largura de banda fossem recursos infinitos. Esse custo existe e, para quem administra sites ou trabalha com infraestrutura, ele pode ser bastante significativo.
Isso significa que ninguém deveria permitir crawlers de IA? Claro que não. Seria simplismo demais reduzir tudo a uma questão de “sim” ou “não”.
Se você acredita que faz sentido abrir seu conteúdo para todos os modelos de linguagem existentes, essa é uma decisão perfeitamente legítima. Só acho importante que ela seja consciente. Afinal de contas, alguém vai pagar pela infraestrutura necessária para sustentar essa escolha. Se você está disposto a pagar essa conta, ótimo. Mas nem de longe insinue que essa decisão seja uma obrigação moral para todos os outros.
Há também uma mudança curiosa de perspectiva: durante décadas sempre consideramos perfeitamente normal decidir quem pode acessar nossos sistemas. Existem sites com login, sites por assinatura, conteúdo restrito por região, APIs autenticadas, firewalls, rate limits e bloqueios por endereço IP, país ou quaisquer outros critérios. Tudo isso faz parte da administração normal de qualquer serviço conectado à Internet. Nunca ouvi ninguém dizer que exigir autenticação de uma API é “ser contra a Internet”.
Da mesma forma, nunca achei estranho um site bloquear scrapers, spambots ou qualquer outro robô que estivesse consumindo recursos de maneira abusiva. Mas basta o robô ser um crawler de IA para, de repente, bloquear seu acesso parecer quase um ato de sabotagem tecnológica. A mudança de percepção me parece curiosa.
Também não seria justo colocar todos esses crawlers no mesmo balaio. Existem projetos que se identificam corretamente, respeitam o robots.txt, implementam limites razoáveis de taxa e deixam claro como desejam ser tratados. Infelizmente, eles não representam toda a indústria, e muitos fazem um discurso diametralmente oposto à prática.
Hoje já é comum, é até a praxe, encontrar crawlers que ignoram robots.txt, distribuem requisições entre milhares de endereços IP, contratam redes de IPs residenciais para se confundirem com visitantes comuns, alteram constantemente sua identificação ou simplesmente se apresentam como navegadores legítimos para escapar de filtros básicos. Há empresas que fazem um esforço enorme para parecer visitantes humanos justamente para dificultar que seus crawlers sejam identificados e bloqueados.
Vale lembrar que o robots.txt nunca foi um mecanismo de segurança, mas sim um mecanismo de cooperação. Tecnicamente, nunca impediu ninguém de acessar um site; apenas dizia “prefiro que você não faça isso”. Durante décadas isso funcionou porque os grandes buscadores respeitavam essa convenção.
Quando uma parte significativa da nova geração de crawlers deixa de enxergar essas convenções como relevantes, não deveria causar surpresa que administradores passem a substituir cooperação por bloqueios técnicos.
Foi exatamente por isso que surgiram ferramentas como Anubis e Iocaine. Durante algum tempo eu mesmo as descrevi como ferramentas para bloquear IA, mas hoje acho que essa definição é injusta: tais ferramentas não existem para bloquear IA, mas para devolver ao administrador uma escolha que sempre existiu, mas que ficou politicamente inconveniente exercê-la quando os interessados passaram a ser empresas de IA.
Talvez o argumento mais comum seja que bloquear esses crawlers é um erro estratégico, porque o futuro pertence às IAs. Pode até ser. Também é possível que, daqui a alguns anos, elas se tornem a principal forma de descoberta de conteúdo na web. Que ótimo, se isso acontecer.
Só que, diferentemente de um mecanismo de busca, um modelo de linguagem não foi projetado para encaminhar o usuário até a fonte. Ele foi projetado para responder diretamente à pergunta. Isso faz parte da proposta da tecnologia, e não há nada de errado nisso. O problema é que essa mudança também altera completamente a relação econômica entre quem produz conteúdo e quem o consome.
Há ainda uma ironia difícil de ignorar. Quando uma empresa de IA considera o conteúdo de um site valioso o suficiente para alimentar bilhões de respostas, parece perfeitamente natural que ela queira acessá-lo. Mas, quando o administrador desse mesmo site decide que não quer participar desse arranjo, de repente ele passa a ser visto como alguém que “não entendeu o futuro”.
Talvez apareçam modelos de licenciamento e remuneração, ou protocolos realmente respeitados de consentimento. Eu sinceramente espero, idealisticamente, que sim — não porque espere viver numa Internet perfeita, mas porque me parece difícil sustentar indefinidamente um modelo em que um lado produz o conteúdo, paga pela infraestrutura e arca com todos os custos, enquanto o outro decide unilateralmente que tem direito a consumi-los.
Talvez eu esteja completamente errado e, daqui a dez anos, bloquear crawlers de IA pareça tão estranho quanto bloquear o Googlebot no início dos anos 2000; é uma possibilidade. Mas, até que custos e benefícios voltem a ser distribuídos de forma minimamente equilibrada, continuo achando estranho tratar como inevitável uma relação que beneficia muito mais um dos lados do que o outro.
E continuo achando que quem publica um site deveria conservar um direito bastante simples:o de escolher para quem está publicando.