Множество владельцев веб-ресурсов выражают недовольство по поводу увеличения числа ботов, создающих нагрузку на серверы. Согласно отчету Fastly, краулеры и скраперы могут генерировать до 39 тысяч запросов в минуту. В 2025 году активность скраперов возросла на 87%, причем основной вклад вносили RAG-скраперы, а не те, что предназначены для обучения моделей.
На сегодняшний день ИИ-краулеры составляют около 80% трафика от всех ботов в интернете, в то время как фетчеры, генерирующие серьезные нагрузки, отвечают за оставшиеся 20%. Примером может служить ClaudeBot от Anthropic, который отправил миллион запросов к iFixit.com за сутки и 3,5 миллиона запросов к Freelancer.com за четыре часа.
Среди наиболее настойчивых краулеров выделяется бот Facebook, который меняет user-agent после блокировки. В ответ на такую активность веб-мастера используют различные методы защиты, включая капчи и фильтрацию по user-agent. Более креативные решения, как система Anubis, требуют от клиентов выполнения вычислительных задач, что значительно нагружает дата-центры ИИ. Некоторые также прибегают к zip-бомбам, которые истощают оперативную память, чтобы защитить свои ресурсы от агрессивных скраперов.
