Интернет18.03.2025 - 14:52
Хостинг SourceHut противодействует ботам, собирающим информацию по всему интернету
Платформа SourceHut, которая предоставляет Git-хостинг для открытых проектов, сообщила о замедлении работы из-за активности веб-сканеров, используемых компаниями, занимающимися разработкой систем искусственного интеллекта. Подобные обращения становятся все более частыми среди владельцев онлайн-ресурсов.
Для ограничения трафика от ИИ-ботов SourceHut внедрила Nepenthes – инструмент, призванный защищать от недобросовестных сканеров, собирающих данные для обучения ИИ. Платформа полностью заблокировала диапазоны IP-адресов нескольких облачных провайдеров, в числе которых Google Cloud и Microsoft Azure, из-за чрезмерного трафика от их ботов.
Пользователям легитимных сервисов, размещенных на этих инфраструктурах, предложено обратиться к администрации SourceHut для добавления в список исключений. Ранее, в 2022 году, SourceHut сталкивалась с проблемой частых обращений от Google Go Module Mirror.
В 2023 году OpenAI пообещала, что ее боты будут соблюдать директивы robots.txt, устанавливающие правила для веб-сканеров. Аналогичные обязательства взяли на себя и другие разработчики ИИ, однако жалобы на злоупотребления продолжают поступать.
Летом прошлого года сайт iFixit подвергся атаке бота Anthropic Claudebot. В декабре Vercel сообщил о значительном объеме трафика от ИИ-сканеров: OpenAI GPTbot отправил 569 млн запросов, Anthropic Claude – 370 млн.
Ранее мы сообщали, что киберпреступники используют Deepseek AI для распространения банковского трояна. Также Windows 11 научится давать персонализированные советы пользователям.
Автор: Дмитрий Иванов
Новые комментарии