98% трафика Git-сервера ядра Linux поступает от ботов

98% трафика Git-сервера ядра Linux поступает от ботов

По оценкам, Git-сервер ядра Linux получает 98% трафика от ботов и только 2% от реальных пользователей. Константин Рябцев, администратор git.kernel.org, опубликовал эти цифры в посте под названием "Creepy crawlies".

Сайт получает около 6 миллионов запросов в день к случайным коммитам. Почти весь этот трафик, судя по всему, не имеет отношения к реальным пользователям.

Одна только отрисовка страниц коммитов для ботов съедает 14–16 из 90 процессорных ядер сервера. Это больше вычислительных ресурсов, чем потребляют все настоящие Git-клонирования вместе взятые.

Сначала боты приходили с очевидными User-Agent скраперов. Потом начали притворяться обычными браузерами.

Теперь они ходят через резидентские и мобильные прокси, а некоторые даже через SDK умных телевизоров, лишь бы пройти Proof-of-Work проверку сайта.

Сам Рябцев описал масштаб так: один форк ядра может породить 1,2 МЕТРИЧЕСКИХ БАДЖИЛЛИОНА валидных URL, которые скраперы могут бесконечно перебирать.

И причина такого интереса есть: коммиты ядра гарантированно созданы до эпохи ИИ и представляют собой незагрязнённые обучающие данные.

В итоге боты буквально перемалывают инфраструктуру крупнейшего программного проекта в мире, случайный коммит за случайным коммитом, только чтобы добраться до этих данных.