98% трафіку Git-сервера ядра Linux надходить від ботів

98% трафіку Git-сервера ядра Linux надходить від ботів

За оцінками, Git-сервер ядра Linux отримує 98% трафіку від ботів і лише 2% від реальних користувачів. Константин Рябцев, адміністратор git.kernel.org, опублікував ці цифри в пості під назвою "Creepy crawlies".

Сайт отримує близько 6 мільйонів запитів на день до випадкових комітів. Майже весь цей трафік, судячи з усього, не має відношення до реальних користувачів.

Одна лише відрисовка сторінок комітів для ботів споживає 14–16 з 90 процесорних ядер сервера. Це більше обчислювальних ресурсів, ніж споживають усі справжні Git-клонування разом узяті.

Спочатку боти приходили з очевидними User-Agent скраперів. Потім почали видавати себе за звичайні браузери.

Зараз вони використовують резидентські та мобільні проксі, а деякі навіть через SDK розумних телевізорів, лише щоб пройти перевірку Proof-of-Work на сайті.

Сам Рябцев описав масштаб так: один форк ядра може породити 1,2 МЕТРИЧЕСКИХ БАДЖИЛЛИОНА валідних URL, які скрапери можуть безкінечно перебирати.

Причина такого інтересу очевидна: комміти ядра гарантовано створені до епохи ШІ і представляють собою незабруднені навчальні дані.

В результаті боти буквально перемелюють інфраструктуру найбільшого програмного проекту у світі, випадковий коміт за випадковим комітом, лише щоб дістатися до цих даних.