El 98% del tráfico del servidor Git del núcleo de Linux proviene de bots


El servidor Git del núcleo de Linux recibe un asombroso 98% de su tráfico de bots, amenazando su infraestructura.
El 98% del tráfico del servidor Git del núcleo de Linux proviene de bots
Según estimaciones, el servidor Git del núcleo de Linux recibe el 98% de su tráfico de bots y solo el 2% de usuarios reales. Konstantin Ryabtsev, el administrador de git.kernel.org, publicó estas cifras en un post titulado "Creepy crawlies."
El sitio recibe alrededor de 6 millones de solicitudes por día a commits aleatorios. Casi todo este tráfico, parece, no está relacionado con usuarios reales.
Solo la representación de páginas de commits para bots consume de 14 a 16 de los 90 núcleos de CPU del servidor. Esto es más recursos computacionales que todos los clonados de Git legítimos combinados.
Inicialmente, los bots venían con User-Agents de raspadores obvios. Luego comenzaron a hacerse pasar por navegadores normales.
Ahora utilizan proxies residenciales y móviles, y algunos incluso a través de SDK de televisores inteligentes, solo para pasar la verificación de Proof-of-Work del sitio.
Ryabtsev describió la escala de esta manera: un fork del núcleo puede generar 1.2 BAZILLONES METRICOS de URL válidas que los raspadores pueden iterar indefinidamente.
La razón de tal interés es clara: los commits del núcleo están garantizados que fueron creados antes de la era de la IA y representan datos de entrenamiento no contaminados.
Como resultado, los bots están literalmente desgastando la infraestructura del proyecto de software más grande del mundo, commit aleatorio por commit aleatorio, solo para llegar a estos datos.
Por qué es importante
АналітикаEsta situación destaca problemas graves de seguridad y recursos en el servidor Git del núcleo de Linux, que podrían afectar la disponibilidad y el rendimiento para los usuarios reales.
Debatir en la comunidad
Діліться своїм досвідом та думками з ШІ-розробниками