El creador de PatronView, Nick Gray, ha estado analizando el impacto de los bots de IA en su sitio web durante año y medio. Descubrió que el 99% del tráfico de su sitio web son bots, lo que ha generado un gran problema para su negocio. En una sola semana, su servidor sirvió 1,28 millones de páginas, mientras que las visitas verdaderas fueron solo 5.977.
La conclusión era clara: por cada página vista real, había 214 procedentes de bots. Gray empezó a medir la actividad de los rastreadores de internet con una métrica muy sencilla: páginas rastreadas por cada visitante. Descubrió que el bot de rastreo de Claude, llamado Claude-Searchbot, solicitó 420.680 páginas en una semana, y solo envió 12 usuarios a su web.
Amazon es aún peor, según Gray. El rastreador Amzn-SearchBot, utilizado para productos de Amazon, fue incluso más avaricioso al rastrear la web de este usuario. Según sus datos, ese rastreador estaba accediendo a 117.000 páginas de su web Patronview al día, sin enviar ni una sola página vista a su sitio web. Gray bloqueó a este bot y comprobó que estos rastreadores de plataformas de IA lo piden todo sin ofrecer prácticamente nada a cambio.
La defensa contra estos bots tiene un precio. Gray utilizaba las detecciones de ejecución de código JavaScript que ofrece Cloudflare para poder distinguir entre humanos y máquinas. Sin embargo, descubrió que dicho sistema añadía 2,875 segundos de procesamiento en un móvil de gama media, lo que penalizaba su rendimiento web. Gray acabó creando un mecanismo de bloqueo para estos bots que bloquea determinados países y rastreadores, y que utiliza sistemas CAPTCHA si detecta grandes centros de datos.
Los bots no solo generan problemas de tráfico, sino que también suben la factura de mantenimiento del sitio web. PatronView le cuesta unos 90 dólares al mes, pero durante uno de los peores picos de tráfico por bots, su factura creció cerca del 500%. Gray cree que la solución final sería cobrar por rastrear, como ya trabaja Cloudflare en el sistema pay per crawl.
Fuente: xataka