Enodev.fr / Christophe's log (Posts about Internet)

Des robots pour visiteurs

Christophe Vu-Brugier — Sun, 26 Jan 2025 15:00:00 GMT

Quand je lis les journaux de mon serveur Web, j'ai l'impression que la plupart des visiteurs sont des robots.

La part des visiteurs qui s'identifient comme des robots via leur user agent est passée de moins de 30 % début 2024 à 40 % en décembre.

L'entraînement des modèles d'IA générative tels que les LLM nécessite un corpus toujours plus grand de données. Les entreprises du secteur ont donc développé des programmes qui parcourent le Web pour enregistrer le contenu des sites visités. Aux visiteurs de longue date que sont Googlebot et Bingbot se sont ajoutés GPTBot, ClaudeBot, Amazonbot, et bien d'autres.

Comment évaluer la part des robots parmi les visiteurs à partir des journaux ?

Les serveurs Web comme Apache enregistrent des informations sur les requêtes HTTP traitées dans un fichier journal des accès. Parmi ces informations figure l'en-tête user agent de la requête HTTP. Il s'agit d'une chaîne de caractère qui identifie le navigateur Web.

Le user agent des robots d'indexation contient en général les termes bot, crawler ou spider. Toutefois, un robot peut prétendre être un banal navigateur Web en usurpant son user agent.

Je suggère d'utiliser le logiciel libre Angle-grinder pour analyser le fichier journal des accès d'Apache et estimer le ratio des requêtes valides envoyées par des robots.

$ agrind -f a.log "* | apache | where status == 200 | if(contains(toLowerCase(contentlength), 'bot'), 1, 0) as bot_req | avg(bot_req) as bot_req_ratio"
bot_req_ratio
---------------------
0.40

Les pipelines, séparés par le caractère |, sont composés ainsi :

Toutes les entrées du fichier journal sont sélectionnées avec le caractère *.
Le parser pour le format du journal d'Apache interprète les champs.
Seules les requêtes dont le statut de réponse HTTP est 200 sont conservées. En effet, de nombreuses requêtes sont invalides et ne nous intéressent pas. Par exemple, des requêtes émanant de robots à la recherche de vulnérabilités à exploiter.
De façon étrange, le user agent est contenu dans le champ contentlength. Si le champ contient la chaîne de caractères "bot", on définit le champ bot_req à 1, sinon à 0. On peut étendre cette condition pour inclure les termes moins fréquents "crawler" et "spider".
Enfin, la valeur moyenne du champ bot_req est calculée.

Quels sont les robots les plus actifs ?

Voici la liste des cinq robots les plus actifs sur ce site en 2024.

Rang	Nom du robot	Propriétaire	Part des requêtes HTTP
1	Googlebot	Google	4.72 %
2	GPTBot	OpenAI	2.82 %
3	bingbot	Microsoft	1.50 %
4	YandexBot	Yandex	1.34 %
5	Bytespider	ByteDance	1.01 %

Comment a évolué l'activité des robots au cours de l'année ?

Les graphiques qui suivent représentent l'activité des robots les plus connus sous la forme d'une carte thermique du calendrier.

Chaque case symbolise un jour de l'année. Les jours se suivent verticalement du lundi au dimanche et sont groupés par mois. La couleur d'une case varie du jaune pâle au rouge foncé en fonction du nombre de requêtes HTTP reçues ce jour là.

Les graphiques sont affichés par la bibliothèque JavaScript Cal-Heatmap.

Googlebot

Très actifs, les robots de Google ont visité le site tous les jours en 2024.

GPTBot

Les robots d'OpenAI ont visité le site 212 jours en 2024. Rares en début d'année, ils ont été très présents en octobre.

Bingbot

Les robots de Microsoft ont visité le site tous les jours en 2024.

YandexBot

Les robots de Yandex ont visité le site 342 jours en 2024 mais ont été plus discrets à partir du mois de septembre.

Bytespider

Les robots de ByteDance ont visité le site 254 jours en 2024 et ont été plus actifs de juillet à septembre.

AmazonBot

Les robots d'Amazon apparaissent au septième rang et se distinguent dans leurs accès : ils indexent l'ensemble du site une fois par mois.

ClaudeBot

Classés au neuvième rang par leur activité, les robots d'Anthropic ont visité le site 50 jours en 2024, principalement en avril et en mai.

IA quelqu'un ?

Les robots représentent une part croissante des visiteurs de ce site. Ils deviendront peut-être majoritaires en 2025.

Toutefois, j'aimerais qu'ils butinent plus sobrement le contenu du site pour ne pas consommer inutilement ses ressources informatiques.

Ils pourraient s'inspirer de l'efficacité discrète de ce butineur insaisissable.

Un Moro-sphinx (Macroglossum stellatarum) butine du Chèvrefeuille.

Statistiques d'accès au site en IPv6

Christophe Vu-Brugier — Sat, 30 Sep 2023 20:55:42 GMT

Le mois dernier, j'ai observé que bien que mon serveur Web possédât une adresse IPv6, aucun navigateur Web ne s'y connectait via ce protocole. J'avais tout simplement oublié d'associer un enregistrement IPv6 address record au nom de mon domaine dans la zone DNS.

Un mois plus tard, la lecture des logs de mon serveur Web confirme qu'une partie des navigateurs Web s'y connectent en IPv6 et je peux mesurer dans quelle proportion.

Dites AAAA

Sur Internet, le service DNS associe les noms de domaine Internet avec leurs adresses IP.

La plupart des sites Internet déclarent des adresses IPv4 dans leur zone DNS à travers des enregistrements DNS A (A pour Adresse).

Conscients de l'épuisement des adresses IPv4, de plus en plus de sites Internet sont aussi accessibles en IPv6. Pour permettre aux navigateurs Web de résoudre leur nom de domaine en adresses IPv6, ils ajoutent des enregistrements DNS AAAA dans leur zone DNS. Les quatre "A" dénotent le fait qu'une adresse IPv6 (128 bits) est quatre fois plus longue qu'une adresse IPv4 (32 bits).

Sous Linux, l'outil dig permet d'effectuer des requêtes DNS en ligne de commande et donc de vérifier si un site Internet déclare être accessible en IPv4 et en IPv6.

Pour afficher l'adresse IPv4 associée à un nom de domaine :

$ dig +short enodev.fr A
159.69.222.76

Et pour obtenir l'adresse IPv6 éventuellement associée :

$ dig +short enodev.fr AAAA
2a01:4f8:1c1e:b2d0::1

Qui AAAAccède ?

Le fichier journal des accès du serveur HTTP Apache enregistre les requêtes qu'il a traitées.

Dans le format par défaut du fichier journal des accès, l'adresse IP du client figure au début de chaque ligne.

L'extrait de journal suivant présente une requête HTTP effectuée par un navigateur Web connecté en IPv4 suivie d'une requête formulée par un autre navigateur Web connecté en IPv6 :

24.35.90.123 - - [01/Oct/2023:00:03:20 +0200] "GET /posts/rusticity-convert-an-integer-to-an-enum.html HTTP/2.0" 200 6966 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
2a02:8308:285:e800:9807:3eea:1a93:1234 - - [01/Oct/2023:00:03:30 +0200] "GET /posts/rusticity-convert-an-integer-to-an-enum.html HTTP/2.0" 200 6966 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43"

Analyse des accès avec Angle-grinder

Angle-grinder est un outil en ligne de commande qui permet d'interpréter des données en effectuant des opérations de tri, de sélection, de groupement, ou des calculs. Angle-grinder est notamment capable d'interpréter directement un fichier journal des accès d'Apache. Ceci va nous aider à mesurer dans quelle proportion les navigateurs Web se connectent au site en IPv6.

Voici une façon de compter le nombre d'adresse IP différentes qui se sont connectées au serveur HTTP avec Angle-grinder:

$ agrind -f apache.log "* | apache | count_distinct(ip) as unique_ipaddrs"
unique_ipaddrs
----------------------
5326

Les pipelines, séparés par le caractère |, sont composés ainsi :

Toutes les entrées du fichier journal sont sélectionnées avec le caractère *.
Le parser pour le format du journal d'Apache interprète les champs.
L'opérateur d'agrégation count_distinct() est appelé sur le champ nommé ip. La colonne de résultat est nommée unique_ipaddrs.

Pour dénombrer le nombre d'adresse IPv6 différentes, il suffit d'ajouter un filtre qui sélectionne les adresses IP qui contiennent le séparateur :.

$ agrind -f apache.log "* | apache | contains(ip, ':') as is_ipv6 | where is_ipv6 | count_distinct(ip) as unique_ipv6addrs"
unique_ipv6addrs
------------------------
500

9,4 % des navigateurs Web se connectent donc au site en IPv6. La part des requêtes HTTP effectuées en IPv6 est assez proche – 10 % – comme on peut le constater avec la requête suivante :

$ agrind -f apache.log "* | apache | contains(ip, ':') as is_ipv6 | if(is_ipv6, 1, 0) as ipv6_req | avg(ipv6_req) as ipv6_req_ratio"
ipv6_req_ratio
----------------------
0.10

Il sera intéressant de suivre la progression du ratio des accès réalisés en IPv6 dans le temps.

Note: en décembre 2024, 14 % des requêtes HTTP sont effectuées en IPv6.

Une épeire fasciée sur sa toile. Connectée en IPv6 ?