Comment nous mesurons — et ce que nous refusons de mesurer

Personne n'installe quoi que ce soit pour que nous puissions mesurer. Nous nous connectons à des endpoints MCP publics depuis l'extérieur, exactement comme le ferait n'importe quel client. C'est ce qui rend possible une couverture de tout l'écosystème — et c'est aussi pourquoi nous devons être prudents. Une mesure qui abîme ce qu'elle mesure n'est pas une mesure.

Ce que nous faisons concrètement

Toutes les deux heures environ, nous effectuons le handshake du protocole, demandons la liste des outils et consignons ce qui revient : quelle révision a été négociée, combien de temps cela a pris, ce qui a échoué. Chaque résultat est ajouté, jamais modifié. Rien n'est écrasé : l'historique reste honnête même quand nous avons tort.

Nous appelons bien des outils — mais seulement certains

Pour savoir si un serveur se contente de répondre ou fonctionne vraiment, il faut appeler quelque chose. Nous effectuons donc un unique appel de test, et nous sommes stricts sur les outils éligibles : lecture seule, aucun paramètre obligatoire, et un nom qui commence par un terme sans ambiguïté — list, get, search, status, info, ping, health, read, describe.

Tout ce qui pourrait créer, supprimer, envoyer, payer ou modifier n'est jamais touché. S'il n'existe aucun outil éligible, nous consignons que le test a été ignoré plutôt que de deviner. Nous ne sommes pas prêts à modifier un système pour le mesurer.

Nous nous ralentissons volontairement

Les sondes sont réparties par hôte plutôt qu'exécutées dans l'ordre alphabétique, afin qu'aucun fournisseur ne reçoive une rafale. Par hôte, nous autorisons au plus deux requêtes simultanées et au moins une demi-seconde entre elles. Des milliers de serveurs se trouvent derrière une poignée de plateformes, et un balayage naïf ressemblerait beaucoup à une attaque.

Ce que nous ne collectons jamais

• Les résultats des outils. Nous notons qu'un appel a réussi et sa durée, pas ce qu'il a renvoyé.
• Quoi que ce soit derrière un mur d'authentification. Si un serveur exige des identifiants, il reste non lu. Nous ne partons pas à la chasse aux clés.
• Quoi que ce soit via un proxy. Lorsque la liste d'outils n'est accessible que par un connecteur, nous lisons la liste et nous arrêtons là : appeler des outils dépenserait le quota de quelqu'un d'autre.

Et quand nous avons tort

Nous avons récemment découvert 387 serveurs que nous marquions comme cassés. Ils allaient très bien ; c'est nous qui parlions le mauvais transport. Le côté honnête de mesurer en public, c'est que vos propres erreurs finissent par faire partie des données — et les corriger ouvertement est la seule chose qui rende le reste digne de confiance.