mcpmetricsmcpmetrics
← Tous les articles
·4 min de lecture

« En ligne » ne veut pas dire « fonctionnel »

Nous avons appelé un véritable outil sur 55 592 serveurs. Seuls 29 527 ont répondu correctement. Un serveur peut être en ligne, conforme à la spécification, et rester inutile pour votre agent.

Un contrôle de santé vous dit que la porte s’ouvre, pas qu’il y a quelqu’un derrière. Nous avons donc cessé de demander si les serveurs MCP répondent pour demander s’ils font réellement ce qu’ils annoncent.

Nous avons appelé leurs outils

Un test de fumée choisit un outil réel du serveur, lui envoie l’appel valide le plus simple et vérifie que la réponse revient dans la forme promise par le schéma. Sur l’ensemble du catalogue, cela fait 55 592 tentatives. Le résultat :

tests effectués   55 592
tests réussis     29 527   (53 %)

Un peu plus de la moitié. Et il s’agit de serveurs qui ont répondu au handshake, publié leur liste d’outils et affiché, pour la plupart, un taux de disponibilité correct toute la semaine.

Où ça casse

Les échecs sont rarement spectaculaires. Un outil est listé mais pas implémenté. Un paramètre obligatoire manque au schéma. L’appel renvoie un succès contenant un message d’erreur. Un endpoint réclame un identifiant de tenant que personne n’a documenté. Rien de tout cela n’apparaît dans la disponibilité.

Ce qu’il faut en retenir

  • La disponibilité répond « est-ce joignable », pas « est-ce que ça marche ».
  • Une liste d’outils est une affirmation, pas une garantie : la seule preuve est d’en appeler un.
  • Si vous dépendez d’un serveur, appelez son outil régulièrement, pas seulement son endpoint de santé.
Voir quels serveurs réussissent le test
#fiabilité#outils#mcp

Plus d’articles

« En ligne » ne veut pas dire « fonctionnel » | mcpmetrics