mcpmetricsmcpmetrics
← Todos os artigos
·4 min de leitura

«No ar» não é o mesmo que «a funcionar»

Chamámos uma ferramenta real em 55.592 servidores. Só 29.527 responderam corretamente. Um servidor pode estar online, cumprir a especificação e mesmo assim não servir ao teu agente.

Uma verificação de saúde diz-te que a porta abre, não que está lá alguém. Por isso deixámos de perguntar se os servidores MCP respondem e passámos a perguntar se fazem mesmo aquilo que anunciam.

Chamámos as ferramentas deles

Um teste de fumo escolhe uma ferramenta real do servidor, envia-lhe a chamada válida mais simples e verifica se a resposta volta na forma prometida pelo esquema. No catálogo inteiro são 55.592 tentativas. O resultado:

testes realizados   55.592
testes aprovados    29.527   (53%)

Pouco mais de metade. E falamos de servidores que responderam ao handshake, publicaram a lista de ferramentas e, na maioria, mostraram uma disponibilidade saudável a semana toda.

Onde parte

As falhas raramente são barulhentas. Uma ferramenta está listada mas não implementada. Falta um parâmetro obrigatório no esquema. A chamada devolve sucesso com uma mensagem de erro lá dentro. Um endpoint pede um identificador de tenant que ninguém documentou. Nada disto aparece na disponibilidade.

O que fica

  • A disponibilidade responde «é alcançável», não «funciona».
  • Uma lista de ferramentas é uma afirmação, não uma garantia — a única prova é chamar uma.
  • Se dependes de um servidor, chama a ferramenta com regularidade, não apenas o endpoint de saúde.
Ver que servidores passam no teste
#fiabilidade#ferramentas#mcp

Mais artigos

«No ar» não é o mesmo que «a funcionar» | mcpmetrics