Como medimos — e o que recusamos medir

Ninguém instala nada para que possamos medir. Ligamo-nos a endpoints MCP públicos a partir de fora, tal como qualquer cliente faria. É isso que torna possível cobrir todo o ecossistema — e também a razão pela qual temos de ter cuidado. Uma medição que danifica aquilo que mede não é uma medição.

O que fazemos na prática

De duas em duas horas fazemos o handshake do protocolo, pedimos a lista de ferramentas e registamos o que voltou: que revisão foi negociada, quanto tempo demorou, o que falhou. Cada resultado é acrescentado, nunca editado. Nada é sobrescrito, por isso o histórico mantém-se honesto mesmo quando nos enganamos.

Chamamos ferramentas — mas só algumas

Para saber se um servidor apenas responde ou realmente funciona, é preciso chamar alguma coisa. Por isso fazemos uma única chamada de teste e somos rigorosos sobre que ferramenta é elegível: só de leitura, sem parâmetros obrigatórios, e o nome tem de começar por algo inequívoco — list, get, search, status, info, ping, health, read, describe.

Nunca tocamos em nada que possa criar, apagar, enviar, pagar ou modificar. Se não existir ferramenta elegível, registamos que o teste foi ignorado em vez de adivinhar. Não estamos dispostos a alterar um sistema para o medir.

Abrandamos de propósito

As sondagens são distribuídas por host em vez de seguirem ordem alfabética, para que nenhum fornecedor receba uma rajada. Por host permitimos no máximo dois pedidos em simultâneo e pelo menos meio segundo entre eles. Milhares de servidores estão por trás de um punhado de plataformas, e uma varredura ingénua pareceria muito com um ataque.

O que nunca recolhemos

• Resultados das ferramentas. Registamos que a chamada teve sucesso e quanto demorou, não o que devolveu.
• Nada por trás de um muro de autenticação. Se um servidor pede credenciais, fica por ler. Não andamos à caça de chaves.
• Nada através de um proxy. Quando a lista de ferramentas só é acessível por um conector, lemos a lista e paramos aí — chamar ferramentas gastaria a quota de outra pessoa.

E quando nos enganamos

Encontrámos recentemente 387 servidores que marcávamos como avariados. Estavam bem; quem falava o transporte errado éramos nós. O lado honesto de medir em público é que os nossos próprios erros passam a fazer parte dos dados — e corrigi-los abertamente é a única coisa que torna o resto fiável.