Como medimos — e o que nos recusamos a medir

Ninguém instala nada para que a gente possa medir. Conectamos a endpoints MCP públicos de fora, do mesmo jeito que qualquer cliente faria. É isso que torna possível cobrir o ecossistema inteiro — e também o motivo de precisarmos ter cuidado. Uma medição que danifica o que mede não é uma medição.

O que fazemos de fato

A cada duas horas fazemos o handshake do protocolo, pedimos a lista de ferramentas e registramos o que voltou: qual revisão foi negociada, quanto tempo levou, o que falhou. Todo resultado é acrescentado, nunca editado. Nada é sobrescrito, então o histórico continua honesto mesmo quando erramos.

Nós chamamos ferramentas — mas só algumas

Para saber se um servidor apenas responde ou realmente funciona, é preciso chamar alguma coisa. Por isso fazemos uma única chamada de teste, e somos rigorosos sobre qual ferramenta é elegível: somente leitura, sem parâmetros obrigatórios, e o nome precisa começar com algo inequívoco — list, get, search, status, info, ping, health, read, describe.

Nunca tocamos em nada que possa criar, apagar, enviar, pagar ou modificar. Se não existir ferramenta elegível, registramos que o teste foi pulado em vez de chutar. Não aceitamos alterar um sistema para poder medi-lo.

A gente se desacelera de propósito

As sondagens são espalhadas por host em vez de seguir ordem alfabética, para que nenhum provedor receba uma rajada. Por host, permitimos no máximo duas requisições simultâneas e pelo menos meio segundo entre elas. Milhares de servidores ficam atrás de um punhado de plataformas, e uma varredura ingênua pareceria muito com um ataque.

O que nunca coletamos

• Resultados de ferramentas. Registramos que a chamada deu certo e quanto demorou, não o que voltou.
• Nada atrás de um muro de autenticação. Se um servidor pede credenciais, ele fica sem ser lido. Não saímos caçando chaves.
• Nada via proxy. Quando a lista de ferramentas só é acessível por um conector, lemos a lista e paramos ali — chamar ferramentas gastaria a cota de outra pessoa.

E quando erramos

Recentemente achamos 387 servidores que estávamos marcando como quebrados. Eles estavam bem; quem falava o transporte errado éramos nós. A parte honesta de medir em público é que seus próprios erros viram parte dos dados — e corrigi-los abertamente é a única coisa que torna o resto confiável.