Nasıl ölçüyoruz — ve neyi ölçmeyi reddediyoruz
Açık MCP sunucularını izin istemeden yokluyoruz. Bu bize bir sorumluluk yüklüyor. Kendimize koyduğumuz kurallar ve gerekçeleri.
Bizim ölçebilmemiz için kimse bir şey kurmuyor. Açık MCP uçlarına dışarıdan, herhangi bir istemcinin bağlandığı gibi bağlanıyoruz. Ekosistemin tamamını kapsayabilmemizi sağlayan şey bu — ve dikkatli olmamız gerekmesinin sebebi de aynı şey. Ölçtüğü şeye zarar veren bir ölçüm, ölçüm değildir.
Gerçekte ne yapıyoruz
Birkaç saatte bir protokol el sıkışmasını yapıyor, araç listesini istiyor ve dönenleri kaydediyoruz: hangi sürümde anlaşıldı, ne kadar sürdü, ne başarısız oldu. Her sonuç ekleniyor, hiçbiri düzenlenmiyor. Hiçbir şeyin üzerine yazılmıyor; böylece yanıldığımızda bile geçmiş dürüst kalıyor.
Araç çağırıyoruz — ama yalnızca bazılarını
Bir sunucunun sadece yanıt mı verdiğini yoksa gerçekten çalışıp çalışmadığını bilmek için bir şey çağırmanız gerekir. Bu yüzden tek bir smoke çağrısı yapıyoruz ve hangi aracın uygun olduğu konusunda katıyız: yalnızca okuma amaçlı, zorunlu parametresi olmayan ve adı açık şekilde başlayan araçlar — list, get, search, status, info, ping, health, read, describe.
Oluşturabilecek, silebilecek, gönderebilecek, ödeme yapabilecek ya da değiştirebilecek hiçbir şeye dokunulmaz. Uygun araç yoksa tahmin yürütmek yerine testi atladığımızı kaydediyoruz. Ölçmek için bir sistemi değiştirmeye razı değiliz.
Kendimizi bilerek yavaşlatıyoruz
Yoklamalar alfabetik değil, host'lara serpiştirilerek yapılıyor; böylece tek bir sağlayıcı ani bir yük almıyor. Host başına en fazla iki eş zamanlı istek ve aralarında en az yarım saniye. Binlerce sunucu bir avuç platformun arkasında duruyor ve saf bir tarama, saldırıya çok benzer.
Asla toplamadıklarımız
- Araç sonuçları. Çağrının başarılı olduğunu ve ne kadar sürdüğünü kaydediyoruz, ne döndüğünü değil.
- Auth duvarının ardındaki hiçbir şey. Sunucu kimlik bilgisi istiyorsa okunmadan kalır. Anahtar peşine düşmeyiz.
- Proxy üzerinden hiçbir şey. Araç listesine yalnızca bir bağlayıcı üzerinden ulaşılabiliyorsa listeyi okur, orada dururuz — araç çağırmak başkasının kotasını harcamak olur.
Ve yanıldığımızda
Yakın zamanda bozuk diye işaretlediğimiz 387 sunucu bulduk. Sunucular sağlamdı; yanlış taşımayı konuşan bizdik. Açıkta ölçmenin dürüst tarafı, kendi hatalarınızın da veriye dönüşmesidir — ve onları açıkça düzeltmek, geri kalan her şeyi güvenilir kılan tek şeydir.
Veriye kendiniz bakın