“Ayakta” olmak, “çalışıyor” demek değil
55.592 sunucuda gerçek bir aracı çağırdık. Yalnızca 29.527’si doğru cevap verdi. Bir sunucu çevrimiçi, spec’e uygun ve yine de ajanınız için işe yaramaz olabilir.
Sağlık kontrolü kapının açıldığını söyler, içeride birinin olduğunu değil. Bu yüzden MCP sunucularına “cevap veriyor mu” diye sormayı bırakıp “ilan ettiği işi gerçekten yapıyor mu” diye sormaya başladık.
Araçlarını çağırdık
Duman testi bir sunucudan gerçek bir aracı seçer, ona en sade geçerli çağrıyı gönderir ve cevabın şemanın vaat ettiği biçimde dönüp dönmediğine bakar. Katalog genelinde bugüne kadar 55.592 deneme. Sonuç:
yapılan duman testi 55.592
geçen duman testi 29.527 (%53)Yarısının biraz üstü. Üstelik bunlar el sıkışmaya cevap veren, araç listesini yayınlayan ve çoğu hafta boyunca sağlıklı bir çalışma oranı gösteren sunucular.
Nerede kırılıyor
Hatalar genelde gürültülü değil. Araç listede var ama uygulanmamış. Zorunlu bir parametre şemada yok. Çağrı başarılı dönüyor ama başarı zarfının içinde hata metni taşıyor. Uç, kimsenin belgelemediği bir tenant kimliği istiyor. Bunların hiçbiri çalışma oranında görünmez.
Buradan çıkan
- Çalışma oranı “erişilebilir mi” sorusunu cevaplar, “işe yarıyor mu” sorusunu değil.
- Araç listesi bir iddiadır, garanti değil — tek kanıt birini çağırmaktır.
- Bir sunucuya bağımlıysan sağlık ucunu değil, aracını düzenli aralıklarla çağır.