Bir araç listesini ajan için okunabilir yapan nedir
Binlerce MCP araç yüzeyini, bir LLM'in doğru aracı ne kadar kolay seçebildiğine göre puanladık. Aynı dört hata sürekli geri geliyor.
Bir ajan sizin dokümantasyonunuzu hiç görmez. Gördüğü şey araç adlarının listesi, tek satırlık açıklamalar ve parametrelerin JSON şemasıdır. Brifingin tamamı budur. Doğru araç bundan anlaşılmıyorsa ajan yanlışını seçer — ya da kullanıcıya hiç sormaması gereken bir soruyu sorar.
Katalogdaki okunabilir her araç yüzeyini bir değerlendirmeden geçirip puanlıyoruz. Binlercesini okuyunca hatalar kümeleniyor.
1. Birbirine giren araçlar
Aynı isteği makul şekilde karşılayabilecek iki araç en pahalı hatadır, çünkü ajanın elinde bir ayırt edici yoktur. search_docs ve find_document varsa, birinin diğerinde olmayan işini açıkça söylemesi gerekir.
2. Anlamı olmayan parametreler
query adında, tipi string olan bir parametre ajana hiçbir şey söylemez. İçine ne girer — anahtar kelime mi, soru mu, kimlik mi? Büyük-küçük harfe duyarlı mı? Boş bırakılırsa ne olur? Bunun yeri README değil, şemanın kendisidir.
3. Belirsiz araçlarda örnek yokluğu
Araçların çoğu örneğe ihtiyaç duymaz. Serbest biçimli bir nesne, bir filtre ifadesi ya da alana özgü bir tanımlayıcı alan araç ise kesinlikle duyar. Değerlendirmelerimizde "kullanım örneği yok" en sık görülen zayıflıklardan biri — ve neredeyse her zaman tüm sunucuyla değil, tek bir araçla ilgili.
4. Söylenmeyen kısıtlar
Hız sınırları, en fazla sonuç sayısı, çalışma zaman aşımları, çağrının para harcayıp harcamadığı. Sınırı bilmeyen bir ajan o sınıra toslar. En yüksek puan alan sunucular bunları açıklamada düpedüz yazanlar.
Kısa hâli
- Farklı işleri ima eden farklı adlar.
- Her parametre, içine ne konacağı üzerinden tarif edilmiş olsun.
- Bir insanın soracağı araçlarda örnek bulunsun.
- Sınırlar, ajanın gerçekten okuyacağı yere yazılsın.
Bunların hiçbiri daha fazla araç gerektirmiyor. Çoğu, daha iyi anlatılmış daha az araç gerektiriyor.
Bir sunucunun puanına bakın