「オンライン」は「動く」ではない
55,592 台のサーバーで実際のツールを呼び出しました。正しく応答したのは 29,527 台だけです。サーバーはオンラインで、仕様にも準拠していて、それでもエージェントの役に立たないことがあります。
ヘルスチェックが教えてくれるのは扉が開くことだけで、中に誰かいるかどうかではありません。そこで私たちは、MCP サーバーが応答するかを問うのをやめ、掲げている仕事を本当にやっているかを問うことにしました。
ツールを実際に呼んだ
スモークテストはサーバーから実際のツールを一つ選び、最小限の正しい呼び出しを送り、返答がスキーマの約束した形で返るかを確かめます。カタログ全体でこれまで 55,592 回。結果はこうです。
実施したスモークテスト 55,592
通過したテスト 29,527 (53%)半分を少し超えた程度です。しかもこれらは、ハンドシェイクに応答し、ツール一覧を公開し、多くは一週間を通して健全な稼働率を示していたサーバーです。
どこで壊れるのか
失敗はたいてい静かです。ツールは一覧にあるのに実装されていない。必須パラメータがスキーマにない。呼び出しは成功を返しつつ、その封筒の中にエラー文が入っている。エンドポイントが誰も文書化していないテナント ID を求める。どれも稼働率には現れません。
ここから持ち帰れること
- 稼働率が答えるのは「到達できるか」であって「動くか」ではありません。
- ツール一覧は主張であって保証ではありません。唯一の証明は実際に一つ呼ぶことです。
- あるサーバーに依存しているなら、ヘルスエンドポイントではなくツールを定期的に呼んでください。