‘온라인’은 ‘작동한다’는 뜻이 아니다

헬스 체크는 문이 열린다는 것만 알려줄 뿐, 안에 누가 있는지는 말해주지 않습니다. 그래서 우리는 MCP 서버가 응답하는지 묻는 대신, 내세운 일을 실제로 하는지 묻기 시작했습니다.

도구를 직접 호출했다

스모크 테스트는 서버에서 실제 도구 하나를 골라 가장 단순한 유효 호출을 보내고, 응답이 스키마가 약속한 형태로 돌아오는지 확인합니다. 카탈로그 전체에서 지금까지 55,592번. 결과는 이렇습니다.

수행한 스모크 테스트   55,592
통과한 테스트         29,527   (53%)

절반을 조금 넘긴 수준입니다. 게다가 이들은 핸드셰이크에 응답했고, 도구 목록을 공개했으며, 대부분 한 주 내내 건강한 가동률을 보여주던 서버입니다.

어디서 깨지는가

실패는 대개 요란하지 않습니다. 도구는 목록에 있는데 구현되어 있지 않습니다. 필수 매개변수가 스키마에 없습니다. 호출은 성공을 반환하면서 그 봉투 안에 오류 문구를 담습니다. 엔드포인트가 아무도 문서화하지 않은 테넌트 ID를 요구합니다. 이 중 어느 것도 가동률에는 나타나지 않습니다.

여기서 가져갈 것

• 가동률은 “도달 가능한가”에 답할 뿐, “작동하는가”에는 답하지 않습니다.
• 도구 목록은 주장이지 보장이 아닙니다. 유일한 증명은 실제로 하나 호출해 보는 것입니다.
• 어떤 서버에 의존한다면 헬스 엔드포인트가 아니라 도구를 주기적으로 호출하세요.