POPA Recon미라 네트워크, AI 추론 검증 서비스 '스털링(Sterling)' 출시 #ad
미라 네트워크, AI 추론 검증 서비스 '스털링(Sterling)' 출시 #ad 1. 출시 배경: API 제공업체별 심각한 성능 편차 • 동일한 AI 모델이라도 API를 제공하는 업체와 실행 환경에 따라 실제 성능이 크게 달라짐. 일부 업체는 몰래 더 작은 모델을 서빙하거나 툴 호출(Tool calls) 기능이 깨지는 문제가 발생함. • 실제로 gpt-oss-120b 벤치마크에서 업체별 점수가 36.7%에서 93.3%까지 벌어졌으며, 4개월간 189개 엔드포인트를 조사한 결과 29곳에서 37건의 미고지 변경 사항이 발견됨. • 문제는 일반 이용자가 모델 이름만 보고 이러한 품질 저하나 임의 변경을 확인하기 어렵다는 점임. 2. 해결책: 검증된 업체만 연결하는 '스털링' • 미라 네트워크는 AI 모델 제공업체를 하루 종일 상시 테스트하고, 검증을 통과한 업체로만 요청을 라우팅하는 추론 서비스 '스털링'을 출시함 (현재 베타 버전). • 5가지 핵심 검증 기준: 레퍼런스 대비 실제 모델 일치 여부, 툴 호출 정상 작동, 파라미터 준수 여부, 무응답 오류(Silent failures), 선언된 컨텍스트 길이 지원 여부. • 모델 및 업체별 테스트 점수와 근거…
The excerpt is quoted from a public Telegram channel, which owns its text.
Read the original post on Telegram