에비던틀리AI
Evidently AI
머신러닝과 LLM 모델의 성능을 평가하고 데이터 변화를 모니터링하는 오픈소스 파이썬 플랫폼
부분 무료WebAPI
웹사이트 방문하기evidentlyai.com
레플리케이트와(과) 비교하기소개
활용 워크플로우
입력
훈련 및 추론 데이터셋 (CSV, Parquet)LLM 입력 및 출력 로그 (Traces)기준 데이터 (Reference Dataset)PostgreSQL/S3 실시간 데이터 스트림
에비던틀리AI
데이터 및 타겟 드리프트(Drift) 통계 분석LLM-as-a-Judge 기반 응답 품질 스코어링RAG 파이프라인의 검색 관련성 및 충실도 검증100개 이상의 지표 기반 커스텀 테스트 스위트 실행
출력
인터랙티브 HTML 분석 리포트JSON/Pydantic 기반 검사 결과 스냅샷Grafana/Evidently Cloud 대시보드 시각화CI/CD 파이프라인 Pass/Fail 신호
지속적 모니터링 (Production)
실시간 데이터 드리프트 및 모델 성능 저하를 감지하여 알림 발송
RAG 시스템 평가 (Development)
환각 현상 탐지 및 검색 엔진 정확도 최적화를 위한 정밀 분석
적대적 테스트 (Security)
프롬프트 인젝션 및 유해 콘텐츠 유출 방지를 위한 레드팀 테스트
핵심 차별점: 기존 ML 모델의 통계적 드리프트 탐지와 최신 LLM의 비정형 응답 평가를 단일 파이프라인에서 통합 관리하는 AI 신뢰성 통합 플랫폼입니다.
주요 기능
- 100개 이상의 내장 평가 지표
- LLM 추적(Tracing) 및 데이터셋 관리
- RAG 및 에이전트 워크플로우 평가
- 자동 프롬프트 최적화(Prompt Optimization)
가격 정보
부분 무료시작 가격: 월 80달러 (팀 플랜 기준, 오픈소스 및 개인용 클라우드 무료)
오픈소스 ML 모니터링 도구로, 무료 플랜(Developer)에서 월 1만 행의 데이터를 처리할 수 있다. Pro 플랜은 월 $80부터 시작하며 월 10만 행 처리와 10개의 프로젝트를 지원한다. 대규모 기업을 위한 맞춤형 엔터프라이즈 플랜도 제공된다.
활용 사례
- RAG 파이프라인 환각 탐지
- 프로덕션 ML 모델 드리프트 모니터링
- LLM-as-a-Judge 평가 체계 구축
- AI 에이전트 신뢰성 검증
대상 사용자
데이터 사이언스 팀개발자
연동 서비스
MLflowAirflowGrafanaStreamlitPostgreSQLBigQueryAWS S3
태그
데이터 분석오픈소스개발자 도구엔터프라이즈클라우드자동화
사용자 리뷰
리뷰를 불러오는 중...
대안 도구
이 도구 대신 사용할 수 있는 대안
