랭스미스
LangSmith
LLM 앱의 개발, 테스트, 평가 및 모니터링을 위한 통합 DevOps 플랫폼
소개
활용 워크플로우
입력
랭스미스
출력
오프라인 평가 워크플로우
배포 전, 준비된 데이터셋을 바탕으로 새로운 프롬프트나 모델의 성능을 기존 버전과 비교 분석합니다.
온라인 모니터링 워크플로우
실제 운영 환경의 트래픽을 샘플링하여 실시간 품질 저하 및 환각(Hallucination) 발생 여부를 감시합니다.
데이터 큐레이션 워크플로우
사용자 피드백이 낮거나 에지가 발생한 트레이스를 선택하여 새로운 테스트 케이스나 파인튜닝 데이터로 변환합니다.
핵심 차별점: 수백만 개의 트레이스를 자동 분석하여 실패 원인을 군집화하는 '인사이트 에이전트'와 멀티턴 에이전트 흐름에 최적화된 평가 환경을 제공합니다.
주요 기능
- 인사이트 에이전트(실패 패턴 자동 분류)
- 멀티턴 평가(Multi-turn Evals)
- LangGraph 기반 상태 가시성
- 온라인/오프라인 통합 평가 프레임워크
- 엔터프라이즈급 셀프 호스팅 지원
가격 정보
Developer 플랜은 무료로 1인 사용자에게 월 5,000개의 트레이스를 제공한다. Plus 플랜은 사용자당 월 $39이며 월 10,000개의 트레이스를 포함하고 초과 시 1,000건당 $0.50의 비용이 발생한다. 기업용 Enterprise 플랜은 맞춤형 가격으로 제공된다.
활용 사례
- 대규모 에이전트 트레이스 데이터의 자동 인사이트 도출
- CI/CD 파이프라인 내 LLM 회귀 테스트 자동화
- 실시간 운영 환경에서의 비용 및 토큰 최적화
- 하이브리드/온프레미스 환경의 LLM 옵저버빌리티 구축
대상 사용자
연동 서비스
태그
최근 소식
- 버전 업데이트LangSmith, Interrupt 2026서 SmithDB·Managed Deep Agents·Engine 공개
LangChain이 Interrupt 2026에서 LangSmith 대규모 업데이트를 공개했습니다. 에이전트 관측성 전용 Rust DB SmithDB, API-우선 Managed Deep Agents, 보안 코드 실행 Sandboxes, 에이전트 자동 개선 Engine(퍼블릭 베타), Messages View·Context Hub·LLM Gateway를 도입했습니다.
근거: [APPROX_DATE] LangChain Blog: 'Everything we shipped at Interrupt' (Interrupt 2026, 정확 일자 미상)
사용자 리뷰
리뷰를 불러오는 중...
대안 도구
이 도구 대신 사용할 수 있는 대안
