패스트챗

패스트챗

FastChat

Vicuna 모델 배포 및 LLM 벤치마킹을 위한 개방형 채팅 플랫폼

무료WebAPICLI오픈소스한국어 지원LLM 기반멀티모달
웹사이트 방문하기lmarena.ai

검증된 사실

한국어 지원
완전 지원
GitHub
★ 39,472
최근 변경
2026-06-12 Arena AI(구 LM Arena) 리더보드에 Nemotron 3 Ultra가 Agent Arena 리더보드에 추가되었습니다. 소스: https://arena.ai/blog/leaderboard

2026-06-20 직접 확인 · 자동 검증 데이터

제품 화면

패스트챗 제품 화면

2026-06-20 확인

가격 정보

무료시작 가격: 무료

완전 무료 오픈소스입니다. Chatbot Arena(lmarena.ai) 서비스도 무료로 이용 가능합니다.

가격표 확인하기

최근 업데이트와 소식

  • 소식
    LMArena, 'Arena'로 리브랜딩 (멀티모달 평가 확장)

    LMArena가 2026년 1월 28일 텍스트를 넘어 이미지·영상·멀티모달 모델 평가로 확장하며 'Arena'로 리브랜딩했다고 발표했습니다.

    근거: Wikipedia에 따르면 2026-01-28 LMArena가 이미지·영상 생성 모델 지원을 추가하며 'Arena'로 리브랜딩했습니다.

  • 투자
    LMArena, 시리즈 A 1.5억 달러 유치 (기업가치 ~17억 달러)

    LLM 평가 플랫폼 LMArena(FastChat/LMSYS)가 2026년 1월 6일 Felicis·UC Investments 주도로 1억5천만 달러 시리즈 A를 유치해 기업가치 약 17억 달러에 이르렀다고 발표했습니다.

    근거: Wikipedia·업계 보도(2026-01-06)에 따르면 LMArena가 a16z 등이 참여한 1.5억 달러 시리즈 A를 마감했습니다.

소개AI 요약

FastChat은 UC버클리 lm-sys 팀이 개발한 오픈소스 LLM 학습·서빙·평가 플랫폼입니다. Chatbot Arena(lmarena.ai)의 기반 시스템으로, 70개 이상의 대규모 언어모델을 블라인드 비교할 수 있는 공개 평가 플랫폼을 운영합니다. OpenAI 호환 API 서버를 통해 기존 OpenAI 기반 앱을 코드 변경 없이 오픈소스 LLM으로 전환할 수 있습니다. Vicuna 등 고성능 오픈소스 모델의 공개 배포 플랫폼 역할도 합니다.

활용 워크플로우

입력

Hugging Face 모델 가중치 (Llama-3, Vicuna, LLaVA 등)OpenAI SDK/cURL 기반 사용자 프롬프트MT-bench 표준 평가 질문 데이터셋ShareGPT 포맷의 커스텀 파인튜닝 데이터

패스트챗

중앙 Controller를 통한 분산 모델 워커(Worker) 상태 관리 및 라우팅vLLM 및 SGLang 엔진 연동을 통한 최적화된 추론(Inference) 가속Gradio 기반의 멀티 모델 병렬 채팅 인터페이스 렌더링GPT-4 등 강력한 모델을 판정관으로 사용하는 LLM-as-a-judge 평가 로직

출력

OpenAI 규격 호환 RESTful API 엔드포인트모델별 MT-bench 성능 스코어 및 비교 리포트Chatbot Arena 스타일의 ELO 레이팅 통계실시간 모델 서빙 대시보드 및 웹 UI

분산 인프라 서빙 (Distributed Serving)

단일 Controller가 여러 노드에 분산된 Model Worker들을 관리하여 트래픽 부하 분산 및 고가용성 보장

자동화된 성능 벤치마킹 (MT-bench)

인간의 개입 없이 대화형 모델의 품질을 다각도로 평가하고 표준화된 점수 부여

멀티모달 확장 (Vision Support)

LLaVA와 같은 시각-언어 모델 워커를 추가하여 이미지 기반 대화 서비스 구축

핵심 차별점: 오픈소스 LLM 서빙의 업계 표준이자, 실제 사용자 피드백과 자동 평가를 결합하여 모델의 '진짜 실력'을 측정하는 최적의 생태계

주요 기능AI 요약

  • Chatbot Arena(lmarena.ai) 운영 — 70개 이상 LLM 블라인드 비교 평가 플랫폼
  • OpenAI 호환 API 서버 — 기존 OpenAI 앱을 오픈소스 LLM으로 즉시 전환 가능
  • Vicuna 모델 공개 — LLaMA 파인튜닝 기반 고성능 오픈소스 챗봇
  • 멀티모달 지원 — 이미지·텍스트 입출력 가능한 Arena
  • 분산 서빙 지원 — 컨트롤러·워커 아키텍처로 다중 모델 동시 서빙

활용 사례AI 요약

  • LLM 성능 비교 평가 및 리더보드 운영
  • 오픈소스 LLM 기반 챗봇 서비스 구축
  • 연구용 LLM 파인튜닝 및 서빙 파이프라인 구성
  • 기업 내부용 프라이빗 AI 어시스턴트 배포

사용자 리뷰

리뷰를 불러오는 중...

대안 도구

이 도구 대신 사용할 수 있는 대안