그록
Groq
자체 LPU 칩으로 오픈소스 모델을 빠르게 돌리는 추론 전용 클라우드 플랫폼입니다. GPU 기반 서비스보다 초당 토큰 생성량이 높고 첫 응답까지의 지연이 짧은 점이 핵심입니다.
소개
차별점
- GPU의 메모리 대역폭 병목을 우회하도록 설계한 추론 전용 LPU 칩을 직접 만들어 씁니다
- 동급 추론 서비스와 비교해 초당 처리량(TPS)이 수백~1,000 TPS 수준으로 높습니다
- OpenAI 호환 API를 그대로 받아서, 코드 변경 없이 엔드포인트만 바꿔 마이그레이션할 수 있습니다
활용 워크플로우
입력
그록
출력
실시간 음성 에이전트 워크플로우
Whisper Large V3 Turbo를 활용해 수 초 분량의 오디오를 밀리초 단위로 텍스트화하여 즉각적인 대화형 AI 서비스 구현
대규모 지식 베이스 RAG 최적화
Llama 3.3 70B 모델의 높은 처리량을 이용해 방대한 컨텍스트 내에서 필요한 정보를 지연 시간 없이 추출 및 요약
에이전틱 워크플로우 통합
Groq Compound 시스템을 통해 웹 검색, 코드 실행 등 외부 도구를 자동 선택하고 병렬로 처리하는 복합 추론 경로
핵심 차별점: 전용 LPU 칩과 SRAM 기반 아키텍처로 메모리 병목을 제거하여, 기존 GPU 대비 수십 배 빠른 토큰 생성 속도와 일정한 지연 시간을 보장합니다.
주요 기능
- LPU 기반 저지연 추론 인프라
- OpenAI 호환 API
- Llama, GPT-OSS, Qwen, Kimi, MiniMax 등 주요 오픈 모델 지원
- 텍스트 생성, 음성 인식, 음성 합성, OCR 지원
- Remote MCP와 커넥터 기반 외부 도구 연동
- 프롬프트 캐싱과 배치 처리 할인 옵션
장점 & 단점
웹검색을 통해 수집된 사용자 피드백 정보입니다
장점
- 같은 오픈 모델을 GPU 기반 서비스에서 돌릴 때보다 초당 토큰 생성량이 높습니다
- 추론 작업에 맞춘 모델별 종량제로, 1M 토큰당 단가가 미리 공개되어 비용 계산이 명확합니다
- 첫 토큰까지 걸리는 시간(TTFT)이 짧아 실시간 대화형 서비스에 적합합니다
- 성능 확인과 소규모 개발용으로 무료 티어를 쓸 수 있습니다
- 장기적인 운영 비용(토큰당 비용) 절감 효과
- 경쟁사 GPU 대비 압도적으로 빠른 LLM 추론 속도
- 예측 가능한 성능을 보장하는 결정론적(Deterministic) 아키텍처
- 기존 GPU 솔루션 대비 우수한 에너지 효율성
단점
- GPT-4와 같은 폐쇄형 모델은 사용할 수 없음
- 플랫폼에서 지원하는 특정 오픈 소스 모델로 활용 범위 제한
- 무료 티어 사용 시 엄격한 속도 및 요청 제한 적용
- AI 모델 학습(Training)이 아닌 추론(Inference)에만 특화됨
- GPU 대비 범용성이 떨어져 다양한 연산 작업에는 부적합
- 칩당 메모리 용량이 적어 대형 모델 구동 시 많은 칩 연결 필요
- Nvidia CUDA 생태계에 비해 상대적으로 작은 개발자 커뮤니티
- 무료 티어 사용량 제한 및 고급 기능의 학습 곡선 존재
가격 정보
Groq Cloud는 토큰당 종량제로 청구되며, 394~1,000 TPS의 초고속 추론을 제공합니다. 모델별 1M 토큰 기준: Llama 3.1 8B Instant 입력 $0.05/출력 $0.08(840 TPS), GPT OSS 20B 입력 $0.075/출력 $0.30(1,000 TPS), Llama 3.3 70B 입력 $0.59/출력 $0.79(394 TPS). 추가로 TTS는 1M 문자당 $22~, Whisper 음성 인식은 시간당 $0.04-$0.111, Built-in 도구(검색·코드 실행)는 1,000 요청당 $0.18-$8입니다. 프롬프트 캐시는 50% 할인, Batch API는 비동기 워크로드 50% 할인이며 Free tier도 제공합니다.
정보 확인일:
활용 사례
- 지연 시간이 거의 없는 실시간 고객 지원 챗봇
- 대규모 텍스트 데이터의 고속 요약 및 분류
- 초고속 실시간 음성 인식(Whisper) 및 번역 서비스
- 지능형 에이전트 및 멀티모달 애플리케이션 개발
대상 사용자
태그
검증 근거
회사·가격·기능 정보는 아래 원문과 최근 검증 기록을 기준으로 표시합니다. 서로 다른 출처가 충돌하면 공식 원문과 최신 검증값을 우선합니다.
최근 소식
확인된 변경 내역
- 2026-06-17 GroqCloud에서 llama-3.1-8b-instant, llama-3.3-70b-versatile, qwen3-32b, llama-4-scout-17b 등 여러 모델의 지원 종료(deprecation)를 발표하고 사용자에게 대체 모델로의 마이그레이션을 안내했습니다.
- 2026-05-29 Groq는 개발자 커뮤니티 운영 방식 개편의 일환으로 Groq Community 사이트를 2026년 5월 29일부로 종료한다고 발표했습니다.
- 2026-05-28 엔비디아와의 대규모 라이선스 계약 이후 'Groq 2.0' 추론 네오클라우드 플랫폼 확장을 위해 6억 5,000만 달러 규모의 신규 투자를 유치했습니다.
- 2026-03-17 엔비디아 GTC 2026에서 삼성 4nm 공정 기반 LP30 칩을 탑재한 차세대 랙 레벨 추론 솔루션 'Groq 3 LPX'가 공식 공개되었습니다.
- 2025-12-24 엔비디아가 Groq의 추론 기술 자산 인수 및 라이선스를 위해 200억 달러 규모의 계약을 체결했으며, Groq은 독립 법인으로서 클라우드 사업을 지속합니다.
- 2026-04-18 MiniMax M2.5와 Qwen3-VL 32B Instruct를 엔터프라이즈 고객용 모델로 추가했다.
- 2026-04-18 Orpheus Arabic Saudi 음성 모델에 Abdullah와 Aisha 음성을 추가했다.
- 2026-01-30 PlayAI TTS에서 Orpheus TTS로 플랫폼 전환을 진행했다.
사용자 리뷰
리뷰를 불러오는 중...
대안 도구
이 도구 대신 사용할 수 있는 대안
