그록
Groq
자체 LPU 칩으로 오픈소스 모델을 빠르게 돌리는 추론 전용 클라우드 플랫폼입니다. GPU 기반 서비스보다 초당 토큰 생성량이 높고 첫 응답까지의 지연이 짧은 점이 핵심입니다.
검증된 사실
- 라이브 가격
- Free · 무료2026-06-15 확인
- 최신 버전
- v1.4.0 (Python SDK)
- GitHub
- ★ 1,487
- 최근 변경
- 2026-06-17 GroqCloud에서 llama-3.1-8b-instant, llama-3.3-70b-versatile, qwen3-32b, llama-4-scout-17b 등 여러 모델의 지원 종료(deprec
2026-06-15 직접 확인 · 자동 검증 데이터
제품 화면
2026-06-15 확인
도구 선택 가이드
그록은 자체 LPU 칩으로 오픈소스 모델을 빠르게 돌리는 추론 전용 클라우드 플랫폼입니다. GPU 기반 서비스보다 초당 토큰 생성량이 높고 첫 응답까지의 지연이 짧은 점이 핵심입니다. 특히 GPU의 메모리 대역폭 병목을 우회하도록 설계한 추론 전용 LPU 칩을 직접 만들어 씁니다.
추천 대상
- 같은 오픈 모델을 GPU 기반 서비스에서 돌릴 때보다 초당 토큰 생성량이 높습니다
- 추론 작업에 맞춘 모델별 종량제로, 1M 토큰당 단가가 미리 공개되어 비용 계산이 명확합니다
- 첫 토큰까지 걸리는 시간(TTFT)이 짧아 실시간 대화형 서비스에 적합합니다
피해야 할 경우
- GPT-4와 같은 폐쇄형 모델은 사용할 수 없음
- 플랫폼에서 지원하는 특정 오픈 소스 모델로 활용 범위 제한
- 무료 티어 사용 시 엄격한 속도 및 요청 제한 적용
가격 정보
Groq Cloud는 토큰당 종량제로 청구되며, 394~1,000 TPS의 초고속 추론을 제공합니다. 모델별 1M 토큰 기준: Llama 3.1 8B Instant 입력 $0.05/출력 $0.08(840 TPS), GPT OSS 20B 입력 $0.075/출력 $0.30(1,000 TPS), Llama 3.3 70B 입력 $0.59/출력 $0.79(394 TPS). 추가로 TTS는 1M 문자당 $22~, Whisper 음성 인식은 시간당 $0.04-$0.111, Built-in 도구(검색·코드 실행)는 1,000 요청당 $0.18-$8입니다. 프롬프트 캐시는 50% 할인, Batch API는 비동기 워크로드 50% 할인이며 Free tier도 제공합니다.
활용 사례AI 요약
지연 시간이 거의 없는 실시간 고객 지원 챗봇
대규모 텍스트 데이터의 고속 요약 및 분류
초고속 실시간 음성 인식(Whisper) 및 번역 서비스
최근 업데이트와 소식
- 파트너십엔비디아, 그로크(Groq) 손잡고 삼성 파운드리 생산량 늘려 추론 AI 목표 - CHOSUNBIZ - 조선비즈
엔비디아가 그로크(Groq)와 협력하여 삼성 파운드리를 통한 추론용 AI 칩 생산을 확대합니다.
- 파트너
- Nvidia × Samsung Foundry
근거: 엔비디아, 그로크(Groq) 손잡고 삼성 파운드리 생산량 늘려 추론 AI 목표
- 버전 업데이트NVIDIA, GTC 2026서 'Groq 3 LPU' 추론 칩 공개
NVIDIA가 GTC 2026에서 200억 달러 Groq 계약의 첫 결과물인 추론 전용 칩 Groq 3 LPU를 공개했습니다. Vera Rubin NVL72와 결합 시 Blackwell NVL72 대비 메가와트당 처리량 35배, 토큰 100만당 45달러 목표를 제시했습니다.
근거: [APPROX_DATE] IEEE Spectrum/Techzine: 'Nvidia's Groq 3 LPU targets agentic AI inference at GTC 2026' (March 2026, 정확 일자 미상)
- 파트너십NVIDIA, Groq LPU 추론 아키텍처 200억 달러 라이선스 — 창업자 영입
NVIDIA가 2025년 12월 24일 Groq의 LPU 추론 아키텍처를 약 200억 달러 규모 비독점 라이선스 계약으로 확보했습니다. 창업자 Jonathan Ross와 Sunny Madra가 NVIDIA로 이동하고 Simon Edwards가 Groq 신임 CEO가 됐습니다.
근거: 검색 종합: 'On December 24, 2025, Nvidia announced a non-exclusive licensing deal worth roughly $20 billion for Groq's LPU inference architecture'
소개AI 요약
차별점AI 요약
- GPU의 메모리 대역폭 병목을 우회하도록 설계한 추론 전용 LPU 칩을 직접 만들어 씁니다
- 동급 추론 서비스와 비교해 초당 처리량(TPS)이 수백~1,000 TPS 수준으로 높습니다
- OpenAI 호환 API를 그대로 받아서, 코드 변경 없이 엔드포인트만 바꿔 마이그레이션할 수 있습니다
활용 워크플로우
입력
그록
출력
실시간 음성 에이전트 워크플로우
Whisper Large V3 Turbo를 활용해 수 초 분량의 오디오를 밀리초 단위로 텍스트화하여 즉각적인 대화형 AI 서비스 구현
대규모 지식 베이스 RAG 최적화
Llama 3.3 70B 모델의 높은 처리량을 이용해 방대한 컨텍스트 내에서 필요한 정보를 지연 시간 없이 추출 및 요약
에이전틱 워크플로우 통합
Groq Compound 시스템을 통해 웹 검색, 코드 실행 등 외부 도구를 자동 선택하고 병렬로 처리하는 복합 추론 경로
핵심 차별점: 전용 LPU 칩과 SRAM 기반 아키텍처로 메모리 병목을 제거하여, 기존 GPU 대비 수십 배 빠른 토큰 생성 속도와 일정한 지연 시간을 보장합니다.
주요 기능AI 요약
- LPU 기반 저지연 추론 인프라
- OpenAI 호환 API
- Llama, GPT-OSS, Qwen, Kimi, MiniMax 등 주요 오픈 모델 지원
- 텍스트 생성, 음성 인식, 음성 합성, OCR 지원
- Remote MCP와 커넥터 기반 외부 도구 연동
- 프롬프트 캐싱과 배치 처리 할인 옵션
장점 & 단점AI 분석
공식 정보와 공개 피드백을 함께 정리한 참고 메모입니다
장점
- 같은 오픈 모델을 GPU 기반 서비스에서 돌릴 때보다 초당 토큰 생성량이 높습니다
- 추론 작업에 맞춘 모델별 종량제로, 1M 토큰당 단가가 미리 공개되어 비용 계산이 명확합니다
- 첫 토큰까지 걸리는 시간(TTFT)이 짧아 실시간 대화형 서비스에 적합합니다
- 성능 확인과 소규모 개발용으로 무료 티어를 쓸 수 있습니다
- 장기적인 운영 비용(토큰당 비용) 절감 효과
- 경쟁사 GPU 대비 압도적으로 빠른 LLM 추론 속도
- 예측 가능한 성능을 보장하는 결정론적(Deterministic) 아키텍처
- 기존 GPU 솔루션 대비 우수한 에너지 효율성
단점
- GPT-4와 같은 폐쇄형 모델은 사용할 수 없음
- 플랫폼에서 지원하는 특정 오픈 소스 모델로 활용 범위 제한
- 무료 티어 사용 시 엄격한 속도 및 요청 제한 적용
- AI 모델 학습(Training)이 아닌 추론(Inference)에만 특화됨
- GPU 대비 범용성이 떨어져 다양한 연산 작업에는 부적합
- 칩당 메모리 용량이 적어 대형 모델 구동 시 많은 칩 연결 필요
- Nvidia CUDA 생태계에 비해 상대적으로 작은 개발자 커뮤니티
- 무료 티어 사용량 제한 및 고급 기능의 학습 곡선 존재
사용자 리뷰
리뷰를 불러오는 중...
대안 도구
이 도구 대신 사용할 수 있는 대안
파이어웍스 AI
Llama·Mistral·DeepSeek 같은 오픈 모델을 자체 FireAttention 엔진으로 서빙하고, 같은 플랫폼에서 파인튜닝과 배포까지 묶어 처리하는 추론 인프라입니다. OpenAI 호환 API라 기존 코드 수정이 거의 없습니다.
AI2SQL
자연어 질문을 최적화된 SQL로 변환하고 DB 구조를 시각화하는 지능형 SQL 작성 도구
모달
인프라 설정 없이 파이썬 코드를 즉시 고성능 GPU 클라우드에서 실행하고 확장하는 서버리스 개발 플랫폼
애니스케일
오픈소스 Ray를 기반으로 대규모 AI 모델의 학습과 배포를 자동화하고 클러스터 규모를 자동으로 늘렸다 줄이는 분산 컴퓨팅 플랫폼
클로바 AI
Naver
한국어와 국내 맥락에 최적화된 하이퍼클로바 X로 AI 서비스를 개발·배포하는 통합 플랫폼
애스크코디
코드 생성부터 테스트, 문서화까지 개발 전 과정을 지원하는 멀티 모델 기반 AI 코딩 어시스턴트