그록
Groq
자체 개발한 LPU를 통해 오픈소스 모델을 압도적인 속도로 구동하는 초고속 AI 추론 플랫폼
소개
활용 워크플로우
입력
그록
출력
실시간 음성 에이전트 워크플로우
Whisper Large V3 Turbo를 활용해 수 초 분량의 오디오를 밀리초 단위로 텍스트화하여 즉각적인 대화형 AI 서비스 구현
대규모 지식 베이스 RAG 최적화
Llama 3.3 70B 모델의 높은 처리량을 이용해 방대한 컨텍스트 내에서 필요한 정보를 지연 시간 없이 추출 및 요약
에이전틱 워크플로우 통합
Groq Compound 시스템을 통해 웹 검색, 코드 실행 등 외부 도구를 자동 선택하고 병렬로 처리하는 복합 추론 경로
핵심 차별점: 전용 LPU 칩과 SRAM 기반 아키텍처로 메모리 병목을 제거하여, 기존 GPU 대비 수십 배 빠른 토큰 생성 속도와 일정한 지연 시간을 보장합니다.
주요 기능
장점 & 단점
웹검색을 통해 수집된 사용자 피드백 정보입니다
장점
- 장기적인 운영 비용(토큰당 비용) 절감 효과
- 경쟁사 GPU 대비 압도적으로 빠른 LLM 추론 속도
- 예측 가능한 성능을 보장하는 결정론적(Deterministic) 아키텍처
- 기존 GPU 솔루션 대비 우수한 에너지 효율성
- 실시간 음성 및 대화형 AI 서비스에 최적화된 초저지연 성능
- OpenAI API와 호환되는 사용하기 쉬운 클라우드 API 제공
단점
- AI 모델 학습(Training)이 아닌 추론(Inference)에만 특화됨
- GPU 대비 범용성이 떨어져 다양한 연산 작업에는 부적합
- 칩당 메모리 용량이 적어 대형 모델 구동 시 많은 칩 연결 필요
- Nvidia CUDA 생태계에 비해 상대적으로 작은 개발자 커뮤니티
- 무료 티어 사용량 제한 및 고급 기능의 학습 곡선 존재
가격 정보
Groq Cloud는 토큰당 종량제로 청구되며, 394~1,000 TPS의 초고속 추론을 제공합니다. 모델별 1M 토큰 기준: Llama 3.1 8B Instant 입력 $0.05/출력 $0.08(840 TPS), GPT OSS 20B 입력 $0.075/출력 $0.30(1,000 TPS), Llama 3.3 70B 입력 $0.59/출력 $0.79(394 TPS). 추가로 TTS는 1M 문자당 $22~, Whisper 음성 인식은 시간당 $0.04-$0.111, Built-in 도구(검색·코드 실행)는 1,000 요청당 $0.18-$8입니다. 프롬프트 캐시는 50% 할인, Batch API는 비동기 워크로드 50% 할인이며 Free tier도 제공합니다.
활용 사례
- 실시간 대화형 AI 에이전트 구축
- 대규모 문서 데이터 실시간 배치 분석
- 지연 시간에 민감한 금융/법률 데이터 처리
- 실시간 음성 인식 및 번역 서비스
대상 사용자
연동 서비스
태그
최근 소식
- 파트너십엔비디아, 그로크(Groq) 손잡고 삼성 파운드리 생산량 늘려 추론 AI 목표 - CHOSUNBIZ - 조선비즈
엔비디아가 그로크(Groq)와 협력하여 삼성 파운드리를 통한 추론용 AI 칩 생산을 확대합니다.
- 파트너
- Nvidia × Samsung Foundry
근거: 엔비디아, 그로크(Groq) 손잡고 삼성 파운드리 생산량 늘려 추론 AI 목표
- 버전 업데이트NVIDIA, GTC 2026서 'Groq 3 LPU' 추론 칩 공개
NVIDIA가 GTC 2026에서 200억 달러 Groq 계약의 첫 결과물인 추론 전용 칩 Groq 3 LPU를 공개했습니다. Vera Rubin NVL72와 결합 시 Blackwell NVL72 대비 메가와트당 처리량 35배, 토큰 100만당 45달러 목표를 제시했습니다.
근거: [APPROX_DATE] IEEE Spectrum/Techzine: 'Nvidia's Groq 3 LPU targets agentic AI inference at GTC 2026' (March 2026, 정확 일자 미상)
- 파트너십NVIDIA, Groq LPU 추론 아키텍처 200억 달러 라이선스 — 창업자 영입
NVIDIA가 2025년 12월 24일 Groq의 LPU 추론 아키텍처를 약 200억 달러 규모 비독점 라이선스 계약으로 확보했습니다. 창업자 Jonathan Ross와 Sunny Madra가 NVIDIA로 이동하고 Simon Edwards가 Groq 신임 CEO가 됐습니다.
근거: 검색 종합: 'On December 24, 2025, Nvidia announced a non-exclusive licensing deal worth roughly $20 billion for Groq's LPU inference architecture'
사용자 리뷰
리뷰를 불러오는 중...
대안 도구
이 도구 대신 사용할 수 있는 대안
