프롬프트푸

프롬프트푸

Promptfoo

프롬프트와 모델의 성능을 체계적으로 비교 분석하는 개발자용 테스트 프레임워크

부분 무료WebCLIAPI오픈소스한국어LLM 기반멀티모달
웹사이트 방문하기promptfoo.dev

검증된 사실

최근 변경
2026-06-05 프롬프트푸는 버전 0.121.15를 출시하여 멀티모달 출력 채점, DAG 기반 아키텍처 검사, Azure MAI 프로바이더 지원을 추가했습니다. 소스: https://github.com/promp

2026-06-20 직접 확인 · 자동 검증 데이터

제품 화면

프롬프트푸 제품 화면

2026-06-20 확인

가격 정보

부분 무료시작 가격: Free (Community)

오픈 소스 버전(Community)은 무료로 제공되며 로컬 환경에서 무제한 평가가 가능합니다. 팀 협업, 관리형 클라우드 배포, 고급 보안 기능이 포함된 엔터프라이즈 플랜은 별도 문의를 통해 맞춤형 가격으로 제공됩니다.

가격표 확인하기

최근 업데이트와 소식

소개AI 요약

Promptfoo는 LLM 프롬프트의 품질을 테스트하고 평가하기 위한 CLI 기반 오픈소스 도구입니다. 여러 모델과 프롬프트 조합을 매트릭스 형태로 구성하여 성능을 비교하며, 결정론적 테스트와 AI 기반 평가를 통해 응답의 정확성, 안전성, 비용 등을 분석합니다. CI/CD 파이프라인에 통합하여 프롬프트 변경 시 발생할 수 있는 성능 저하를 사전에 방지할 수 있는 기능을 제공합니다.

활용 워크플로우

입력

promptfooconfig.yaml (선언적 설정 파일)다양한 LLM API 엔드포인트 (OpenAI, Claude, Ollama 등)테스트 데이터셋 (CSV, JSONL, YAML 파일)프롬프트 템플릿 (Nunjucks 기반 변수 처리)

프롬프트푸

프롬프트-모델 조합 매트릭스 생성 및 병렬 실행결정론적 Assertion 및 LLM-as-a-Judge 자동 채점에이전트 기반 레드팀 취약점 자동 스캔 (50+ 유형)로컬 데이터 캐싱을 통한 API 비용 최적화 및 고속 처리

출력

인터랙티브 웹 UI 비교 리포트 (Side-by-Side View)레드팀 보안 취약점 진단 및 컴플라이언스 보고서CI/CD 파이프라인용 Pass/Fail 상태 및 JUnit 결과물GitHub Pull Request 상세 비교 코멘트

레드팀(Red-teaming) 보안 분석가 경로

프롬프트 인젝션, 탈옥, PII 유출 등 50개 이상의 취약점 카테고리를 대상으로 에이전트 기반 공격 시뮬레이션을 수행하고 보안 등급을 산출합니다.

CI/CD 자동화 및 QA 엔지니어 경로

GitHub Actions 연동을 통해 코드 변경 시 프롬프트 성능 저하(Regression)를 자동으로 감지하고, 설정된 임계값 미달 시 배포를 차단합니다.

최적 모델 선정을 위한 벤치마킹 경로

동일한 데이터셋에 대해 GPT-5, Claude 4, 오픈소스 모델들을 동시에 테스트하여 비용과 지연 시간 대비 최고 성능의 모델을 데이터 기반으로 선정합니다.

핵심 차별점: 로컬 캐싱 기반의 초고속 테스트 실행과 업계 표준 레드팀 스캔 기능을 결합하여, 프롬프트의 품질과 보안을 CI/CD 파이프라인에서 선언적으로 관리하는 개발자 중심 프레임워크입니다.

주요 기능AI 요약

  • GPT, Claude, Gemini, DeepSeek 등 멀티 모델 동시 성능 벤치마킹
  • 프롬프트 인젝션·PII 유출 등 50가지 이상 취약점 레드팀 스캐닝
  • GitHub Actions·GitLab CI 연동 자동 회귀 테스트
  • LLM-as-judge 방식 AI 기반 출력 품질 평가
  • JSON 스키마·비용·지연 시간 임계값 단언(Assertion) 설정
  • 에이전트 및 RAG 파이프라인 테스트 지원
  • Transformers.js 로컬 추론 및 적응형 레이트 리미팅(2026)

활용 사례AI 요약

  • 프롬프트 변경 전후 성능 회귀를 CI/CD에서 자동 차단
  • 여러 LLM 모델의 응답 품질·비용·속도 매트릭스 비교
  • 에이전트 시스템의 보안 취약점 및 탈옥 가능성 점검
  • RAG 파이프라인의 답변 정확도 및 컨텍스트 충실도 측정

사용자 리뷰

리뷰를 불러오는 중...

대안 도구

이 도구 대신 사용할 수 있는 대안

클로바 AI

클로바 AI

유료

Naver

4.81

한국어와 국내 맥락에 최적화된 하이퍼클로바 X로 AI 서비스를 개발·배포하는 통합 플랫폼

무료 플랜
고객 서비스
애스크코디

애스크코디

부분 무료
4.81

코드 생성부터 테스트, 문서화까지 개발 전 과정을 지원하는 멀티 모델 기반 AI 코딩 어시스턴트

무료 플랜
코딩 및 개발자 도구
컨티뉴

컨티뉴

부분 무료
4.88

IDE 안에서 원하는 LLM을 선택해 코드 맥락을 제어하는 오픈소스 AI 코딩 어시스턴트

★ 31.3K무료 플랜API오픈소스
코드 생성
세레브라스

세레브라스

부분 무료
4.81

세계 최대 크기의 AI 전용 칩으로 기존 GPU보다 수십 배 빠른 초고속 LLM 추론 환경을 제공하는 API 플랫폼

★ 3무료 플랜API
LLM
블랙박스 AI

블랙박스 AI

부분 무료
4.82

여러 AI 모델을 골라 쓰고 2억 개 이상의 저장소를 검색하며 실시간 자동완성까지 제공하는 AI 코딩 어시스턴트

무료 플랜
코딩 및 개발자 도구
그록

그록

부분 무료
4.81

자체 LPU 칩으로 오픈소스 모델을 빠르게 돌리는 추론 전용 클라우드 플랫폼입니다. GPU 기반 서비스보다 초당 토큰 생성량이 높고 첫 응답까지의 지연이 짧은 점이 핵심입니다.

★ 1.5K무료 플랜API
AI 챗봇/언어 모델