포트키

포트키

Portkey

100개 이상의 LLM을 통합 관리하고 안정적인 AI 서비스를 구축하는 게이트웨이

부분 무료WebAPISDK오픈소스LLM 기반멀티모달
웹사이트 방문하기portkey.ai
jcode와(과) 비교하기포트키 대안 모아보기

소개

Portkey는 프로덕션 AI 시스템을 구축·확장하는 팀을 위한 AI 게이트웨이 및 옵저버빌리티 플랫폼입니다. 2026년 3월 게이트웨이를 완전 오픈소스로 공개하고, 기존 SaaS 전용이었던 거버넌스·인증·비용 제어 기능까지 모두 개방하였습니다. 일일 1조 토큰·1억 2천만 건 이상의 AI 요청을 처리하며, 24,000개 이상 조직이 사용합니다. 2026년 4월 Palo Alto Networks의 인수 의향 발표가 있었습니다.

활용 워크플로우

입력

Portkey Unified SDK/REST API 요청가상 키(Virtual Keys) 및 공급자 인증 정보프롬프트 관리자(Prompt Library) 템플릿커스텀 메타데이터 및 추적 ID(Trace ID)

포트키

공급자 로드 밸런싱 및 지능형 라우팅시맨틱 캐싱(Semantic Caching) 기반 중복 요청 처리가드레일(Guardrails)을 통한 PII 마스킹 및 유해성 검사자동 재시도(Retries) 및 전략적 폴백(Fallbacks) 실행실시간 관측성 데이터 로깅 및 트레이싱

출력

최적화된 LLM 응답 및 메타데이터실시간 비용 및 성능 대시보드 리포트OpenTelemetry 기반 추적 로그버전 관리된 프롬프트 스냅샷

서비스 가용성 최적화(Resilience Strategy)

특정 LLM 공급자의 속도 제한(Rate Limit)이나 장애 발생 시, 코드 수정 없이 즉시 백업 모델로 요청을 전환하여 서비스 가용성을 유지합니다.

PromptOps 워크플로우

애플리케이션 코드와 프롬프트를 분리하여, 스타트업 CTO나 AI 엔지니어가 대시보드에서 실시간으로 프롬프트를 실험하고 A/B 테스트를 수행합니다.

보안 및 컴플라이언스(Governance)

엔터프라이즈 개발자가 정의한 규칙에 따라 민감 정보를 자동 필터링하거나, 허용되지 않은 응답 패턴을 차단하여 보안 가이드라인을 준수합니다.

핵심 차별점: 단일 API 엔드포인트로 200개 이상의 LLM을 제어하며, 자동 폴백과 시맨틱 캐싱을 통해 운영 비용 절감과 엔터프라이즈급 안정성을 동시에 제공합니다.

주요 기능

  • AI 게이트웨이 — 250개 이상 LLM을 단일 API로 통합 관리
  • 완전 오픈소스 전환(2026-03) — 거버넌스·옵저버빌리티·비용 제어 모두 오픈소스화
  • MCP 게이트웨어 — 엔터프라이즈 AI 에이전트를 도구 전반에서 통합 관리
  • 실시간 옵저버빌리티 — LLM 호출 로그·비용·지연 시간 모니터링
  • 폴백·재시도·로드밸런싱 — 프로덕션 AI 안정성 보장

장점 & 단점

웹검색을 통해 수집된 사용자 피드백 정보입니다

장점

  • 매우 빠른 응답 속도(초저지연 게이트웨이)를 자랑하며, LangChain 등 주요 프레임워크와의 통합이 매끄럽습니다. 특히 엔터프라이즈 환경에서 필요한 안정성 기능이 풍부합니다.

단점

  • 기능이 방대하여 초기 설정 시 학습 곡선이 존재할 수 있으며, 복잡한 가드레일 설정 시 추가적인 지연 시간이 발생할 수 있습니다.

가격 정보

부분 무료시작 가격: Free / $49/mo (Production)

무료 플랜은 월 1만 건의 로그 기록을 제공한다. Pro 플랜은 월 $25부터 시작하며 10만 건의 로그가 포함되고 초과 시 10만 건당 $9의 추가 비용이 발생한다. 엔터프라이즈 플랜은 월 1,000만 건 이상의 대규모 로그 처리를 지원하며 별도 문의가 필요하다.

가격표 확인하기

정보 확인일:

활용 사례

  • 멀티 LLM 프로덕션 AI 시스템 구축 및 운영
  • AI 에이전트 비용·성능 모니터링 및 거버넌스
  • LLM 공급업체 장애 시 자동 폴백 처리
  • 엔터프라이즈 AI 지출 관리 및 감사

대상 사용자

AI 엔지니어플랫폼 엔지니어엔터프라이즈 AI 팀

연동 서비스

LangChainLlamaIndexOpenAIAzureAWS

태그

AI 게이트웨이LLMOps관측성프롬프트 엔지니어링안정성

최근 소식

확인된 변경 내역

사용자 리뷰

리뷰를 불러오는 중...

대안 도구

이 도구 대신 사용할 수 있는 대안