Experiential
누가 어느 모델을 얼마까지 쓸지 정하는 관제 게이트웨이
pip install experiential호스팅 모델과 직접 계약한 키, 로컬 모델을 하나의 OpenAI 호환 API 로 묶는 게이트웨이이자 라우터입니다. 특징은 통제 계층입니다. 어떤 사용자와 에이전트가 어떤 모델을 어떤 용도로 쓸 수 있는지, 얼마까지 쓸 수 있는지를 정합니다. 운영 트래픽을 모아서 품질과 속도, 비용에 맞춘 전용 라우터나 모델을 만드는 경로도 제공합니다. 처음 실행하면 설정 마법사가 제공자 연결을 잡고 공개 별칭과 신원, 기본 예산을 보여 준 뒤 일회용 키를 한 번 출력합니다. 로컬에서 돌리거나 호스팅 판을 씁니다.
판단
이럴 때 씁니다
- 사용자와 에이전트별로 쓸 수 있는 모델을 제한해야 할 때
- 지출 한도를 게이트웨이에서 강제해야 할 때
- 운영 트래픽으로 전용 라우터를 만들고 싶을 때
이럴 땐 쓰지 마세요
- 혼자 쓰면 통제 계층이 과합니다
- 판이 0.7.x 대라 구성이 바뀔 수 있습니다
- 설정 마법사가 출력하는 키를 놓치면 다시 발급해야 합니다
차별점
- 누가 어떤 모델을 어떤 용도로 얼마까지 쓸지 정하는 통제 계층이 중심입니다.
- 운영 트래픽을 모아 전용 라우터나 모델을 만드는 경로를 제공합니다.
- 로컬 게이트웨이와 호스팅 판이 같은 API 를 제공합니다.
- 코딩 도구에 넘겨 대신 설정하게 하는 안내문을 제공합니다.
워크플로
- 01패키지를 설치하고 실행합니다.
- 02설정 마법사에서 제공자를 연결합니다.
- 03공개 별칭과 예산을 확인합니다.
- 04출력된 일회용 키를 보관합니다.
- 05그 주소로 요청을 보내고 사용량을 확인합니다.
주요 명령
| 명령 | 설명 |
|---|---|
pip install experiential | 설치합니다. |
exp | 로컬 게이트웨이를 띄웁니다. 첫 실행에 설정 마법사가 돕니다. |
EXP_GATEWAY_KEY | 발급된 키를 환경 변수로 넣어 요청에 씁니다. |
함정
설치 전에 확인하세요
- 첫 실행에서 키를 한 번만 출력합니다. 놓치면 다시 발급해야 합니다.
- 기본 명령 예산이 정해진 값으로 설정됩니다. 그 한도를 모른 채 쓰면 중간에 막힙니다.
- 판이 0.7.x 대이고 게이트웨이 본체와 네이티브 데이터 플레인의 판이 따로 움직입니다.
- 제공자 쪽 응답 형태가 바뀌면 오류 표현이 어긋나는 경우가 있었습니다. 최근 판에서 원래 규격 형태로 드러나도록 고쳐졌습니다.
비교
게이트웨이 대부분은 라우팅과 비용 추적까지입니다. 이쪽은 권한과 예산을 정책으로 강제하는 쪽에 무게를 두고, 쌓인 트래픽을 라우터 학습에 쓰는 경로까지 이어 둡니다. 여러 사람이 함께 쓰는 환경에서 값이 나오는 구조입니다.
최근 변경
예산 때문에 잘린 함수 호출이 잘못된 오류 대신 미완성 상태로 드러나도록 바뀌었고 내용 필터로 잘린 경우도 거절 응답으로 나타납니다. 특정 모델에서 시간당 수백 건씩 나던 스트림 실패를 잡은 수정입니다.