OmniRoute

무료 티어를 모아 한 엔드포인트로 내주는 AI 게이트웨이

npm install -g omniroute

여러 제공자의 무료 티어를 손으로 쌓는 대신 하나의 OpenAI 호환 엔드포인트로 모아 주는 게이트웨이입니다. 키를 넣지 않은 상태에서도 model 을 auto 로 두면 바로 응답이 옵니다. 카탈로그가 34개 반복 풀에 걸친 무료 티어 항목을 정리해 두고, 월 예산이 공개된 풀만 골라 중복을 제거한 뒤 남은 양을 대시보드에 계속 띄웁니다. 제공자 할당량을 보고 자동으로 다른 곳으로 넘기며, 압축을 붙여 토큰을 줄입니다. 클로드 코드, 코덱스, 커서, 오픈코드, 클라인, 코파일럿에서 그대로 붙습니다.

판단

이럴 때 씁니다

  • 여러 제공자의 무료 티어를 손으로 관리하기 벅찰 때
  • 한 제공자의 한도가 차면 자동으로 다른 곳으로 넘기고 싶을 때
  • 클로드 코드나 코덱스 같은 도구를 여러 모델에 붙여 보고 싶을 때

이럴 땐 쓰지 마세요

  • 단일 제공자와 계약해 안정적으로 쓰고 있다면 계층이 하나 늘 뿐입니다
  • 무료 티어 수치는 2주마다 다시 재고 오르내리므로 용량을 전제로 설계하면 위험합니다
  • 지연 시간을 밀리초 단위로 관리해야 하는 경로에는 게이트웨이가 부담입니다

차별점

  • 키 없이 설치 직후부터 auto 모델로 응답이 옵니다.
  • 무료 티어를 풀 단위로 중복 제거해 계산하고 근거를 문서로 공개합니다.
  • 할당량을 보고 자동으로 다른 제공자로 넘기는 스케줄링이 들어 있습니다.

워크플로

  1. 01전역으로 설치하고 게이트웨이를 띄웁니다.
  2. 02키를 넣지 않아도 model 을 auto 로 두면 무료 백엔드로 바로 응답이 옵니다.
  3. 03쓰는 도구의 기본 URL 을 로컬 게이트웨이로 바꿔 붙입니다.
  4. 04대시보드의 무료 티어 화면에서 남은 양과 할당량 상태를 확인합니다.

주요 명령

명령설명
npm install -g omniroute게이트웨이를 전역 설치합니다.
omniroute기본 포트 20128 로 게이트웨이를 띄웁니다.
curl http://localhost:20128/v1/chat/completions -d '{"model":"auto","messages":[]}'설정 없이 응답이 오는지 확인합니다.

함정

설치 전에 확인하세요

  • 무료 티어 총량은 카탈로그가 계산한 값이고 2주마다 다시 잽니다. 제공자가 무료 티어를 닫으면 내려가므로 고정 용량으로 보면 안 됩니다.
  • 지역 신원 확인을 거쳐야 열리는 할당량은 총량에 넣지 않고 따로 표시합니다. 화면의 숫자와 실제 쓸 수 있는 양이 다를 수 있습니다.
  • 제공자가 350개를 넘어가면서 모델 ID 도 1300개대입니다. auto 에 맡기지 않고 특정 모델을 고정하려면 어느 백엔드로 가는지 확인해야 합니다.

비교

게이트웨이 대부분은 키를 넣어야 첫 응답이 나옵니다. 이쪽은 무료 티어를 카탈로그로 관리해서 설치 직후에 바로 쓰이는 대신, 그 무료 용량이 제공자 정책에 따라 오르내립니다. 안정적인 처리량이 필요하면 유료 키를 함께 물려 두고 폴백으로 쓰는 편이 맞습니다.

최근 변경

3.8.50 에서 제공자가 290개에서 352개로, 모델 ID 가 1185개에서 1312개로 늘었습니다. 비전과 오디오, 비디오를 다루는 모달리티 브리지와 선택형 무료 카탈로그 레이더가 새로 들어갔고, 할당량을 나눠 쓰는 스케줄링과 실시간 할당량 텔레메트리가 추가됐습니다. 이번 주기에 248명이 1714개 커밋을 넣었습니다.

공식 변경 내역