Future AGI

평가와 관측, 가드레일, 게이트웨이를 한 순환에 묶은 플랫폼

pip install ai-evaluation

모델 애플리케이션을 평가하고 관측하고 개선하는 과정을 한 플랫폼의 순환으로 묶은 오픈소스 도구입니다. 출시 전에 극단 사례를 시뮬레이션하고, 운영 중에 무슨 일이 벌어지는지 평가하고, 실시간으로 사용자를 보호하고, 남은 기록을 다음 판의 신호로 되돌립니다. 평가와 관측, 가드레일을 각각 다른 도구로 이어 붙이던 구성을 하나로 합치겠다는 것이 목표입니다. 게이트웨이는 고로 만들어 성능 수치를 공개하고 그 근거가 되는 벤치마크 도구를 저장소에 함께 넣었습니다. 평가자와 프롬프트, 기록이 전부 들여다보이는 구조라고 밝히고 있습니다.

판단

이럴 때 씁니다

  • 평가와 관측, 가드레일을 각각 다른 도구로 붙이는 게 부담일 때
  • 출시 전에 극단 사례를 시뮬레이션해야 할 때
  • 게이트웨이 지연을 눌러야 하는 운영 환경일 때

이럴 땐 쓰지 마세요

  • 야간 배포 판이라 거친 부분이 있다고 저장소가 직접 밝히고 있습니다
  • 자체 호스팅은 도커 전체 스택을 띄웁니다
  • 이미 관측 도구가 자리 잡았다면 겹칩니다

차별점

  • 시뮬레이션과 평가, 보호, 감시, 최적화를 한 순환으로 묶습니다.
  • 평가자와 프롬프트, 기록이 전부 열려 있어 채점 근거를 확인할 수 있습니다.
  • 고로 만든 게이트웨이의 성능 수치를 재현 가능한 벤치마크와 함께 공개합니다.
  • 표준 추적 규격과 OpenAI 호환 경로로 기존 스택에 끼워 넣습니다.

워크플로

  1. 01클라우드로 시험하거나 도커로 전체 스택을 띄웁니다.
  2. 02SDK 를 설치해 애플리케이션에 붙입니다.
  3. 03평가 기준과 데이터셋을 만듭니다.
  4. 04출시 전에 시뮬레이션을 돌립니다.
  5. 05운영 중 기록을 다음 판의 개선 신호로 되돌립니다.

주요 명령

명령설명
pip install ai-evaluation평가 SDK 를 설치합니다.
git clone https://github.com/future-agi/future-agi자체 호스팅용 저장소를 받습니다. 도커가 미리 준비돼 있어야 합니다.

함정

설치 전에 확인하세요

  • 현재 배포가 초기 시험용 야간 판이라고 상단에 경고가 붙어 있습니다. 안정판은 준비 중입니다.
  • 자체 호스팅은 도커와 컴포즈가 먼저 준비돼야 설치 스크립트가 돕니다.
  • 공개한 성능 수치는 특정 사양 기준입니다. 저장소에 벤치마크 도구를 함께 넣어 두었으니 직접 재 보는 것이 확인 방법입니다.
  • 한 플랫폼이 여러 역할을 겸합니다. 그만큼 이 도구가 멈추면 평가와 보호가 동시에 멈춥니다.

비교

이 영역은 평가 도구와 관측 도구, 가드레일 도구를 각각 골라 이어 붙이는 것이 보통입니다. 이쪽은 그 조립을 없애고 하나의 순환으로 만들겠다는 접근입니다. 대신 아직 초기 판이고 한 플랫폼에 의존이 몰립니다.

최근 변경

오류 목록에 어느 경로에서 나온 것인지 표시하는 식별자가 붙었습니다. 판이 하루 단위로 올라가는 중입니다.

공식 변경 내역