라이트LLM vs book-to-skill

라이트LLM 장단점

• OpenAI SDK 형식을 완벽하게 따르기 때문에 코드 한 줄만 바꾸면 수십 개의 모델을 자유롭게 교체할 수 있는 확장성이 독보적입니다. 로드 밸런싱과 폴백(Fallback) 기능이 매우 강력하여 특정 공급업체 장애 시 서비스 가용성을 즉각 확보할 수 있고, 가상 API 키(Virtual Key) 시스템을 통해 팀별 권한과 예산을 세밀하게 제어할 수 있습니다. 특히 오픈소스임에도 최신 모델 업데이트 속도가 매우 빠르며, 복잡한 프롬프트 포맷 변환을 내부적으로 자동 처리해주어 개발 시간을 획기적으로 단축해줍니다.

• 파이썬 기반 아키텍처로 인해 초당 요청수(RPS)가 300~500을 넘어서면 대기 시간이 급증하거나 성능이 저하되는 한계가 있습니다. 특히 라이브러리 임포트 시 모든 공급업체의 SDK를 한꺼번에 불러오기 때문에 서버리스 환경에서는 3~4초 이상의 심각한 '콜드 스타트' 문제가 발생할 수 있습니다. 또한 사용량이 많아져 로그 데이터가 100만 건 이상 쌓이면 데이터베이스 병목 현상으로 전체 API 응답이 느려지는 고질적인 이슈가 보고되고 있으며, SSO나 고급 RBAC 같은 기업용 핵심 기능은 유료 플랜인 엔터프라이즈 버전에서만 제공됩니다.

book-to-skill 장단점

• 긴 문서를 매번 전체 컨텍스트에 넣지 않아 토큰 사용량을 줄일 수 있음
• 여러 AI 코딩 에이전트 환경에서 동일한 스킬 형식을 사용 가능
• 문서 처리가 로컬에서 이루어져 데이터 업로드를 피할 수 있음
• 다양한 문서 형식과 여러 입력 소스를 지원

• AI 에이전트와 호스트 환경이 별도로 필요함
• 일부 PDF 및 문서 형식은 추가 추출기 설치가 필요함
• 스캔 PDF는 변환 전에 OCR 처리가 필요함

라이트LLM 주요 기능

• 100개 이상의 LLM 통합 API
• 실시간 비용 추적 및 예산 관리
• 자동 모델 폴백 및 로드 밸런싱
• PII 마스킹 및 가드레일
• Redis 기반 시맨틱 캐싱
• 태그 라우팅 보안 강화

book-to-skill 주요 기능

• 기술 서적과 문서 폴더를 구조화된 에이전트 스킬로 변환
• 장별 문서, 용어집, 패턴, 치트시트 자동 생성
• 필요한 장만 불러오는 온디맨드 로딩
• PDF, EPUB, DOCX, HTML, RTF, Markdown 등 지원
• GitHub Copilot CLI, Amp, Claude Code 호환
• 문서와 추출 과정을 로컬에서 처리