사전 학습

사전 학습(Pre-training)은 대규모 비지도 데이터(인터넷 텍스트 등)를 사용하여 모델에 언어의 기본 구조, 사실적 지식, 추론 능력 등을 학습시키는 과정입니다. 이 단계에서 모델은 범용적인 언어 이해 및 생성 능력을 획득하며, 이후 파인튜닝을 통해 특정 작업에 맞게 조정됩니다. 수십억 개의 파라미터와 테라바이트 규모의 데이터가 필요하며, 수천 개의 GPU로 수주~수개월간 학습합니다.