LoRA

LoRA(Low-Rank Adaptation)는 대규모 언어 모델의 파인튜닝을 효율적으로 수행하기 위한 기법입니다. 모델의 전체 파라미터를 수정하는 대신, 작은 크기의 저랭크(low-rank) 행렬을 기존 가중치에 추가하여 학습합니다. 이를 통해 학습해야 할 파라미터 수를 크게 줄여, 소비자급 GPU에서도 수십억 파라미터 모델의 파인튜닝이 가능해집니다. QLoRA는 양자화와 결합하여 메모리 사용량을 더욱 줄인 변형입니다.