Originally published at: https://developer.nvidia.com/ko-kr/blog/introducing-dora-a-high-performing-alternative-to-lora-for-fine-tuning/
전체 파인 튜닝(FT)은 일반적으로 특정 다운스트림 작업에 맞게 미리 학습된 일반 모델을 조정하는 데 사용됩니다. 학습 비용을 줄이기 위해 최소한의 파라미터로 사전 학습된 모델을 미세 튜닝하는 파라미터 효율적 미세 튜닝(PEFT) 방법이 도입되었습니다. 이 중 낮은 순위 적응(LoRA)과 그 변형은 추가 추론 비용을 피할 수 있어 상당한 인기를 얻고 있습니다. 그러나 이러한 방법과 완전한 파인 튜닝…