Originally published at: LLM 메모리의 재구성: 컨텍스트를 학습 데이터로 활용해 테스트 타임에 스스로 학습하는 모델 - NVIDIA Technical Blog
요즘 LLM 소식에서는 대화 기록 전체나 수십 권의 책, 심지어 대규모 코드베이스까지 한 번에 처리할 수 있다는 방대한 컨텍스트 윈도우 사양이 빠지지 않고 강조됩니다. 하지만 이런 스펙이 무색하게도, 모델은 맥락을 제대로 유지하지 못해 실수를 반복합니다. 결국 사용자가 이전 대화 내용을 다시 복사해서 붙여넣어줘야 겨우 알아듣는 번거로움이 발생하는 것이죠. 상황에 맞춰 패턴을 파악하고 학습한 내용을 다음…