Retrieval Augmented Fine-Tuning(RAFT)의 컨셉

• 논문명: RAFT: Adapting Language Model to Domain Specific RAG(2024, UC Berkeley)
• 대상: LLM application, Open-domain QA x, Domain-specific QA
• “How do we adapt pre-trained LLMs for Retrieval Augmented Generation(RAG) in specialized domains? 질문에 대해 연구한 논문

기존 접근법 (Adapting LLMs to specialized domains)

1️⃣ in-context learning through RAG(Retrieval-Augmented Generation)

• 공부(studying)를 하나도 안 하고 open-book으로 보는 시험
  1. (장점) 문서들을 참조(refer)하여 답변할 수 있게 해준다
  2. (단점) 고정된 도메인 설정 하에서 추론 시 문서들에 초기 접근(early access)을 이용할 수 없음 (= 학습 단계에서 모델이 해당 도메인에 더 깊이 적응(adapt)하고 학습할 기회가 제한적)

2️⃣ supervised fine-tuning

• 입력 문서를 직접 **암기(memorizing)**하거나 문서를 **참조(refer)**하지 않고, 연습 질문에 답함으로써 **공부(studying)**하고 closed-book으로 보는 시험
  1. (장점) 문서들에 대한 제너럴한 패턴을 학습할 기회를 제공하며, end 단의 태스크에서 사용자의 preference를 더 잘 align할 수 있다(+ 최근 DPO(Direct Preference Optimization)으로 더 쉽게!)
  2. (단점) 추론 시 문서들을 활용할 수 없음(RAG 사용하지 않을 때), 학습 중 검색(retrieval) 프로세스에서의 불완전성을 고려하지 못함

제안 접근법 (RAFT)

• Instruction fine-tuning(IFT)와 Retrieval augumented generation(RAG)의 결합
• 목표: fine-tuning을 통해 domain 특화 지식을 학습 시킴 + 산만하게(distracting) 검색된 정보에 대한 robustness를 보장함
• 구성 요소
  1. 사용자의 질문 (question prompt)
  2. 검색된 문서들 (domain-specific documents)
     • **golden** 문서와 **distractor** 문서로 구분하여 구성
       • (참고) disctractor 문서의 개수에 대한 민감도 분석 → 5장
  3. 정답 답변을 포함한 모델 응답 (right answer)
     • ❗️COT(Chain-Of-Thought) reasoning을 포함시킴
• Supervised Fine-tuning(with RAG/withtout RAG) 성능 능가, in-domain RAG에서 사전학습된 LLMs의 성능을 끌어올리는 테크닉 제시

3가지 관점

1. Closed-Book Exam (2️⃣)
   • 사전학습과 파인튜닝 동안 구운(baked) 지식을 사용자의 prompt에 응답하기 위해 활용
2. Open Book Exam (1️⃣)
   • 외부 정보 소스를 참고 가능(website, book chapter)
   • 사용자의 prompt와 결합되는 검색된 k개의 문서가 쌍을 이룸
   • 즉, LLM의 성능은 retriever의 성능(리트리버가 얼마나 가장 관련있는 정보를 정확하게 식별할 수 있는지)에 크게 좌우됨