패스트캠퍼스 환급챌린지 23일차 : RAG특화모델 사례 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

*_1. 학습 인증샷 4장 이상 포함
*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장

② 오늘자 날짜, 공부 종료 시각 포함 사진 1장

③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장

④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)

2. 학습 후기 700자 이상 (공백 제외)

RAFT 논문

• 사용자의 질문과 연관된 문서와 정답이 연관이 없는 문서를 섞어서 검색결과를 가정하고 데이터셋을 구축
• 이때 연관이 없는 문서들을 negative documents라고 하면 학습에 도움을 줌
  • Fine-tuning시 답변과 관련 없는 정보를 식별하는 능력을 향상시키기 때문

파인 튜닝 전 후 비교

• 파인튜닝 전, 후 LLAMA2의 RAG 성능 차이는 매우 크게 남
• LLAMA2-7B를 파인 튜닝한 것이 GPT-3.5에 RAG를 한 것보다 성능이 더 좋음

효과적인 프롬프트

• 원문을 인용하게 답변하게 하면 성능 Up
• 원문을 인용해야 하므로 할루시네이션 억제
• 일종의 Chain of Thought 프롬프트 엔지니어링
• Fine-tuning 시에도 원문 인용을 강제하면 좋음

RAG 프롬프트 : 검색결과를 바탕으로 질문에 대한 답변 생성

• RAG프롬프트에 대한 ‘가장 기본적인’ 지침

1. RAG프롬프트에는 반드시 검색 결과가 있어야 함 (필수)
2. RAG프롬프트에는 사용자의 질문 또한 있어야 함 (필수)
3. RAG에는 반드시 질문에 대한 답이 검색 결과에 없는 경우에 대한 시나리오가 대응 될 수 있어야 함
   • 이를 위한 방법 중 하나는 프롬프트에다가 검색 결과에 질문에 대한 답이 없을 경우, 답변을 거부하도록 하는 것 (권장)

Cohere의 RAG 모델 답변 예시

• Cohere RAG 모델은 답변을 할 때, 정보가 언급되는 구간마다 해당 정보의 출처가 되는 문서의 번호를 남기는 방식을 사용
• 사용자가 출처를 확인하기 용이하고, 할루시네이션을 감소하는 효과

Orion-14B RAG 파인튜닝 모델 / GPT-4의 Web 검색

• 많은 RAG 특화 모델들이 답변 작성 시에 출처가 되는 문서를 뒤에 남기는 방식을 사용
• 답변에 사용된 문서의 출처를 확인하기 쉽도록 함

학습 데이터를 어떻게 만들까?

1. Orion prompt 방식과 같이, 출처를 뒤에 명시적으로 남기도록 함
   • 이 방식은 평가셋이 존재할 때, 실제 정답 문서를 인용했는지 확인해서, RAG의 정량적이 평가를 할 수 있다는 장점이 존재함
2. RAFT 논문 방식의 quote인용이나 Cohere 방식의 co:문서번호</co:문서번호>방식을 사용
   • 모델이 인용을 하도록 강제함으로서, 억지로 지어내는 이야기를 애초에 답변에 쓸 수 없도록 강제하는 효과
   • Cohere방식과 같이 인용시 문서번호를 기재하면, 마찬가지로 평가셋이 존재할 때 정답문서를 인용했는지를 확인해서 RAG의 정량적인 평가를 할 수 있다는 장점

• 10B 이내의 모델은 매우 민감
• GPT-4 API와 같은 강력한 모델 API로 방법 1이나 방법 2로 원하는 방향으로 답변을 작성하도록 하고 레이블로 사용
• 질문과 상관없는 문서가 검색되었을 때를 가정하여, Negative Sample을 반드시 잘 구축

아래의 모든 유형의 데이터가 반드시 학습데이터에 포함 되어야 함

• 단답을 유도하는 구체적이고 지엽적인 질문 (e.g. 11월 27일에 세미나가 열린 장소의 이름은?)
• 단답이 아닐 수 있는 넓은 의미의 질문 (e.g. 세미나의 주제는?)
• 명사구 형태로 끝나는 질문 (e.g. 11월 27일에 세미나가 열린 장소)
• (영어에도 대응할 것이면 영어 질문 or 영어 검색 결과)
• 검색결과가 1개일때, 2개일때,.... n개일때
• 검색결과에 질문에 대한 답이 전혀 없을때
• 답변 시 검색 결과 중 1개의 문서만 인용하는 경우
• 답변 시 검색 결과 중 다수의 문서를 인용하는 경우

url : https://abit.ly/lisbva