패스트캠퍼스 환급챌린지 12일차 : 거대 언어 모델의 답변

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

*_1. 학습 인증샷 4장 이상 포함
*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장

② 오늘자 날짜, 공부 종료 시각 포함 사진 1장

③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장

④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)

 

2. 학습 후기 700자 이상 (공백 제외)
RAG 프롬프트 : 검색 결과를 바탕으로 질문에 대한 답변생성

• RAG 프롬프트에 대한 ‘가장 기본적인’ 지침
  • RAG 프롬프트에는 반드시 검색 결과가 있어야 한다. (필수)
  • RAG 프롬프트에는 사용자의 질문 또한 있어야 한다. (필수)
  • RAG에는 반드시 질문에 대한 답이 검색 결과에 없는 경우에 대한 시나리오가 대응 될 수 있어야 함
    • 이를 위한 방법 중 하나에 프롬프트에다가 검색 결과에 질문에 대한 답이 없을 경우, 답변을 거부하도록 하는 것 (권장)

Cohere의 RAG-optimized model

• 이미 RAG에 대해서 학습이 되어진 채로 공개된 RAG 특화 모델들이 존재함
• 해당 모델들이 사용한 RAG 프롬프트를 참고하면, RAG를 Fine-tuning할 때 어떤 프롬프트를 사용하면 될 지 힌트를 얻을 수 있음
  • e.g. Cohere(RAG를 주력 기능으로 삼고 있음)에서 나온 Command R, Commend R+

Cohere의 RAG 모델 답변 예시

• Cohere의 RAG 모델은 답변을 할 때, 정보가 언급되는 구간마다 해당 정보의 출처가 되는 문서의 번호를 남기는 방식을 사용
• 사용자가 출처를 확인하기에 용이
• 할루시네이션을 감소하는 효과

Orion-14B RAG 파인튜닝 모델

• 많은 RAG 특화 모델들이 답변 작성 시에 출처가 되는 문서를 뒤에 남기는 방식을 사용
• 이 방식은 사용자에게 답변에 사용된 문서의 출처를 확인하기 쉽도록 함
• 최근 모델은 아니어서, 프로덕션에 권장은 하지 않지만, 비교적 복잡한 Cohere까지 가고 싶지 않을때 간단히 쓰는 용도로 사용

GPT-4의 Web검색

• 많은 RAG 특화 모델들이 답변 작성 시에 출처가 되는 문서를 뒤에 남기는 방식을 사용
• 이 방식도 사용자에게 답변에 사용된 문서의 출처가 확인하기 쉽도록 함
• GPT-4부터 출처를 명확하게 남기는 걸 보면, 이 모델부터 출처를 남기는 RAG 프롬프트가 사용되는 것으로 보이고, 출처를 남기는 포인트가 굉장히 정확도가 높아 할루시네이션을 많이 감소한 모델임

url : https://abit.ly/lisbva