패스트캠퍼스 환급챌린지 1일차 : LLM 기초지식

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

*1. 학습 인증샷 4장 이상 포함
*① 오늘자 날짜, 공부 시작 시각 포함 사진 1장

② 오늘자 날짜, 공부 종료 시각 포함 사진 1장

③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장

④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)

2. 학습 후기 700자 이상 (공백 제외)

 

수업의 방향성

• LLM Fine-tuning 이론 및 실습
• RAG을 위한 성능 최적화
• ChatGPT API의 활용법
• RAG의 이해도를 높이기 위한 Langchain 사용법
• LLM 에이전트
• 현업을 위한 각종 다양한 프로젝트

환경

• Colab
  • 간단한 코드 돌리는 용도
  • 파이썬이 이미 웹사이트 클라우드 환경에서 설치되어, 인터넷만 접속할 수 있으면 언제나 코딩이 가능함
• Runpod
  • LLM학습을 위해 사용하는 유료 클라우드
  • 고성능 GPU를 손쉽고 저렴하게 사용이 가능한 플랫폼
  • 실무와 비슷한 환경을 구축하는 연습
• 언어 모델 정의
  • 언어모델은 가장 자연스러운 다음단어를 예측하는 모델
  • 요새 LLM, 딥러닝의 대세로 언어모델이 모두 LLM과 딥러닝의 산물이라고는 하지만, 꼭 그럴 필요는 없음

언어 모델의 역사

• 통계적 언어 모델
• RNN 언어 모델
• 트랜스포머
• BERT vs. GPT vs. T5
• GPT 의 발전 -> LLM의 시대

트랜스포머

• 2017년 구글이 AI 번역기를 만들기 위해 트랜스포머 모델을 제안
• 기본적인 구조
  • 인코더와 디코더의 여러 층 (Layer)으 조합으로 구성
• 인코더
  • 자연어 이해 (Natural Language Understanding)
• 디코더
  • 자연어 생성 (Natural Language Generation)
• 여러가지 모델로 분화
  • BERT : 인코더 Only
  • GPT : 디코더 Only
  • BART, T5 : 인코더-디코더 아키텍쳐 유지

트랜스포머의 동작과정

• 인코더에 입력문장은 한꺼번에 들어감 (e.g. I am a student)
• 인코더가 디코더에 전달
• 디코더가 인코더의 결과를 참조해 단어하나를 생성
• 디코더가 인코더의 결과와 단어하나를 모두 참조해 다음단어를 생성
• 디코더가 인코더의 결과와 단어 디코더가 생성한 모든 결과를 참조해 다음 결과를 생성
• 디코더에서 종료를 의미하는 토큰이 나오면, 종료토큰 전까지의 디코더의 결과물을 종합함.

url : https://abit.ly/lisbva