스타트업 투자 49 패스트캠퍼스 환급챌린지 39일차 : 모델업로드 및 다운로드 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장 ③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)모델 머지 저장 import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel경로 설정base_model_path = "NCSOFT/Llama-VARCO-8B-Instruct"adapter_p.. 2025. 5. 9. 패스트캠퍼스 환급챌린지 38일차 : 파인 튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)라마팩토리 설치!git clone https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factory!pip install e ".[torch,metrics]"!pip3 install deepspeed datasets vllm scikit-learnimport tor.. 2025. 5. 8. 패스트캠퍼스 환급챌린지 37일차 : 요약 데이터 전처리 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등) 2. 학습 후기 700자 이상 (공백 제외)pip install openai datasetsfrom datasets import load_datasetimport pandas as pd# Hugging Face 데이터셋 로드dataset = load_dataset("daekeun-ml/naver-news-summarization-ko")# 데이터.. 2025. 5. 7. 패스트캠퍼스 환급챌린지 36일차 : vLLM을 활용한 Multi-LoRA Serving 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)LoRA의 MergeLoRA (Low-Rank Adaptation) 튜닝 후에는 어댑터 (추가 학습한 행렬)을 결합(Merge)해야 함목적 : 학습된 LoRA 어댑터 가중치 (행렬 AxB)를 기본 모델 가중치 (W)에 통합해야만 기존 모델과 달라짐vLLM의 멀티 로라 서빙vLLM대규모 언어 모델을 위한 고성.. 2025. 5. 6. 패스트캠퍼스 환급챌린지 35일차 : 페이지드 어텐션과 vLLM 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장 ③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장 ④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등) 2. 학습 후기 700자 이상 (공백 제외)SFT (Supervised Fine-Tuning)지도 학습 (Supervised Learning) 방식을 기반으로 모델을 미세조정하는 방법주어진 입력(프롬프트)에 대한 정답 또는 모범 응답을 학습시켜 모델이 특정 작업에서 향상된 성능을 발휘하도록 만듬학습방식 : 모델 출력과 학습에 사용하는 정답 .. 2025. 5. 5. 패스트캠퍼스 환급챌린지 34일차 : SFT와 DPO 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장 ③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등) 2. 학습 후기 700자 이상 (공백 제외)SFT (Supervised Fine-Tuning)지도 학습 (Supervised Learning) 방식을 기반으로 모델을 미세조정하는 방법주어진 입력(프롬프트)에 대한 정답 또는 모범 응답을 학습시켜 모델이 특정 작업에서 향상된 성능을 발휘하도록 만듬학습방식 : 모델 출력과 학습에 사용하는 정답 간 .. 2025. 5. 4. 패스트캠퍼스 환급챌린지 33일차 : 양자화와 QLoRA 튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)양자화와 정확도 손실원래 32비트 (또는 16비트)로 표현되던 가중치를 4비트, 8비트로 바꾸면,, 세밀한 수치가 반올림되거나 범위 제한을 받음양자화의 선택 기준성능 vs 메모리 트레이드오프문제의 복잡성과 가용 자원에 따라 최적의 양자화 레벨이 달라짐양자화 수준 (8비트 vs. 4비트)을 문제 종류에 맞게 .. 2025. 5. 3. 패스트캠퍼스 환급챌린지 32일차 : LoRA 튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)LoRA란 무엇인가? 정의 : 대규모 언어 모델을 효율적으로 미세조정하는 기법으로, 전체 모델의 일부 파라미터만 학습하여 메모리와 계산 자원 효율성을 크게 향상시킴 목적 전체 파라미터 대신 추가적인 파라미터(주로 어댑터라 명명)만 학습하여 원본 LLM은 그대로 유지하는 방식 장점 학습 파라미터 수 .. 2025. 5. 2. 패스트캠퍼스 환급챌린지 31일차 : 사전학습과 파인튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등) 2. 학습 후기 700자 이상 (공백 제외)사전학습 (pre-training)정의 : 대규모 텍스트 데이터로 초기에 모델을 학습시키면서 언어 이해 능력을 형성하는 과정목적텍스트의 패턴, 구조, 의미를 학습하여 기본적인 언어능력 획득다양한 다운스트림 태스크에 활용할 수 있는 범용적 언어 지식 습득특징레이블이 없는 방대한 데이터 사용 (웹 텍스트, .. 2025. 5. 1. 이전 1 2 3 4 5 6 다음
