본문 바로가기

패스트캠퍼스 48

패스트캠퍼스 환급챌린지 48일차 : Qwen2-VL 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)멀티모달 - Qwen2-VLconfig.json모델 구조 (레이어 수, 어텐션 헤드 수 등)나 하이퍼파라미터 설정이 들어있음max_position_embeddings: 32,768 (32k)모델이 처리할 수 있는 최대 토큰 시퀀스 길이를 결정예를들어, 텍스트 입력이 이 값을 초과하면 토큰이 잘리거나 오류가 .. 2025. 5. 18.
패스트캠퍼스 환급챌린지 47일차 : 멀티모달 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)멀티모달하나의 시스템이나 의사소통에서 두 가지 이상의 서로 다른 데이터 유형 (텍스트, 이미지, 음성, 영상 등)을 동시 사용하는 것서로 다른 데이터를 하나의 모델로 처리해 공통 임베딩 공간에 맵핑하여 의미적 연관성과 관계를 학습한 모델각 데이터의 특성을 보존하면서 데이터를 벡터화의미적으로 정렬하여 서로 다.. 2025. 5. 17.
패스트캠퍼스 환급챌린지 46일차 : LLM 평가 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장 ③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)코드 정리def evaluate_rag_with_llm(questions, contexts, predictions, labels): """ LLM 평가 메트릭으로 RAG 시스템 평가 Args: questions: 질문 리스트 contexts: 검색 결과 리스트 .. 2025. 5. 16.
패스트캠퍼스 환급챌린지 45일차 : RAG 파인튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외) 코드 정리# 1. 허깅페이스 허브에서 데이터셋 로드dataset = load_dataset("iamjoon/klue-mrc-ko-rag-dataset", split="train")# 2. system_message 정의system_message = """당신은 검색 결과를 바탕으로 질문에 답변해야 합니다... 2025. 5. 15.
패스트캠퍼스 환급챌린지 44일차 : 모델 호출 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)파인튜닝 테스트AutoPeftModelForCausalLM()의 입력으로 LoRA Adapter가 저장된 체크포인트의 주소를 넣으면 LoRA Adapter가 기존의 LLM과 부착되어 로드됩니다. 이 과정은 LoRA Adapter의 가중치를 사전 학습된 언어 모델(LLM)에 통합하여 미세 조정된 모델을 완성하.. 2025. 5. 14.
패스트캠퍼스 환급챌린지 43일차 : 허깅페이스 TRL 파인튜닝 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장 ③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)학습하기 trainer = SFTTrainer( model=model, args=args, max_seq_length=max_seq_length, # 최대 시퀀스 길이 설정 train_dataset=train_dataset, data_collator=collate_fn, peft_config=.. 2025. 5. 13.
패스트캠퍼스 환급챌린지 42일차 : 데이터 전처리 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)전처리 이해하기input_ids와 labels는 어떻게 생성되는가?LLM 학습에서 input_ids와 labels는 모델의 학습 목표에 따라 생성예를 들어, 다음과 같은 대화 데이터를 모델이 학습해야 한다고 가정:시스템 프롬프트: 당신은 친절하고 도움이 되는 AI 어시스턴트입니다.사용자 메시지: 안녕하세요,.. 2025. 5. 12.
패스트캠퍼스 환급챌린지 41일차 : 주요코드 이해하기 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)순서1. 필요한 패키지 설치2. 데이터 전처리3. 모델 로드 및 템플릿 적용4. LoRA와 SFTConfig 적용5. 학습 중 전처리 함수 : collate_fn6. 어텐션 마스크 확인7. 전처리 이해하기8. 학습하기9. 테스트 데이터 준비하기10. 파인튜닝 모델 테스트11. 기본 모델 테스트필요한 패키지설.. 2025. 5. 11.
패스트캠퍼스 환급챌린지 40일차 : 모델 호출 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.*_1. 학습 인증샷 4장 이상 포함*_① 오늘자 날짜, 공부 시작 시각 포함 사진 1장② 오늘자 날짜, 공부 종료 시각 포함 사진 1장③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)2. 학습 후기 700자 이상 (공백 제외)모델 호출import jsonfrom transformers import AutoTokenizerfrom vllm import LLM, SamplingParamsllm = LLM(model="iamjoon/llama3-8b-finance-analyzer")tokenizer = AutoTokenizer.fro.. 2025. 5. 10.

티스토리툴바