[LLM 스터디] 9일차 인증 - wandb, transformers api, 풀파인튜닝
2025. 1. 15. 21:57ㆍAI/LLM 스터디
오늘의 공부 내용:
- wandb 개요
- llm 파인튜닝에 쓰이는 api들
- 풀파인튜닝의 위험성?!
llm 파인튜닝에 쓰이는 api들을 노션에 이렇게 정리해놨다.
...
계속 train loss만 떨어지고 eval loss는 오른다... TrainingArguments에서 에폭과 가중치 감쇠 같은걸 조절해봐도...
이래서 기존 레이어를 건들면 안되는건가... 책에서는 잘 되던데...
아무튼 gemma-2b-it 풀파인튜닝 실패!
책에는 없지만
시간나면 few shot 예제 주고 튜닝없이 해봐야겠다.
https://github.com/gwangmin/llm-finetuning/blob/main/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb
llm-finetuning/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb at main · gwangmin/llm-finetuning
《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드. Contribute to gwangmin/llm-finetuning development by creating an account on GitHub.
github.com
'AI > LLM 스터디' 카테고리의 다른 글
| [LLM 스터디] 11일차 인증 - LoRA (0) | 2025.01.22 |
|---|---|
| [LLM 스터디] 10일차 인증 - multi-gpu finetuning (0) | 2025.01.21 |
| [LLM 스터디] 8일차 인증 - datasets, Collator (0) | 2025.01.15 |
| [LLM 스터디] 7일차 인증 - hugging face hub (1) | 2025.01.13 |
| [LLM 스터디] 6일차 인증 - Parallelism (0) | 2025.01.13 |