[LLM 스터디] 8일차 인증 - datasets, Collator
2025. 1. 15. 19:28ㆍAI/LLM 스터디
오늘의 공부 내용:
- huggingface datasets
- Collator
이번엔 모델 체크포인트를 위해 넉넉히 컨테이너 disk를 200gb로 했다.
https://github.com/gwangmin/llm-finetuning/blob/main/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb
llm-finetuning/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb at main · gwangmin/llm-finetuning
《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드. Contribute to gwangmin/llm-finetuning development by creating an account on GitHub.
github.com
'AI > LLM 스터디' 카테고리의 다른 글
| [LLM 스터디] 10일차 인증 - multi-gpu finetuning (0) | 2025.01.21 |
|---|---|
| [LLM 스터디] 9일차 인증 - wandb, transformers api, 풀파인튜닝 (0) | 2025.01.15 |
| [LLM 스터디] 7일차 인증 - hugging face hub (1) | 2025.01.13 |
| [LLM 스터디] 6일차 인증 - Parallelism (0) | 2025.01.13 |
| [LLM 스터디] 5일차 인증 - gemma, llama 구조 (1) | 2025.01.05 |