오늘의 공부 내용:- [transformers] generate와 pipeline의 차이- [transformers] 종료조건- GPT API로 평가하기

오늘의 공부 내용:- LoRA(Low Rank Adaption)    - 새로운 가중치 W' = W + \Delta W = W + BA- jsonl

오늘의 공부 내용:- dataset json으로 저장하기- @dataclass- multi-gpu finetuning- wandb usage- openai structured output

오늘의 공부 내용:- wandb 개요- llm 파인튜닝에 쓰이는 api들- 풀파인튜닝의 위험성?!   llm 파인튜닝에  쓰이는 api들을 노션에 이렇게 정리해놨다.   ... 계속 train loss만 떨어지고 eval loss는 오른다... TrainingArguments에서 에폭과 가중치 감쇠 같은걸 조절해봐도...이래서 기존 레이어를 건들면 안되는건가... 책에서는 잘 되던데... 아무튼 gemma-2b-it 풀파인튜닝 실패! 책에는 없지만시간나면 few shot 예제 주고 튜닝없이 해봐야겠다.   https://github.com/gwangmin/llm-finetuning/blob/main/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb llm-finetuni..

오늘의 공부 내용:- huggingface datasets- Collator   이번엔 모델 체크포인트를 위해 넉넉히 컨테이너 disk를 200gb로 했다. https://github.com/gwangmin/llm-finetuning/blob/main/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb llm-finetuning/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb at main · gwangmin/llm-finetuning《한 권으로 끝내는 실전 LLM 파인튜닝》 예제 코드. Contribute to gwangmin/llm-finetuning development by creating an account on GitHub.g..