[LLM 스터디] 7일차 인증 - hugging face hub

오늘의 공부 내용:

- 허깅페이스의 llm 모델 사용법(google/gemma-2b-it)

- batch_size의 중요성

 

 

 

hugging face에서 gemma access 권한을 신청 했는데 몇일 지나도 안되길래 퍼플렉시티에 물어봤더니 같은 문제를 겪은 사람들이 많은 것 같았다. hugging face에 올라온 discussion들을 좀 더 뒤져봤더니 해결방법 발견!

 

그냥 20GB/20GB, H100 PCle로 했다. 책에서 하라는 용량보다 적게 했는데 아직은 굳이 클 필요는 없는 것 같다. 필요할 때 삭제하고 다시 생성하면 되겠지…

그리고 전에 이 실습코드를 L40으로도 돌려봤는데 큰 차이는 없는 것 같았다. 괜히 h100으로 했다… 다시 L40으로!

 

이 함수를 실행시키던 중 ‘You seem to be using the pipelines sequentially on GPU. In order to maximize efficiency please use a dataset’ 이런 경고가 떴다.

‘더 빠르게 할 수 있는건가?’ 하고 구글링 해봤더니 pipeline에 batch_size를 주면 병렬로 더 빠르게 돌릴 수 있다고 한다.

batch_size 줬더니 더 빨라진 것 같다ㅋㅋ

 

이거 하고 내가 여기저기 건드린 코드 올리려고

책 repo 포크하고 이 코드 올려서 푸시했는데 실수로 인증 토큰을 올렸다!!!

바로 토큰 만료시키고 --amend로 수정 후 force push로 갈아엎었다…

그런데 바로 깃헙에서 메일로 토큰 올린 것 같다고 알려줬다. aws 키도 그렇고 이렇게 털리는 사람이 많은듯ㅋㅋ

 

https://github.com/gwangmin/llm-finetuning/blob/main/chapter3/3.4/Gemma_2B_it_Full_Finetuning.ipynb