[LLM 스터디] 5일차 인증 - gemma, llama 구조
2025. 1. 5. 19:29ㆍAI/LLM 스터디
오늘의 공부 내용:
- gemma와 llama의 모델 구조
- gemma, llama는 비교적 작은 모델이지만 설계로 효율성을 높인 아키텍처
- BatchNorm과 LayerNorm의 차이
- BatchNorm: CNN에 적합, batch_size가 커야 좋음.
- LayerNorm: NLP/RNN에 적합
- RoPE, NLP에 적합한 활성화 함수들
gemma 구조인데 딱 보자마자 '인셉션을 여기에 써먹는구나~' 했다...
전에 googlenet 리뷰할 때 본거랑 너무 똑같자나~
'AI > LLM 스터디' 카테고리의 다른 글
| [LLM 스터디] 7일차 인증 - hugging face hub (1) | 2025.01.13 |
|---|---|
| [LLM 스터디] 6일차 인증 - Parallelism (0) | 2025.01.13 |
| [LLM 스터디] 4일차 인증 - PEFT, NLP tasks (1) | 2025.01.02 |
| [LLM 스터디] 3일차 인증 - transformer, tokenizers (3) | 2025.01.01 |
| [LLM 스터디] 2일차 인증 - self attention (2) | 2025.01.01 |