[LLM 스터디] 4일차 인증 - PEFT, NLP tasks

오늘의 공부 내용:

- 파인튜닝(Parameter Efficient Fine Tuning, PEFT)의 종류

    - Adapter Tuning: 추가적인 Adapter 모듈(소규모 신경망)만 학습.
        (AutoEncoder처럼 차원축소를 이용해 파라미터를 많이 줄일 수 있음)

    - Prompt Tuning: 기존 모델은 고정시키고 입력에 soft prompt란 embedding을 추가해 학습.

    - LoRA(Low Rank Adaptation): 기존의 가중치 행렬을 저차원 행렬로 분해해 학습.

- 파인튜닝 시 주의사항

    - 기존의 학습내용 망각

    - 오버피팅

    - 데이터 질

    - 컴퓨팅 리소스

- NLP tasks

    - next token prediction/text gen

    - dialog/chat

    - Q&A

    - code gen

    - paraphrasing

    - summarization

    - RAG

    - machine translation

 

 

 

LLM 공부에 LLM을 이용해

더 자세히 알아보았는데 Adapter/Prefix/Prompt Tuning 모두 위치만 다를 뿐 추가모듈을 이용한다는 점에서 비슷해보인다.