5월 5주차 ~ 6월 1주차

5월 5주차~6월 1주차 목표 진행상황

Introducion

Body

1. 논문 읽고 정리하기

• CMU 관련:
  • SCOFT
  • CIC
  • EVCAP
• 멀티모달 관련:
  • CLIP
  • BLIP
  • BLIP2
  • LlaVa
  • Llama3-V
• 이진규님 평가 metric 관련 논문

2. LLM의 학습방법 공부

• QLORA와 같은 quantization 기법
• ORPO 등 LLM 학습 기법
• 분산학습 관련

3. LLama3 이해하기

• llama3.np

그외

• tacotron2 데이터셋 전처리 바꿔서 다시 학습시켜보기
• GPT-API 강의 streamlit 파트 수강하기
• Diffusion에 대한 블로그 정리글
• Why most LLMs Decoder-Only?
• Bayesian Optimization Meets Self-Distillation
• Hierarchical Image Pyramid Transformers
• Mapping the Mind of a LLM

Conclusion

열심히하자