오늘 까지 해야 할 일정

• 스페셜 미션 완료
• 최적화 강의 듣기 (1강 ~ 5강 & CV, NLP 최적화 강의 3개)
• Baseline 코드 분석

피어세션 회의 내용

1. Lottery Ticket, Module에 대한 부분은 오피스 아워에 나온 강의를 참고해서 진행하기
2. Structured Pruning에 대해서 어떻게 적용할지에 대한 고민
3. 성능과 같이 FLOS 를 같이 출력할 수 있게 코드를 수정하기
4. Optuna 안에 RDB가 구현이 되어있어서 URL을 잘 입력해주기만 하면 된다. (ex. sqlite)
5. fp16을 적용할 때와 적용하지 않을 때와 차이 알아보기
6. Validation & Train 학습 할 때 걸리는 시간 및 drop last 오류 점검

ToDo

1. 내일(11월 25일) NLP에 대해서 의견 나누기 → 강의 다 듣고 오기
2. 논문 읽기 (금요일까지 훑어보고 읽고 싶은 것 채택)
   1. Bart
   2. t5
   3. GPT
   4. Bertsum
   5. GLM
   6. swtich transformer
3. abstractive summarization survey 논문/자료 찾기 (내일까지)

최적화 대회

1. 최적화 대회를 전반적으로 주도할 팀원 선정 → 예빈님, 명철님, 기성님
2. 1번에 해당되지 않은 인원은 최종 프로젝트 시작 및 준비 → 창용님, 상하님, 범진님, 유석님

참고 자료

1. https://shuka.tistory.com/11
2. https://medium.com/pytorch/using-optuna-to-optimize-pytorch-hyperparameters-990607385e36
3. https://spell.ml/blog/mixed-precision-training-with-pytorch-Xuk7YBEAACAASJam