RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰
RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 선행연구에서 보여주었던, BERT와 관련된 사전학습 방식 및 Input Sequence 설계, 하이퍼파라미터들의 성능 향상효과를 검증하고, 이를 바탕으로 최적의 모델인 RoBERTa를 제시하였다. RoBERTa 또한 GPT-2에 이어 연구 접근방식이 남다른 논문이라고 생각되었다. 기존 프레임 안에서, 새로운 objective를 제시하거나 하지않고, 앞선 선행연구들의 성능향상 요소를 모두 결합하여, 효과를 검증하고 최적화를 시도한 것이다. RoBERTa를 읽으며 떠오..
paper review/NLP
2022. 7. 29. 22:27
