XLNet: Generalized Autoregressive Pretraining for Language Understanding 논문 리뷰
XLNet: Generalized Autoregressive Pretraining for Language Understanding 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 XLNet 은 긴 길이의 문맥 학습을 효과적으로 할 수 있는 Transformer-XL 구조를 사용했으며, permutation language modeling 을 사전학습의 objective로 사용함으로써, AR 및 AE 의 장점을 모두 갖춘 모델이다. Abstract 기존 SOTA 모델인 BERT 한계점 Pre-training 에서 사용하는 masking 기법은 fine-tuning과의 차이를 발생시키는 한계를 지닌다 Masking..
paper review/NLP
2022. 7. 22. 14:00
