SpanBERT: Improving Pre-training by Representing and Predicting Spans
SpanBERT: Improving Pre-training by Representing and Predicting Spans 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 기존의 BERT가 Individual token 단위의 MLM이였다면, spanBERT는 span 단위의 MLM, 그리고 span boundary 를 이용하여 MLM을 수행하는 두 objective를 사전학습에서 사용하여, 여러 토큰으로 이루어진 span 단위의 문맥 학습의 성능을 향상한 모델이다. 개인적으로, Ablation Study를 흥미롭게 읽었다. BERT로 시작된 MLM을 선행연구들에서 다양한 변형기법을 적용하여 사용해왔는데, 이..
paper review/NLP
2022. 7. 29. 22:27
