BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract BART : pretrained seq2seq (denoising-autoencoder) 임의의 noising function 을 통해 input text corruption 원본 text를 복구하도록 학습 여러가지 noising 기법 중 결과가 좋았던 2가지 방식 소개 문장 순서를 random하게 shuffling 일부 연속된 token의 span을 ..
paper review/NLP
2022. 8. 16. 00:06