항상 감사하며 마633

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract BART : pretrained seq2seq (denoising-autoencoder) 임의의 noising function 을 통해 input text corruption 원본 text를 복구하도록 학습 여러가지 noising 기법 중 결과가 좋았던 2가지 방식 소개 문장 순서를 random하게 shuffling 일부 연속된 token의 span을 ..

paper review/NLP 2022. 8. 16. 00:06

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations 논문리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract 모델 크기 증가 한계 GPU/TPU 메모리 제한 긴 학습시간 소요 Parameter Reduction Technique 낮은 메모리 사용 학습 속도 증가 SOP : 문장 간 coherence 정보 학습 BERT-LARGE보다 적은 파라미터로 GLUE, SQuAD, RACE 에서 SOTA 1. Introduction Language Representation 학습을 위해 Pre-training 사용 특히나 기계독해 ..

paper review/NLP 2022. 8. 8. 21:47

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract DistilBERT (smaller, faster, lighter) : 더 작은 크기의 일반화된 language model (여러 NLP task에 적용가능한) pre-training 에서의 knowledge distilation 수행 BERT의 40% 크기 Language Understanding 측면에서 97%의 성능 유지 학습속도 60% 향상 Triple loss 사용 language modeling di..

paper review/NLP 2022. 8. 8. 21:47

RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 선행연구에서 보여주었던, BERT와 관련된 사전학습 방식 및 Input Sequence 설계, 하이퍼파라미터들의 성능 향상효과를 검증하고, 이를 바탕으로 최적의 모델인 RoBERTa를 제시하였다. RoBERTa 또한 GPT-2에 이어 연구 접근방식이 남다른 논문이라고 생각되었다. 기존 프레임 안에서, 새로운 objective를 제시하거나 하지않고, 앞선 선행연구들의 성능향상 요소를 모두 결합하여, 효과를 검증하고 최적화를 시도한 것이다. RoBERTa를 읽으며 떠오..

paper review/NLP 2022. 7. 29. 22:27

SpanBERT: Improving Pre-training by Representing and Predicting Spans 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 기존의 BERT가 Individual token 단위의 MLM이였다면, spanBERT는 span 단위의 MLM, 그리고 span boundary 를 이용하여 MLM을 수행하는 두 objective를 사전학습에서 사용하여, 여러 토큰으로 이루어진 span 단위의 문맥 학습의 성능을 향상한 모델이다. 개인적으로, Ablation Study를 흥미롭게 읽었다. BERT로 시작된 MLM을 선행연구들에서 다양한 변형기법을 적용하여 사용해왔는데, 이..

paper review/NLP 2022. 7. 29. 22:27

XLNet: Generalized Autoregressive Pretraining for Language Understanding 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 XLNet 은 긴 길이의 문맥 학습을 효과적으로 할 수 있는 Transformer-XL 구조를 사용했으며, permutation language modeling 을 사전학습의 objective로 사용함으로써, AR 및 AE 의 장점을 모두 갖춘 모델이다. Abstract 기존 SOTA 모델인 BERT 한계점 Pre-training 에서 사용하는 masking 기법은 fine-tuning과의 차이를 발생시키는 한계를 지닌다 Masking..

paper review/NLP 2022. 7. 22. 14:00

(GPT-2) Language Models are Unsupervised Multitask Learners 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 GPT-1 에서 OpenAI는 pre-training 의 유용성을 검증하려 pre-training의 횟수에 따른 zero shot 모델의 결과를 공유했다. 나는 GPT-1를 읽을 때까지만해도 OpenAI가 여기에 얼마나 눈을 번뜩이고 있었는지 알지 못했다. Google은 비교적 순박하게(?) 기존의 pre-training + fine-tuning 의 프레임 내에서 GPT의 사전학습 objective를 수정하여 여러 task 에서 향상된 BERT의 성능을 자랑..

paper review/NLP 2022. 7. 22. 13:59

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract Deep bidirectional representation : 모든 layer에서 양쪽 방향의 문맥을 학습하는 모델이다 여러 task에서 단 하나의 output layer를 추가하는 방식으로 fine-tuning 을 수행할 수 있다 (GPT의 fine-tuning 이 비교적 복잡했던 task들 또한 해당된다) 개선방식은 simple, 성능은 powerful 하다 GLUE 7.7% 향상 MNLI acc 4.6%..

paper review/NLP 2022. 7. 12. 14:47