(GPT-2) Language Models are Unsupervised Multitask Learners (feat. GPT2 모델 및 zero-shot 구현 코드)
(GPT-2) Language Models are Unsupervised Multitask Learners 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 GPT-1 에서 OpenAI는 pre-training 의 유용성을 검증하려 pre-training의 횟수에 따른 zero shot 모델의 결과를 공유했다. 나는 GPT-1를 읽을 때까지만해도 OpenAI가 여기에 얼마나 눈을 번뜩이고 있었는지 알지 못했다. Google은 비교적 순박하게(?) 기존의 pre-training + fine-tuning 의 프레임 내에서 GPT의 사전학습 objective를 수정하여 여러 task 에서 향상된 BERT의 성능을 자랑..
paper review/NLP
2022. 7. 22. 13:59
