항상 감사하며 마633

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract Deep bidirectional representation : 모든 layer에서 양쪽 방향의 문맥을 학습하는 모델이다 여러 task에서 단 하나의 output layer를 추가하는 방식으로 fine-tuning 을 수행할 수 있다 (GPT의 fine-tuning 이 비교적 복잡했던 task들 또한 해당된다) 개선방식은 simple, 성능은 powerful 하다 GLUE 7.7% 향상 MNLI acc 4.6%..

paper review/NLP 2022. 7. 12. 14:47

Improving Language Understanding by Generative Pre-Training (GPT) 논문 리뷰 Google Machine Learning Bootcamp 2022 에서 "NLP 논문 리뷰 스터디" 에 참여하며 정리한 자료입니다 Abstract Natural Language Understanding 을 위한 모델로, Unlabeled Dataset 을 활용할 수 있는 GPT를 제안한다 아래의 두가지 방법을 결합함으로써 Unlabeled Dataset 을 활용하여 더 좋은 모델(GPT)을 얻는 것이 가능하다 Generative pre-training : Language Model 방식으로 Unlabeled text data 를 학습 Discriminative fin-tuni..

paper review/NLP 2022. 7. 9. 01:24

현재 참여중인 Google Machine Learning Bootcamp 2022 에서 영광스럽게도 첫번째로 TensorFlow Developer Certificate 취득을 진행했다는 말씀을 운영자님께 듣게 되었습니다 영광스럽고 한편으로는 아직 더 많은 동료분이나 시험을 준비하는 분들께 도움이 될 수 있는 부분이 있을 것 같아서 생생한 기억과 함께 작성해보았습니다! 시험 전 여러 후기들을 살펴봤고, 저 또한 시험에서 유용하게 활용했던 지식들이나 자체적 경험을 함께 정리했습니다. 2022. 07. 06 기준 시험으로 작성했기에, 추후에 시험 문제는 상이할 수 있습니다. 시험 준비 DeepLearning.AI TensorFlow Developer (coursera)의 Lab 실습을 진행하며 노트북별로 Ta..

Google Machine Learning Bootcamp 2022 2022. 7. 6. 16:35

안녕하세요:) Google Machine Learning Bootcamp 2022 에 참여하여 받은 웰컴기프트 인증샷을 올리고자 합니다! 올해 OT 때 안내받은대로라면, 과정에 참여하며 기프트를 받을 수 있는 기회는 아래와 같습니다! 웰컴 기프트는 부트캠프 시작과 거의 동시에 전달받게 되었는데요, 박스 뜯어보니 짜잔! Google Developers 모자와 Bootcamp 티셔츠, 그리고 랩탑 스티커 였습니다! (판매한다면 이전부터 사고싶었던 스티커였습니다) 슬슬 랩탑 바꿀 때도 되가는데 스티커는 잠시 아껴두어야겠어요:) 티셔츠 얼른 뜯어보았습니다 Google Developers 와 Bootcamp 로고가 너무 예쁘고 깔끔하게 박힌 티셔츠였습니다ㅜ 이 티셔츠 또한 소중한 손빨래 리스트에 추가입니다 로고 ..

Google Machine Learning Bootcamp 2022 2022. 6. 28. 01:56

VSCode 에서 Gitlab 계정으로 SSH 연결을 설정하는 과정을 정리하고자 한다 (몇번을 반복해도 자주 안하니 맨날 헷갈린다 ㅜㅠ 역시 기억보다 강한건 기록!!!) git config setting (base) PS C:\Users\user\.ssh> git config --global user.name USERID (base) PS C:\Users\user\.ssh> git config --global user.email USERID@MYEMAIL.COM ssh key 생성 파일이름 입력(ex.id_rsa), 엔터두번 (비번설정X) (base) PS C:\Users\user\.ssh> ssh-keygen -t rsa -C USERID@MYEMAIL.COM 공개키 내용 복사 (base) PS C:\..

개발/개발환경설정 2022. 5. 30. 15:14

아래와 같이 모델학습을 위한 Command Line을 Terminal 에서 실행할 때, # (Windows Powershell) (myconda) PS C:\Users\user> python train_vit.py --dataset POC Terminal 에 출력되는 Log를 저장하고 싶을 때 유용한 방법에 대해 소개하고자 한다. ( 나의 경우는, 부서 사람들에게 공유목적으로, 연구를 수행한 후 Train Log까지 GitLab Project에 함께 push하고 있다) 그리고, 코드 내에 사용자가 Log 를 출력코드를 포함하고 있다고 가정한다 ^^;; Command Line을 실행했을 때, Train Log를 파일로 저장함과 동시에 실시간으로도 Terminal 환경에 출력하기 위해서 아래 과정대로 수행한..

개발/개발환경설정 2022. 5. 30. 15:14

tmux 필요성 원격서버 연결을 통한 모델 학습 과정에서, ssh 재접속 시 코드 실행이 다운되고 학습 log가 출력된 bash 창 결과가 증발되는 현상이 종종 발생한다. tmux에서 bash 세션을 명명하고 따로 관리할 경우, 서버를 shutdown 하지 않는 한 코드 실행 프로세스가 유지되며, log가 기록된 bash 출력결과 또한 이어 확인할 수 있다 요약: tmux를 통해 원격접속된 서버의 터미널을 종료해도 서버 백그라운드에서 원하는 프로세스 실행 지속가능 tmux 설치 (ubuntu) $ sudo apt-get install tmux $ tmux tmux 개념 session : tmux의 가장 큰 실행 단위, tmux이 만든 session에 attach/detach 할 수 있으며, detach ..

개발/개발환경설정 2022. 5. 30. 15:14

회사에서 새로운 GPU 환경을 구성을 계획하고 있는데, 그때까지 Colab Pro Plus 에 대한 사용경비 청구를 승인해줘서 두달 간 사용해보았다. 업무 개인 PC에서는 rtx2070 8GB가 장착되어 있는데, ( 이젠 OOM 만 보면 PTSD가.. ) Colab Pro Plus 에서는 항상 P100 16GB 을 할당 받아 사용할 수 있었다. ( V100도 사용해본 분이 있다고 들었는데, 저는 한번도 안뽑혔다는... ) 그 과정에서 내가 사랑하는 VScode 에 Colab을 연동해서 사용한 setting 과정을 공유하고자 한다. cloudflared 다운로드 local 운영체제에 적합한 cloudflared.exe 를 다운로드한다 https://developers.cloudflare.com/cloudf..

개발/개발환경설정 2022. 5. 29. 23:55