개발toolkitSooftware ML - wandb (Weight & Bias)wandb (Weight & Bias) image 는 Tensorboard와 같이 log를 보기 쉽게 시각화해주는 툴입니다. Tensorflow, PyTorch, transformers, PyTorch-Lightning…
논문 리뷰nlppaperSooftware NLP - P-Tuning Paper ReviewGPT Understands, Too Xiao Liu et al. Tsinghua University etc. arXiv pre-print Abstract GPT를 파인튜닝하는 방법은 Narural Language Understanding (NLU…
논문 리뷰speechpaperSooftware Speech - Pushing the Limits of Semi-Supervised Learning for Automatic Speech Recognition Paper ReviewPushing the Limits of Semi-Supervised Learning for Automatic Speech Recognition Yu Zhang et al., 2020 Google Research, Brain Team Reference…
활동speechtoolkitrecordPORORO Text-To-Speech (TTS)PORORO Text-To-Speech (TTS) 얼마전에 저희 팀에서 공개한 PORORO: Platform Of neuRal mOdels for natuRal language prOcessing 라이브러리에 제가 공들여만든 TTS…
논문 리뷰nlppaperSooftware NLP - Longformer Paper ReviewLongformer: The Long-Document Transformer Paper Code Iz Beltagy et al. Introduction 트랜스포머는 긴 시퀀스는 처리하지 못한다는 한계를 가지고 있음 이유는 시퀀스 길이에 O(n^…
개발csComputer Architecture ReviewComputer Architecture Review 오랜만에 컴퓨터 구조에서 배운 내용을 조금 복습해보며 감을 잡기 위함 컴퓨터가 코드를 처리하는 과정 Read Code Assembly 변환 CPU에서 실행 CPU에서 하나의 명령(Ex) Add…
활동nlptoolkitrecordSooftware NLP - Pororo: A Deep Learning based Multilingual Natural Language Processing LibraryPororo: A Deep Learning based Multilingual Natural Language Processing Library Link: https://github.com/kakaobrain/pororo…
회고record2020년 회고2020년 회고 다사다난했던 2020년이 지나고 어느덧 2021년 새해가 밝았습니다. 🤗 🤗 코로나라는 세계적인 재앙 때문에 생활부터 모든게 많이 달라진 한 해 였습니다. 여태까지…
개발toolkitnlpSooftware NLP - Fairseq HydraFairseq’s Hydra Fairseq이 0.10.1로 버젼 업그레이드를 하면서 configuration 관리를 Hydra로 하게됨. Fairseq을 실행시키는 command line…
