개발toolkitpythonSooftware Pandas - 다중 딕셔너리를 Pandas DataFrame으로!Sooftware Pandas - 다중 딕셔너리를 Pandas DataFrame으로! 가끔 데이터를 요렇게 저렇게 정리하다가보면, 데이터를 멀티인덱싱(Multi-Indexing…
개발software마크다운으로 발표자료 만들기 (Marp for VS Code)마크다운으로 발표자료 만들기 (Marp for VS Code) 저는 개인적으로 무언가를 정리할 때 텍스트 레벨에서 모든 편집이 가능한 마크다운(Markdown…
AI 개념nlpSooftware NLP - 문장의 개체명을 분석해보자! 개체명 인식, Named Entity Recognition (NER)Sooftware NLP - 문장의 개체명을 분석해보자! Named Entity Recognition (NER) NLP 기술을 이용하면 꽤나 정교한 텍스트 분석이 가능합니다. 텍스트 분석에서 빼놓으면 섭섭한 녀석이 개체명 인식(Named Entity…
활동nlpSooftware NLP - 혐오는 이제 그만! St. PatrickSt. Patrick, the original safety engine by TUNiB, checks if the user text includes any toxic expressions or personal information and provides detailed reports.
AI 개념nlpSooftware NLP - 한국어 사전학습 모델 (Korean Pre-trained Language Model)한국어 사전학습 모델 (Korean Pre-trained Language Model) 공개된 한국어 사전학습 모델을 기록합니다. 크게 아래 3개의 모델 계열로 구분했으며, 모델 사이즈는 정확하지 않을 수 있습니다. Encoder Model (BERT…
활동record2022 AI 온라인 경진대회 1위2022 AI 온라인 경진대회 1위 2022 인공지능 경진대회 - 기계독해 태스크에서 1위를 차지했습니다. 🎉 🎉 작년에는 제가 모든 리딩 및 코딩을 담당했는데, 이번에는…
개발nlpSooftware NLP - Huggingface Datasets MethodsHuggingface Datasets Methods 자주 사용하는 허깅페이스 datasets의 메서드를 정리합니다. load_datasets 허깅페이스 서버에 올라가 있는 데이터셋을 다운 받을 때 사용하는 메서드 save_to_disk…
AI 개념nlpSooftware NLP - Decoding Strategy (디코딩 전략)Decoding Strategy (디코딩 전략) 이번 포스팅에서는 자연어처리 모델의 디코딩 전략에 관해서 다뤄보려고 합니다. 디코딩이란 말처럼 디코딩은 디코더에서 수행하는 작업입니다. 즉, BERT와 같은 인코더 모델에서 사용하는게 아니라 GPT…
논문 리뷰nlppaperSooftware NLP - Generation with RetrievalGeneration with Retrieval 이번에 딥마인드에서 RETRO(Retrieval-Enhanced Transformer) 라는 모델을 내놓았습니다. 문서 retrieval + GPT 기반 모델인데, 7B 모델임에도 불구하고 2…
