AI 개념nlpmixtralMoE(Mixture of Experts) 기초부터 DeepSeek 혁신까지MoE(Mixture of Experts) 기초부터 DeepSeek 혁신까지 작년 이맘때쯤 DeepSeek-V3가 저비용으로 엄청난 성능을 보이면서 화제가 되었습니다. 그 핵심 기술인 MoE(Mixture of Experts…
AI 개념nlpmixtralWhat is MoE? (Mixture of Experts)What it MoE? (Mixture of Experts) 현존 최강 LLM인 GPT-4에서 “MoE (Mixture of Experts)” 방식을 채택하여 사용하고 있다고 알려졌는데요, 최근 AI계의 뜨거운 감자 Mistral AI…
AI 개념nlpSooftware NLP - 문장의 개체명을 분석해보자! 개체명 인식, Named Entity Recognition (NER)Sooftware NLP - 문장의 개체명을 분석해보자! Named Entity Recognition (NER) NLP 기술을 이용하면 꽤나 정교한 텍스트 분석이 가능합니다. 텍스트 분석에서 빼놓으면 섭섭한 녀석이 개체명 인식(Named Entity…
AI 개념nlpSooftware NLP - 한국어 사전학습 모델 (Korean Pre-trained Language Model)한국어 사전학습 모델 (Korean Pre-trained Language Model) 공개된 한국어 사전학습 모델을 기록합니다. 크게 아래 3개의 모델 계열로 구분했으며, 모델 사이즈는 정확하지 않을 수 있습니다. Encoder Model (BERT…
AI 개념nlpSooftware NLP - Decoding Strategy (디코딩 전략)Decoding Strategy (디코딩 전략) 이번 포스팅에서는 자연어처리 모델의 디코딩 전략에 관해서 다뤄보려고 합니다. 디코딩이란 말처럼 디코딩은 디코더에서 수행하는 작업입니다. 즉, BERT와 같은 인코더 모델에서 사용하는게 아니라 GPT…
AI 개념nlpparallelismlarge-scalelmSooftware NLP - GPT (Generative Pre-trained Transformer)GPT (Generative Pre-trained Transformer) 1 gpt1 먼저 알아보고, gpt2에 대해 알아보겠습니다. GPT1 Improving Language Understanding by Generative Pre-Training…
AI 개념nlpparallelismlarge-scalelmSooftware NLP - Large Scale LM (2) Distributed ProgrammingLarge Scale LM (2) Distributed Programming (작성중) 이 자료는 [해당 link…
AI 개념nlpparallelismlarge-scalelmSooftware NLP - Large Scale LM (1) BackgroundLarge Scale LM (1) Background 이 자료는 [해당 link…
AI 개념nlpmetricSooftware NLP - NLP MetricsNLP Metrics Confusion Matrix Confusion Matrix는 분류 모델을 평가할때 모델이 얼마나 정밀한지, 얼마나 실용적인 분류를 해냈는지, 얼마나 정확한 분류를 해냈는지에 대한 모든 내용을 포함하고 있습니다. Accuracy…
AI 개념speechSooftware Speech - 한국어 Tacotron2한국어 Tacotron2 이번 포스팅에서는 Tacotron2 아키텍처로 한국어 TTS 시스템을 만드는 방법에 대해 다루겠습니다. Tacotron2 Tacotron2는 17년 12월 구글이 NATURAL TTS SYNTHESIS BY…
