개발langchainlanggraphopenairagLangGraph로 구현하는 RAG 시스템 실습LangGraph로 구현하는 Self-Correcting RAG 시스템 이번 실습에서는 LangGraph를 활용하여 스스로 품질을 검증하고 개선하는 고급 RAG…
개발langchainragaillmpythonLangChain으로 구현하는 RAG 시스템 실습LangChain으로 구현하는 RAG 시스템 실습 이번 실습에서는 LangChain을 활용하여 완전한 RAG 시스템을 구축해봅니다. 회사 정보를 담은 JSON 데이터를 기반으로 질문에 답변하는 AI 챗봇을 만들어볼게요!…
개발toolkitllamaparallelismondevicellama.cpp (On device llm inference tool)llama.cpp (On device llm inference tool) 최근에 llama.cpp를 사용해봤는데, 상당히 편리하고 미래에 더 많이 쓰일 툴이라는 생각이 들어서 기록해둔다! llama.cpp란? 대표적인 오픈소스 LLM인 Meta…
개발toolkitwebchatgpt[ELK] Elastic Search logstash - Nori 토크나이저 설정Elastic Search logstash - Nori 토크나이저 설정 이번에 회사에서 검색 기능을 구현하면서 Elastic Search를 다루게 됐다. 이 엔진을 다루면서 삽질을 많이 했는데, 다음에는 하지 않도록 기록용으로 남겨둔다. Elastic…
개발toolkitwebchatgpt단 30줄로 ChatGPT 웹페이지 만들기 (Streamlit chat_message)단 30줄로 ChatGPT 웹페이지 만들기 (Streamlit chat_message) Streamlit은 파이썬 기반의 오픈소스 웹 UI 라이브러리입니다. 매우 간단한 코드로 손쉽게 웹페이지를 띄울 수 있어서 간단한 데모나 PoC…
개발toolkitenvironmentTerabyte(TB) 단위 데이터 셔플링 - terashufTerabyte(TB) 단위 데이터 셔플링 - terashuf 리눅스에서 TB 단위의 데이터를 line 기준으로 셔플링이 필요할 때가 (가끔) 있다. 직접 코딩해서 쓰기에는 메모리, 속도 등을 신경써야해서 생각보다 큰 작업인데, terashuf…
개발toolkitenvironmentGPT-NeoX - DeepSpeed InferenceGPT-NeoX - DeepSpeed Inference DeepSpeed Inference를 사용하면 간단하게 모델 추론 성능을 끌어올릴 수 있다. Tensor Parallel…
개발huggingfacenlploraHuggingface PEFT (Parameter-Efficient Fine-Tuning)Huggingface PEFT (Parameter-Efficient Fine-Tuning) 허깅페이스에서 나온 PEFT라는 라이브러리인데 LoRA, Prefix Tuning, P-Tuing, Prompt Tuning…
![[ELK] Elastic Search logstash - Nori 토크나이저 설정 cover image](/static/a212cca5adc07a10c064f5aa2d19cb90/023c4/logstash.webp)
