1. 왜 등장했는가 대부분의 ML 알고리즘은 학습 단계에서 명시적인 모델(계수, 트리 구조 등)을 만듭니다. KNN은 반대로 학습을 아예 하지 않고, 예측 시점에 가장 가까운 이웃을 찾아 답을 내는 방식입니다. 모델을 따로 저장하지 않고 데이터 자체를 기억하기 때문에 게으른 학습(Lazy Learning) 이라고 불립니다. 단순하지만 강력한 직관을...

1. 왜 등장했는가 기존 통계 모델(선형 회귀, 로지스틱 회귀)은 “직선”으로만 데이터를 나눌 수 있었습니다. 실제 세계의 패턴은 직선보다 복잡한 경우가 많아, 사람이 실제로 의사결정을 내리는 방식인 “조건을 순서대로 따져가며 판단” 하는 구조를 모델로 옮긴 것이 Decision Tree입니다. 2. 핵심 아이디어 — 스무고개 Decision...

1. 왜 등장했는가 단일 Decision Tree는 훈련 데이터에 과적합되기 쉽고 성능 한계가 명확했습니다. “약한 모델(weak learner) 여러 개를 순서대로 쌓으면 강한 모델이 된다”는 Boosting 이론을 최초로 실용화한 것이 AdaBoost (Adaptive Boosting) 입니다. 핵심은 이전 모델이 틀린 샘플에 더 집중해서 다음 ...

MIPS(Maximum Inner Product Search) 학습된 임베딩의 점수 자체를 신뢰하는 검색 방식 주어진 질의 벡터와 가장 내적(Inner Product)이 큰 벡터(문서)를 찾는 검색 방법 EX) 입력 질의 $q$와 문서 임베딩들 $d_1, d_2, …, d_N$이 주어졌을 때, 다음 값을 최대화하는 문서를 찾...

수정 - 설명 추가 - Flow Chart 도메인 데이터(금융 약관)를 활용하여, LLaMA 3.1 모델이 복잡한 문맥을 어떻게 검색(Retrieval)하고 정교한 답변을 생성(Generation)하는지를 검증 I. Data Load # GPU 할당 import os os.environ["CUDA_VISIBLE_DEVICES"] = "3...

📐 Markdown 수식 정리 수학 · 통계 · 머신러닝 · 딥러닝 글을 작성할 때 자주 사용되는 Markdown(LaTeX) 수식 기호를 용도별로 정리한 참고 문서 ✏️ 수식 작성 기본 규칙 Markdown에서는 LaTeX 문법을 사용해 수식을 표현 문장 안 수식: $ ... $ → 문장 흐름 안에서 간단한 수식 표현 독립 수식:...

RAG에서 Retrieval이란? RAG(Retrieval-Augmented Generation)는 외부 지식을 검색(Retrieval) 하고, 그 결과를 바탕으로 LLM이 답변을 생성(Generation) 하는 구조의 아키텍처이다. 이 글에서는 RAG의 핵심 구성요소 중 하나인 Retrieval 단계를 중심으로 개념부터 구현 관점까지 정리한다. ...

Prefix Sum Algorithm이란? Prefix sum (누적 합) 앞부분 합을 미리 계산해 두어 이후의 구간 합 / 구간 업데이트를 아주 빠르게 처리하기 위한 기법 어떻게 생각을 하게 되었는가? “배열의 구간 합 (sum of A[l … r])”을 반복해서 묻거나, “구간에 같은 ...

설명 추가 필요한 정보 I. MIPS II. BART III. LLM IV. Retrieval V. Transformers VI. LangChain RAG (Retrieval-Augmented Generation) 개요(Overview) 1.1 RAG란 무엇인가 1.2 RAG의 필요성 및 장점 1.3 RAG의 활용...

데이터 설명 실제 전자상거래(이커머스) 거래 내역을 기반으로 한 거래 데이터(Transaction Data)로, 고객의 구매 행동 분석, RFM 세분화, 코호트 분석, 리텐션 분석, 추천 시스템, 수요 예측 등의 연구에 자주 사용됨 URL : https://archive.ics.uci.edu/dataset/352/...