1. 데이터 마이닝과 군집/분류 알고리즘의 개요
정의: 대규모 데이터 속에서 유의미한 패턴과 상관관계를 찾아내어 의사결정에 활용하는 프로세스.
주요 기법 분류:
비지도학습(Unsupervised): 레이블이 없는 데이터의 구조를 파악 (K-means, DBSCAN).
지도학습(Supervised): 레이블이 있는 데이터를 학습하여 미지의 데이터를 분류 (SVM).
2. 가. K-means Clustering (중심 기반 군집화)
1) 개념 및 원리
데이터를 K개의 군집으로 묶는 알고리즘으로, 각 군집의 **중심점(Centroid)**과 개별 데이터 간의 거리 제곱 합을 최소화하는 방식.
거리 측정 지표로 주로 유클리드 거리를 사용함.
2) 수행 절차
K 설정: 군집의 개수(K)를 임의로 지정.
초기 중심 설정: 데이터 중 K개를 무작위로 선택하여 초기 중심점으로 설정.
할당 (Assignment): 모든 데이터를 가장 가까운 중심점이 있는 군집에 할당.
갱신 (Update): 각 군집의 데이터 평균값으로 새로운 중심점을 계산.
반복: 중심점의 변화가 없을 때까지 3~4단계를 반복하여 수렴.
3. 나. DBSCAN (밀도 기반 군집화)
1) 개념 및 원리
**밀도(Density)**를 기반으로 가까이 모여 있는 데이터를 하나의 군집으로 판단하고, 밀도가 낮은 지역의 데이터는 노이즈(Noise)로 간주하는 방식.
K-means와 달리 군집의 개수를 미리 지정할 필요가 없으며, 기하학적인 모양의 군집도 탐색 가능.
2) 주요 구성 요소 및 특징
Epsilon($\epsilon$): 이웃을 정의하기 위한 반경.
MinPts: 하나의 군집을 형성하기 위해 $\epsilon$ 반경 내에 존재해야 하는 최소 데이터 개수.
핵심 포인트(Core): $\epsilon$ 내에 MinPts 이상의 데이터를 가진 점.
경계 포인트(Border): $\epsilon$ 내에 데이터가 MinPts 미만이지만 핵심 포인트의 인접점.
노이즈(Noise): 어느 곳에도 속하지 않는 포인트(이상치 탐지에 활용).
4. 다. SVM (Support Vector Machine)
1) 개념 및 원리
데이터를 분류하기 위해 두 클래스 간의 거리가 최대가 되는 **최적의 결정 경계(Hyperplane)**를 찾는 알고리즘.
**마진(Margin)**을 최대화하여 일반화 성능을 극대화함.
2) 핵심 기술 요소
서포트 벡터(Support Vector): 결정 경계에 가장 인접하여 경계의 위치를 결정하는 데이터 포인트들.
마진(Margin): 결정 경계와 서포트 벡터 사이의 거리. 이를 최대화하는 것이 목적.
커널 트릭(Kernel Trick): 저차원에서 분리 불가능한 데이터를 고차원(Feature Space)으로 매핑하여 선형 분리가 가능하게 함(RBF, Polynomial 등).
슬랙 변수(Slack Variable): 완벽한 분리가 어려운 경우 일부 오차를 허용하는 소프트 마진(Soft Margin) 구현.
5. 라. 각 기법의 비교 분석
| 비교 항목 | K-means | DBSCAN | SVM |
| 학습 유형 | 비지도 학습 (군집) | 비지도 학습 (군집) | 지도 학습 (분류/회귀) |
| 주요 특징 | 중심점 기반, 계산 빠름 | 밀도 기반, 이상치 제거 | 마진 최대화, 고차원 유리 |
| 형태 제약 | 구형(Spherical)에 최적화 | 다양한 기하학적 형태 가능 | 선형/비선형 모두 가능 |
| 단점 | 초기 K값 및 초기값에 민감 | 파라미터($\epsilon$, MinPts) 설정 어려움 | 대용량 데이터에서 학습 속도 저하 |
6. 기술사적 제언: 하이브리드 전략 및 실무 적용
이상치 처리 전략: 실제 금융권 이상거래 탐지(FDS) 시, DBSCAN으로 노이즈를 먼저 식별한 후 SVM으로 정밀 분류를 수행하는 하이브리드 아키텍처 설계가 효율적임.
차원의 저주 대응: 고차원 데이터 마이닝 시 PCA(주성분 분석) 등을 통한 차원 축소를 선행하여 알고리즘의 연산 효율성과 성능을 확보해야 함.
결언: 기술사는 비즈니스 도메인의 특성(데이터의 분포, 속도, 정확성 요건)에 맞춰 최적의 알고리즘을 선택하고 앙상블(Ensemble) 기법 등을 통해 모델의 신뢰성을 제고해야 함.
댓글 없음:
댓글 쓰기